Почему крупных исследований в IT не существует

IT-специалисты запрашивают их каждый день, и всё же их не существует — масштабных исследований рисков и производительности IT-оборудования и программного обеспечения. Это охватывает широкий спектр возможностей, но типичные примеры включают сравнение показателей отказов между различными моделями серверов, жёсткими дисками, операционными системами, типами RAID-массивов, настольными компьютерами, ноутбуками и многим другим. И тем не менее, несмотря на высокий спрос на такие данные, их попросту нет. Как такое возможно.

Конечно, все случаи разные, но в целом существуют три действительно значимых фактора, препятствующих появлению таких данных в открытом доступе. Это высокая стоимость проведения исследования, длительные временные рамки, необходимые для него, а также отсутствие стимулов для создания и/или публикации этих данных для других компаний.

Стоимость является, безусловно, наиболее значимым фактором. Если бы удалось преодолеть затраты на крупномасштабные исследования, для всех остальных факторов можно было бы найти решения. Но к сожалению, природа масштабного исследования такова, что оно будет дорогостоящим. Для примера рассмотрим показатели надёжности серверов.

Чтобы определить частоту отказов серверов, нам потребуется большое количество серверов для сбора данных. Это может показаться экстремальным примером, но показатели отказов серверов — одни из наиболее часто запрашиваемых цифр в масштабных исследованиях, поэтому пример весьма показателен. Нам потребуется несколько сотен серверов для очень небольшого исследования, но для получения статистически значимых данных, вероятно, понадобятся тысячи серверов. Если предположить, что один сервер стоит пять тысяч долларов — что является относительно начальным уровнем — речь идёт легко о двадцати пяти миллионах долларов только на оборудование! И это лишь для проведения исследования в относительно небольшом масштабе (всего пять тысяч серверов) с использованием устройств не самого высокого ценового уровня. Если говорить об enterprise-серверах, мы легко переходим к тридцати или даже пятидесяти тысячам долларов за сервер, что выводит общую стоимость на уровень четверти миллиарда долларов.

Разумеется, эта стоимость рассчитана для тестирования одной конфигурации одной модели сервера. Предположительно, чтобы исследование было значимым, понадобится множество различных моделей серверов. Возможно, несколько от каждого производителя для сравнения разных линеек и функций. Возможно, от многих производителей. Легко представить, как быстро стоимость исследования становится непосильно большой.

Однако это лишь начало расходов. Для проведения качественного исследования потребуются тщательно контролируемые среды, соответствующие лучшим дата-центрам, — чтобы максимально изолировать влияние внешних факторов. Это означает высоконадёжное электроснабжение, охлаждение, контроль воздушных потоков, влажности, вибрации и запылённости. Хорошие объекты такого рода очень дорогостоящи, и именно поэтому многие компании не оплачивают их даже для ценных производственных нагрузок. В рамках масштабного исследования эти расходы легко могут превысить стоимость самого оборудования за период проведения исследования.

Затем, конечно, необходимо решить вопросы со специальными датчиками и испытательным оборудованием. Что именно считать отказом? Даже в производственных системах по этому поводу нередко возникают споры. Является ли отказавший жёсткий диск в массиве отказом, если сам массив не вышел из строя? Является ли прогнозируемый отказ отказом? При изучении отказов накопителей в рамках исследования, как учитывать человеческий фактор, например замену диска, которая может выполняться по-разному? Существуют способы решения этих вопросов, но они усложняют процесс и смещают результаты исследований от реальных данных к искусственно созданным. Сформулировать методологию исследования, которая была бы применима и полезна для конечных пользователей, значительно сложнее, чем кажется.

И самая крупная статья расходов — ручной труд. Поддержание среды для масштабного исследования потребует человеческих ресурсов, стоимость которых может сравняться со стоимостью самого исследования. Для поддержания исследовательской среды, проведения самого исследования, его мониторинга и сбора данных требуется большое количество людей. В итоге расходы в совокупности, как правило, просто невозможны.

Конечно, можно было бы значительно сократить масштаб тестирования, ограничившись несколькими серверами и двумя-тремя моделями, но ценность теста стремительно падает и грозит превратиться в результаты, которые никто не сможет использовать, — при том что деньги всё равно будут потрачены немалые.

Вторая непреодолимая проблема — время. Большинство устройств необходимо тестировать на показатели отказов в течение длительного времени, а поскольку IT-оборудование в целом разработано для надёжной работы на протяжении десятилетий, сбор данных об отказах требует многих лет. Показатели MTTF (среднее время до отказа) имеют ограниченную ценность; гораздо важнее MTBF (среднее время между отказами), а также типы, режимы и статистика отказов — без этого исследование не будет полезным. Это означает, что для получения действительно ценных результатов исследование должно проводиться очень долго, что влечёт всё большие и большие расходы.

Но это не самая большая проблема. Гораздо серьёзнее то, что к тому времени, когда исследование накопит достаточно данных для получения полезных показателей отказов — даже если бы эти данные поступали “в реальном времени” по мере возникновения — уже было бы слишком поздно. Тестируемое оборудование уже устаревало бы и приближалось к сроку замены на рынке к тому моменту, когда исследование давало бы первые действительно полезные результаты. Зачастую производственное оборудование приобретается на срок всего три-пять лет. Результаты даже за один год этого периода имели бы ограниченную ценность. А новые продукты могут вытеснить исследуемые ещё быстрее, чем они устаревают естественным образом, — так что исследование будет иметь лишь историческую ценность, а не практическую для принятия производственных решений: результаты окажутся слишком устаревшими к моменту их получения.

Последний крупный фактор — отсутствие стимулов для предоставления имеющихся данных тем, кто в них нуждается. Хотя источников данных немного, некоторые всё же существуют, однако почти все они неполны и принадлежат крупным производителям, которые измеряют качество своего оборудования, показатели отказов и тому подобное. Эти данные редко собираются в контролируемых условиях и зачастую представляют собой информацию, полученную из реальной эксплуатации. Во многих случаях эти данные могут быть конфиденциальными для клиентов и не подлежать разглашению по юридическим причинам.

Но и производители, собирающие данные, делают это не систематически и неравномерно, поэтому публикация таких данных может нанести им серьёзный вред: нет гарантии, что у конкурентов существуют аналогичные данные. Неконтролируемая статистика такого рода не принесёт никакой реальной выгоды ни рынку, ни самим производителям, поэтому последние крайне заинтересованы в сохранении подобных данных в строгой тайне.

Редкое исключение — некоторые аппаратные исследования от таких компаний, как Google и BackBlaze, у которых имеется большое количество потребительских жёстких дисков в относительно контролируемых условиях. Они собирают данные об отказах в собственных целях и почти не рискуют тем, что конкуренты воспользуются этими данными, зато получают PR-выгоду от их публикации — и потому время от времени выпускают исследования по надёжности оборудования в ограниченном масштабе. Эти исследования поглощаются индустрией с жадностью — несмотря на то что в целом содержат относительно мало ценного: данные в них устаревшие и получены в условиях с неизвестными параметрами и пороговыми значениями, зачастую не содержат статистически значимых данных для сравнения продуктов и в лучшем случае отражают общеотраслевые статистические тенденции, которые в какой-то мере полезны для предсказания будущих путей развития надёжности.

Большинство других компаний, достаточно крупных для наличия внутренней статистики надёжности, располагают ею лишь по узкому кругу оборудования и считают эту информацию собственностью компании, потенциальным риском при разглашении (она раскрывала бы важные детали архитектурных реализаций) и конкурентным преимуществом. По этим причинам она не публикуется.

Мне посчастливилось принять участие в масштабном исследовании надёжности систем хранения данных и руководить им. Исследование проводилось в несколько неформальном формате, но было весьма ценным: оно охватило более десяти тысяч enterprise-серверов за восемь лет, что дало в общей сложности восемьдесят тысяч серверолет — редкая возможность. Однако вывод из этого исследования состоял в том, что, хотя оно было чрезвычайно ценным, в первую очередь оно показало: на столь большой выборке нам так и не удалось зафиксировать ни одного отказа! Отсутствие отказов само по себе было весьма ценным результатом. Но получить стандартные статистические показатели, такие как среднее время до отказа, не представилось возможным. Для получения данных, которые люди ожидают, мы понимаем, что потребовались бы сотни тысяч серверолет минимум — для какой-либо статистической значимости, — и мы не можем утверждать, что даже этого было бы достаточно. Возможно, потребовались бы миллионы серверолет. Точно знать это невозможно.

Таким образом, крупных исследований в IT попросту не существует и, вероятно, никогда не будет. Когда они и появляются, то носят изолированный характер и почти неизбежно ограничены требованиями реальности. Не существует способа монетизировать исследования в масштабе, необходимом для их полезности, — главным образом потому, что показатели отказов enterprise-оборудования крайне низки, тогда как само оборудование очень дорого, — поэтому сторонние организации никогда не смогут покрыть расходы на проведение таких исследований. Как отрасль мы должны принять тот факт, что данные такого рода не существуют, и активно искать альтернативы. Удивительно, что столь многие в отрасли ожидают доступности такого рода данных, когда исторически их никогда не было.

В условиях этого информационного вакуума наши единственные реальные варианты — это сбор имеющихся анекдотических свидетельств (занятие весьма рискованное, требующее тщательного учёта контекста) и применение логики для оценки подходов и методов обеспечения надёжности. Это широкая ситуация, где наблюдение необходимым образом нас подводит и только логика и интуиция могут заполнить образующийся пробел в знаниях.