МСБ должны прекратить ориентироваться на BackBlaze

Мне нужно предварить эту статью, поскольку люди нередко вырывают подобные вещи из контекста и остро реагируют на то, чего никто не говорил: я считаю, что BackBlaze делает отличную работу, в компании работают блестящие люди, и она превосходно справилась с проектированием и использованием технологий, полностью применимых и подходящих для их потребностей. Ничто, и я действительно имею в виду ничто в этой статье, никогда не должно вырываться из контекста и трактоваться как негатив в адрес BackBlaze. Если что-либо в этой статье кажется или ощущается утверждением об обратном, пожалуйста, перечитайте и убедитесь, что так действительно сказано, и, если да, сообщите мне, чтобы я мог это исправить. Эта статья ни в коей мере не намерена подразумевать, что BackBlaze делает не то, что разумно для них, их бизнеса и их клиентов. А теперь перейдём к статье:

На протяжении многих лет я замечаю, что многие IT-специалисты малого и среднего бизнеса оказались очарованы тем, что они воспринимают как чудо низкозатратного, высокоёмкого хранилища — а именно дизайном BackBlaze POD. По сути, BackBlaze POD — это дешёвый, высокоёмкий, низкопроизводительный почти белый ящик (whitebox) сервера хранения, собранный из кастомного шасси и потребительских комплектующих с целью создания одноразового узла хранения, используемого в крупных RAIN-массивах хранения с применением стирающего кодирования (erasure encoding). BackBlaze самостоятельно спроектировала оригинальный POD и опубликовала его дизайн для исключительного использования в своих крупных дата-центрах резервного копирования по подписке, где POD выступает отдельными узлами в массиве из огромного количества узлов с репликацией между ними. Со временем BackBlaze обновляла дизайн POD по мере изменения технологий и решения проблем. Но базовый сценарий использования оставался неизменным.

Мне нужно сравнить это с подходом SAM-SD к хранению данных, который следует схожей тактике, но делает это на корпоративном оборудовании с поддержкой. Эти различия порой кажутся тривиальными, но они отнюдь не тривиальны — они являются ключевыми основами, определяющими, почему разные решения подходят для разных ситуаций. Идея SAM-SD состоит в том, что хранилище должно быть надёжным и спроектированным начиная с уровня оборудования так, чтобы быть максимально надёжным и хорошо поддерживаемым на случай отказов. POD придерживается противоположного подхода: индивидуальный сервер намеренно ненадёжен и эфемерен по природе своей и предназначен для утилизации, а не для ремонта. Концепция SAM-SD предполагает, что отдельный сервер важен, а то и критически важен — он совсем не является одноразовым.

Концепция SAM-SD, которая буквально представляет собой не что иное, как подход к построению открытого хранилища, разработана с расчётом на рынок хранения данных для малого и среднего бизнеса. BackBlaze POD разработан для крайне нишевого, крупномасштабного, специализированного рынка потребительского резервного копирования. SAM-SD предназначен для использования малыми предприятиями, даже теми, у которых нет штатного IT-отдела. POD разработан для развёртывания и управления силами выделенной команды инженеров по хранению данных, работающих полный рабочий день.

Поскольку BackBlaze POD разработан экспертами для экспертов в самых крупных ситуациях с хранением данных, его легко неправильно понять неспециалистам в области хранения в сегменте малого бизнеса. Более того, он настолько часто неверно понимается, что возражения против него нередко встречают комментарии «я думаю, BackBlaze знает, что делает», что демонстрирует крайнее непонимание этого подхода. Конечно, BackBlaze знает, что делает, — но они делают не то, что делает любой МСБ.

Публикация дизайна POD порождает большую путаницу, поскольку он является лишь частью более широкого целого. Дизайн полного дата-центра и механизмы избыточности между POD не являются публичными — это проприетарная информация. Поэтому сам POD представляет собой лишь отдельный узел кластера (или Vault) и не отражает самого кластеризации — именно там и выполняется наиболее важная работа. По сути, дизайн POD — это не что иное, как работа, проделанная в проектах Sun Thumper и SAM-SD за прошедшее десятилетие, только без ограничений надёжности. POD не должен быть новинкой, это очевидное решение — то, которого в сфере хранения данных для МСБ десятилетиями избегали именно потому, что оно столь кардинально неприменимо в этом сегменте.

Поскольку аспекты кластеризации и репликации игнорируются при обсуждении BackBlaze POD, нередко делаются огромные допущения о ёмкости POD с гораздо более низкими накладными расходами, чем BackBlaze сами получают для инфраструктуры POD даже в масштабе. Например, в терминах RAID это было бы похоже на предположение, что POD использует RAID 6 (с накладными расходами всего 5%), поскольку именно это RAID отдельного компонента, тогда как в действительности используется RAID 61 (с накладными расходами 55%)! Более того, многие IT-специалисты МСБ, рассматривающие использование дизайна POD, фактически думают просто о применении RAID 6 в сочетании с использованием одного-единственного POD. Степень несоответствия модели BackBlaze поражает воображение.

BackBlaze: «Backblaze Vaults объединяют двадцать физических Storage Pods в одно виртуальное шасси. ПО Vault реализует наше собственное кодирование Рида–Соломона для одновременного распределения фрагментов данных по всем двадцати POD в Vault, что кардинально повышает долговечность.»

Чтобы сделать POD пригодным для рынка МСБ, необходимо полностью вырвать всю концепцию POD из контекста. И предполагаемый сценарий использования, и реализацию. То, что делает BackBlaze особенным, полностью устраняется, а берутся лишь самые тривиальные, поверхностные аспекты и превращаются во что-то, что ни в коей мере не напоминает ни видение, ни назначение BackBlaze.

Углубляясь в то, чем BackBlaze POD отличается по дизайну от стандартных потребностей обычного бизнеса, мы обнаруживаем следующие проблемы:

• POD спроектирован ненадёжным и рассчитан на уровень надёжности и репликации на уровне супер-POD, что требует развёртывания большого числа POD и обеспечения избыточности данных между ними посредством кастомной репликации или кластеризации. Без этого уровня POD полностью вырван из контекста. Уровень супер-POD известен внутри компании как BackBlaze Vault.
• POD разработан для развёртывания в корпоративном дата-центре с тщательной виброизоляцией, кондиционированием электропитания и системами кондиционирования среды. Он менее устойчив к этим проблемам по сравнению со стандартным корпоративным оборудованием.
• POD как правило предназначен для замены в качестве целого блока, а не для ремонта узла на месте. Это противоположно стандартному корпоративному оборудованию с горячезаменяемыми компонентами, предназначенными для ремонта без прерывания работы и уж точно без полной замены. Мы называем это одноразовым или эфемерным сценарием использования.
• POD разработан как чрезвычайно дешёвое решение для очень медленного, «холодного» хранения данных. Хотя это может встречаться в МСБ, как правило — нет.
• POD разработан как единый высокоёмкий узел хранения в пуле безумно большой ёмкости. Немного МСБ могут в полной мере использовать даже потенциал хранения одного POD, не говоря уже о пуле, достаточно большом для оправдания дизайна POD.
• BackBlaze POD разработан для использования кастомного стирающего кодирования, а не RAID. RAID неэффективен при таком масштабе даже на уровне одного POD.
• Один POD рассчитан на ёмкость 180 ТБ, а в масштабе Vault — 3,6 ПБ.

Актуальное описание BackBlaze POD 5: https://www.backblaze.com/blog/cloud-storage-hardware/

Коротко говоря, BackBlaze POD — это блестящая основа для блестящего сервиса, отвечающего очень специфической потребности, настолько далёкой от потребностей рынка хранения данных МСБ, насколько это вообще разумно возможно. Уважайте BackBlaze за их отличную работу, но не пытайтесь её воспроизвести.