Публичный разбор полётов после сбоя

Во многих сферах жизни существует общепринятый “консервативный” подход и общепринятый “рискованный” подход, которого следует избегать, — по крайней мере, согласно расхожему мнению. В инвестировании, например, покупка государственных или муниципальных облигаций нередко считается низкорискованной, а инвестирование в акции (корпоративные) — высокорискованным, — но статистические данные говорят нам об обратном: почти все теряют деньги на облигациях и зарабатывают на акциях. Расхожая “мудрость”, подвергнутая проверке, оказывается основанной исключительно на эмоциях, которые, в свою очередь, основаны на заблуждениях, и самое рискованное в инвестировании — позволять эмоциям управлять инвестиционными стратегиями.

Аналогично с оценкой бизнес-рисков: распространённый подход состоит в том, чтобы испытывать эмоциональную реакцию на опасность, что вызывает паническую реакцию и создаёт сильную склонность людей к чрезмерной компенсации воспринимаемого риска. Мы часто наблюдаем это у небольших компаний, чья IT-инфраструктура приносит совсем немного дохода или не является критически важной для краткосрочных операций, тратящих крупные суммы денег на защиту от риска, который лишь частично осознан и очень плохо сформулирован. Нередко это доходит до того, что процесс снижения рисков осуществляется эмоционально, а не интеллектуально, и мы регулярно видим компании, реализующие неудачные системные дизайны, которые фактически увеличивают риск вместо его снижения, при этом тратя весьма значительные суммы, а затем, поскольку риск был по большей части воображаемым, объявляющие проект успешным — основываясь на наслоениях заблуждений: воображаемый риск, воображаемое снижение риска и воображаемый успех.

В недавнем прошлом мне довелось участвовать в настоящей катастрофе для малого бизнеса. Произошедшее было близко к «наихудшему из возможных сценариев». Не совсем, но очень близко. Эмоциональная реакция на происходящее в тот момент была сильной, и после того, как катастрофа полностью разразилась, большинство окружающих постоянно повторяли, что планирование на случай аварии было недостаточным и что проблему следовало предотвратить. Это очень характерно для любой кризисной ситуации — люди чувствуют, что всегда должен быть виновный и что при правильной работе риск должен быть нулевым, — но это совершенно неверно.

К счастью, мы провели полный разбор полётов — как и следует делать после любой настоящей катастрофы — чтобы определить, что пошло не так, что пошло правильно, как можно исправить провалившиеся процессы и решения и как сохранить те, что нас защитили. Как правило, когда происходит какое-то серьёзное системное событие, я не могу рассказать о нём публично. Но иногда могу. Так часто бывает: реагируешь на катастрофу — на любую катастрофу — и думаешь: «Ах, если бы только...». Но нужно исследовать катастрофу. Это даёт так много пищи для размышлений о процессах и о нас самих.

Сначала немного предыстории. На критическом сервере, работающем в корпоративном дата-центре, размещён ряд ключевых рабочих нагрузок, важных для нескольких компаний. Серверу чуть более четырёх лет, и многие годы он работает в изоляции. Старые серверы всегда немного вызывают беспокойство по мере приближения к концу жизненного цикла. Четыре года — это далеко не конец жизненного цикла для корпоративного сервера, но и молодым его не назовёшь.

Это был одиночный сервер без какого-либо механизма переключения при отказе. Резервное копирование выполнялось внешними средствами на корпоративное устройство резервного копирования в том же дата-центре. Очень простой дизайн системы.

Я не буду включать все внутренние детали, поскольку в любой подобной ситуации присутствует множество сложностей в планировании и эксплуатации. Они лучше всего остаются в рамках внутреннего процесса разбора полётов.

Когда сервер вышел из строя, он сделал это впечатляющим образом. Отказ был настолько полным, что мы не смогли диагностировать его удалённо, даже с помощью технических специалистов на месте в дата-центре. Даже вендор сервера не смог диагностировать проблему. Это поставило нас в сложное положение: как поступить с мёртвым сервером, когда оборудование не удаётся надёжно починить? Можно было бы заменить диски, блоки питания, материнскую плату. Кто знал, что могло помочь.

В итоге было принято решение переместить и сервер, и систему резервного копирования обратно в главный офис, где их можно было бы обследовать лично и с максимальными ресурсами. В конечном счёте систему удалось починить, и данные не были утеряны. Решение воздержаться от обращения к резервной копии было принято, поскольку восстановление данных было важнее доступности системы.

В итоге катастрофа оказалась одной из самых полных из всего, что можно вообразить без потери данных. Сбой продолжался много дней, было задействовано множество запасного оборудования, человеко-часов и попыток ремонта. Процесс был изнурительным, но по его завершении система была успешно восстановлена.

Длительный сбой и ощущение хаоса в процессе диагностики и попыток ремонта привели к общему чувству провала. Люди начали говорить об этом, и это привело к тому, что люди стали в это верить. В условиях аварийного реагирования очень легко стать чрезмерно эмоциональным, особенно когда практически нет времени на сон.

Но когда мы отступили назад и оценили конечный результат, обнаруженное удивило практически всех: операция по триажу и первоначальное планирование рисков прошли успешно.

Хаос, происходящий во время триажа, нередко заставляет ситуацию казаться намного хуже, чем она есть на самом деле. Но наше управление триажем было превосходным. Триаж не означает чудес — существует фаза обнаружения и фаза реагирования. Когда мы проанализировали порядок событий и выстроили их в хронологическую шкалу, мы обнаружили, что действовали настолько хорошо, что практически нигде нельзя было сократить временные рамки. Мы провели хорошую диагностику, привлекли нужных специалистов в нужное время, инициировали логистическое движение запчастей как можно раньше, и большая часть того, что казалось лихорадочным, потраченным впустую временем, на самом деле была «заполнителем» — мы пытались определить, существуют ли дополнительные варианты или были ли допущены ошибки, пока ожидали прибытия необходимых запчастей для ремонта. Это делало ситуацию гораздо хуже, чем она была на самом деле, но все эти действия были правильными.

С точки зрения триажа и восстановления процесс прошёл безупречно, несмотря на то что сбой в итоге занял много дней. После того как катастрофа произошла и произошла в таком невероятном масштабе, восстановление фактически прошло невероятно гладко. Ничто не бывает абсолютно идеальным, но всё прошло очень хорошо. Механизм сработал так, как был задуман.

Куда более удивительным оказалось рассмотрение воздействия катастрофы. Есть два способа это оценить. Первый — более мудрый — подход «без ретроспективы». Здесь мы смотрим на катастрофу, стоимость ущерба от неё, стоимость мер по снижению риска и применяем вероятность того, что катастрофа произошла бы, чтобы определить, было ли принято правильное решение о планировании. Это трудно рассчитать, поскольку фактор риска всегда является приблизительным числом, но, как правило, можно получить достаточно точный результат, чтобы оценить качество планирования. Второй способ — подход с позиции «20/20 ретроспективы»: что если бы мы знали, что эта катастрофа произойдёт, что бы мы сделали для её предотвращения? Очевидно, совершенно несправедливо убирать фактор риска и смотреть на стоимость катастрофы в абсолютных цифрах, поскольку мы не можем знать наперёд, что пойдёт не так, планировать только под эту одну возможность или тратить неограниченные средства на что-то, о чём мы на самом деле не знаем, случится ли это. Компании нередко совершают ошибку, используя второй расчёт и обвиняя плановиков в отсутствии идеального предвидения.

В данном случае мы были достаточно уверены с самого начала, что приняли правильное решение о рисках. Система работала почти десятилетие без простоев. Общая стоимость системы была низкой, стоимость триажа — умеренной, а событие было крайне маловероятным. То, что с учётом фактора риска мы хорошо спланировали, не стало большой неожиданностью ни для кого.

Удивительным оказалось то, что когда мы провели расчёты без фактора риска, даже если бы мы знали, что система выйдет из строя и произойдёт длительный сбой, мы всё равно приняли бы то же решение! Это было просто шокирующим. Стоимость длительного сбоя оказалась фактически ниже, чем стоимость необходимого оборудования, хостинга и трудозатрат для построения функциональной системы снижения рисков — в данном случае это означало бы наличие полностью резервного сервера в дата-центре рядом с тем, что находился в производстве. Более того, экономия от принятия этого длительного сбоя составила почти десять тысяч долларов!

Это оказался крайний случай, когда сбой был катастрофически тяжёлым, трудно предсказуемым, не поддающимся быстрому ремонту, и всё же это привело к огромной долгосрочной экономии, — но урок важен. Существует так много эмоционального багажа, сопровождающего любую катастрофу; если мы не проводим надлежащий разбор полётов и не работаем над устранением эмоциональных реакций из нашего принятия решений, мы нередко склонны к масштабным финансовым потерям или к неправильному распределению вины, даже когда всё прошло хорошо. Многие компании смотрели бы на эту катастрофу и реагировали бы чрезмерными тратами для предотвращения того же маловероятного события в будущем — даже имея перед собой математику, говорящую им, что это было бы пустой тратой денег, даже если это событие повторится!

Из этого сбоя были извлечены и другие уроки. Мы узнали, где коммуникации были не идеальными, где нужные люди не всегда находились на правильных позициях принятия решений, где взаимодействие с клиентами оставляло желать лучшего, что клиент не информировал нас должным образом об изменениях, и многое другое. Но в целом уроки состояли в том, что мы правильно спланировали, наша операция триажа сработала правильно, и мы сэкономили клиенту несколько тысяч долларов по сравнению с тем, что казалось бы «консервативным» подходом, а благодаря хорошему разбору полётов удалось удержать их — и нас — от чрезмерной реакции и превращения хорошего решения в плохое на будущее. Без разбора полётов мы, весьма вероятно, изменили бы наши правильные процессы, решив, что они были ошибочными.

Ключевые уроки, которые я хочу донести до вас, читателей, таковы: разбор полётов является критически важным шагом после любой катастрофы, традиционное консервативное мышление нередко само по себе очень рискованно, а эмоциональные реакции на риск часто порождают финансовые катастрофы, более масштабные, чем технические, от которых призваны защитить.