Publiczny post mortem awarii systemu

Wiele rzeczy w życiu ma powszechnie akceptowane “konserwatywne” podejście i powszechnie akceptowane “ryzykowne” podejście, którego należy unikać — przynajmniej według popularnego przekonania. W inwestowaniu na przykład często postrzegamy kupowanie obligacji rządowych lub komunalnych jako niskie ryzyko, a inwestowanie w akcje jako wysokie ryzyko — ale liczby statystyczne mówią nam, że jest to odwrotnie i prawie wszyscy tracą pieniądze na obligacjach, a zarabiają na akcjach. Popularna “mądrość”, wystawiona na próbę, okazuje się opierać wyłącznie na emocjach, które z kolei są oparte na błędnych przekonaniach, a najbardziej ryzykowną rzeczą w inwestowaniu jest kierowanie się emocjami przy podejmowaniu decyzji inwestycyjnych.

Podobnie w przypadku oceny ryzyka biznesowego powszechnym podejściem jest emocjonalna reakcja na niebezpieczeństwo, co wyzwala reakcję paniki i powoduje silną tendencję do nadmiernego kompensowania postrzeganego ryzyka. Obserwujemy to często w małych firmach, których infrastruktura IT generuje niewielkie przychody lub nie jest kluczowa dla krótkoterminowych operacji, a które wydają duże sumy pieniędzy na ochronę przed ryzykiem, które jest tylko częściowo postrzegane i bardzo słabo artykułowane. Często staje się to tak dramatyczne, że proces łagodzenia skutków jest prowadzony emocjonalnie zamiast intelektualnie, a regularnie odkrywamy firmy wdrażające złe projekty systemów, które faktycznie zwiększają ryzyko zamiast je zmniejszać — przy jednoczesnym wydawaniu bardzo dużych sum pieniędzy, a następnie, ponieważ ryzyko było w większości wyobrażone, nazywają projekt sukcesem w oparciu o kolejne warstwy błędnych przekonań: wyobrażone ryzyko, wyobrażone łagodzenie ryzyka i wyobrażony sukces.

W niedawnej przeszłości miałem okazję uczestniczyć w totalnej katastrofie dla małej firmy. Katastrofa ta dotknęła to, co było prawie “najgorszym możliwym scenariuszem”. Nie do końca, ale bardzo blisko. Emocjonalna reakcja w trakcie katastrofy była silna i gdy katastrofa była w pełnym toku, powszechne było stwierdzanie i powtarzanie, że planowanie odtwarzania po awarii było wadliwe i że problem powinien był zostać uniknięty. Jest to bardzo powszechne w każdej sytuacji katastroficznej — ludzie czują, że zawsze powinien być ktoś do obwinienia i że jeśli prawidłowo wykonujemy naszą pracę, powinny istnieć scenariusze zerowego ryzyka. Jest to jednak całkowicie nieprawdziwe.

Na szczęście przeprowadziliśmy pełny post mortem — tak jak należy zrobić po każdej prawdziwej katastrofie — aby ustalić, co poszło nie tak, co poszło dobrze, jak możemy naprawić procesy i decyzje, które zawiodły, oraz jak możemy zachować te, które nas chroniły. Zazwyczaj, gdy dochodzi do jakiegoś dużego zdarzenia systemowego, nie mogę o nim publicznie mówić. Ale raz na jakiś czas mogę. Tak powszechne jest reagowanie na katastrofę — każdą katastrofę — i myślenie “och, gdybyśmy tylko…”. Ale trzeba zbadać katastrofę. Jest tak wiele do nauczenia się o procesach i o sobie samych.

Na początek kilka informacji tła. Krytyczny serwer, działający w korporacyjnym centrum danych, obsługuje kilka kluczowych obciążeń roboczych, które są bardzo ważne dla kilku firm. Ma nieco ponad cztery lata i od wielu lat działa w izolacji. Starsze serwery są zawsze nieco niepokojące, gdy zbliżają się do końca życia. Cztery lata to niemal nie koniec życia dla serwera klasy korporacyjnej, ale z pewnością nie był on już młody.

Był to pojedynczy serwer bez żadnego mechanizmu failover. Kopie zapasowe były obsługiwane zewnętrznie przez urządzenie do tworzenia kopii zapasowych klasy korporacyjnej w tym samym centrum danych. Bardzo prosty projekt systemu.

Nie będę uwzględniał wszystkich wewnętrznych szczegółów, ponieważ każda taka sytuacja ma wiele złożoności w planowaniu i w działaniu. Najlepiej zostawić je wewnętrznemu procesowi post mortem.

Kiedy serwer zawiódł, zawiódł spektakularnie. Awaria była tak kompletna, że nie byliśmy w stanie jej zdiagnozować zdalnie, nawet przy pomocy techników na miejscu w centrum danych. Nawet dostawca serwera nie był w stanie zdiagnozować problemu. Postawiło nas to w trudnej sytuacji — jak poradzić sobie z martwym serwerem, gdy sprzęt nie może być niezawodnie naprawiony? Mogliśmy wymienić dyski, zasilacze, płytę główną. Kto wiedział, co mogłoby być rozwiązaniem.

Ostatecznie podjęto decyzję, że zarówno serwer, jak i system kopii zapasowych musiały zostać przetransportowane z powrotem do głównego biura, gdzie można było je triażować osobiście i z maksymalnymi zasobami. Ostatecznie system udało się naprawić i żadne dane nie zostały utracone. Decyzja o powstrzymaniu się od przywracania z kopii zapasowej została podjęta, ponieważ odzyskiwanie danych było ważniejsze niż dostępność systemu.

Gdy wszystko zostało powiedziane i zrobione, katastrofa była jedną z najbardziej kompletnych, jakie można sobie wyobrazić bez doświadczenia rzeczywistej utraty danych. Awaria trwała wiele dni i użyto dużej ilości zapasowego sprzętu, roboczogodzin i prób naprawy. Proces był wyczerpujący, ale po zakończeniu system został pomyślnie przywrócony.

Długa awaria i poczucie chaosu podczas diagnozowania i prób naprawy doprowadziły do ogólnego poczucia porażki. Ludzie zaczęli to mówić, co prowadzi do tego, że inni zaczynają w to wierzyć. W warunkach reagowania kryzysowego bardzo łatwo jest stać się nadmiernie emocjonalnym, zwłaszcza gdy brakuje snu.

Ale kiedy cofnęliśmy się i spojrzeliśmy na ostateczny wynik, to, co odkryliśmy, zaskoczyło prawie wszystkich: operacja triażu i wstępne planowanie ryzyka zakończyły się sukcesem.

Chaos, który pojawia się podczas triażu, często sprawia, że rzeczy wyglądają znacznie gorzej niż są w rzeczywistości. Ale nasze zarządzanie triażem było znakomite. Triage nie oznacza magii — jest faza odkrywania i faza reakcji. Gdy przeanalizowaliśmy kolejność zdarzeń i ułożyliśmy je na osi czasu, odkryliśmy, że działaliśmy tak dobrze, że prawie nie było możliwości skrócenia ram czasowych. Przeprowadziliśmy dobre diagnozy, zaangażowaliśmy właściwe strony we właściwym czasie, uruchomiliśmy logistykę części tak szybko, jak to możliwe, i większość tego, co wydawało się gorączkowym, zmarnowanym czasem, była w rzeczywistości “czasem wypełniającym”, podczas którego próbowaliśmy ustalić, czy istnieją dodatkowe opcje lub popełniono błędy podczas oczekiwania na niezbędne części do naprawy. Sprawiało to, że rzeczy wyglądały znacznie gorzej niż były w rzeczywistości, ale wszystkie te działania były właściwym zestawem kroków do podjęcia.

Z perspektywy triażu i odzyskiwania proces przebiegł bez zarzutu, mimo że awaria trwała wiele dni. Gdy katastrofa już nastąpiła i nastąpiła w tak niezwykłym stopniu, odzyskiwanie przebiegło niezwykle sprawnie. Nic nie jest absolutnie doskonałe, ale poszło bardzo dobrze. Mechanizm działał zgodnie z zamierzeniem.

Dużo bardziej zaskakująca była analiza skutków katastrofy. Można na to spojrzeć z dwóch perspektyw. Pierwsza jest mądrzejsza — podejście “bez retrospekcji”. Tutaj patrzymy na katastrofę, koszt jej wpływu, koszt łagodzenia skutków i stosujemy prawdopodobieństwo, że katastrofa by nastąpiła, i ustalamy, czy właściwa decyzja planistyczna została podjęta. Trudno to obliczyć, ponieważ współczynnik ryzyka jest zawsze szacunkową liczbą, ale zazwyczaj można uzyskać wystarczającą dokładność, by wiedzieć, jak dobre było planowanie. Drugi sposób to podejście z perspektywy czasu — gdybyśmy wiedzieli, że ta katastrofa się wydarzy, co byśmy zrobili, aby jej zapobiec? Oczywiście jest całkowicie niesprawiedliwe usunięcie współczynnika ryzyka i patrzenie na to, co katastrofa kosztowała w surowych liczbach, ponieważ nie możemy wiedzieć, co pójdzie nie tak i planować tylko dla tej jednej możliwości lub wydawać nieograniczone pieniądze na coś, o czym tak naprawdę nie wiemy, czy się wydarzy. Firmy często popełniają błąd używania tego drugiego obliczenia i obwiniają planistów za brak doskonałego przewidywania.

W tym przypadku byliśmy dość pewni, że od początku podjęliśmy właściwy zakład. System działał przez większą część dekady bez żadnych przestojów. Całkowity koszt systemu był niski, koszt triażu był umiarkowany, a zdarzenie było niezwykle mało prawdopodobne. To, że biorąc pod uwagę współczynnik ryzyka, dobrze planowaliśmy, nie było ogólnym zaskoczeniem dla nikogo.

Zaskakujące było to, że gdy przeprowadziliśmy obliczenia bez współczynnika ryzyka, nawet gdybyśmy wiedzieli, że system zawiedzie i że nastąpi przedłużona awaria, i tak podjęlibyśmy tę samą decyzję! Było to wręcz szokujące. Koszt przedłużonej awarii był faktycznie niższy niż koszt niezbędnego sprzętu, hostingu i pracy potrzebnych do zbudowania funkcjonalnego systemu łagodzenia ryzyka — w tym przypadku byłby to w pełni redundantny serwer w centrum danych obok tego, który był na produkcji. W rzeczywistości oszczędności wynikające z zaakceptowania tej przedłużonej awarii wyniosły blisko dziesięć tysięcy dolarów!

Okazało się to być skrajnym przypadkiem, w którym awaria była dewastująco zła, trudna do przewidzenia, niemożliwa do szybkiej naprawy, a mimo to nadal przyniosła ogromne długoterminowe oszczędności kosztów. Jednak lekcja jest ważna. Każda katastrofa niesie ze sobą tyle emocjonalnego bagażu — jeśli nie przeprowadzimy właściwej analizy post mortem i nie będziemy dążyć do usunięcia emocjonalnych reakcji z naszego procesu decyzyjnego, często będziemy skłonni do dużych strat finansowych lub błędnego przypisywania winy, nawet gdy rzeczy poszły dobrze. Wiele firm spojrzałoby na tę katastrofę i zareagowało dramatycznym przepełnieniem wydatków, aby zapobiec temu samemu mało prawdopodobnemu zdarzeniu w przyszłości, nawet mając przed oczami matematykę mówiącą im, że robienie tego zmarnuje pieniądze, nawet gdyby to zdarzenie się powtórzyło!

Z tej awarii wynikały inne lekcje do wyciągnięcia. Dowiedzieliśmy się, gdzie komunikacja nie była idealna, gdzie właściwe osoby nie zawsze znajdowały się we właściwym miejscu decyzyjnym, gdzie komunikacja z klientem nie była taka, jaka powinna być, gdzie klient nie informował nas właściwie o zmianach i więcej. Ale ogólnie rzecz biorąc, lekcje były takie, że planowaliśmy poprawnie, operacja triażu przebiegła poprawnie i zaoszczędziliśmy klientowi kilka tysięcy dolarów ponad to, co wydawałoby się podejściem “konserwatywnym”, a przeprowadzając dobry post mortem, udało nam się utrzymać ich — i nas — od nadreagowania i zamienienia dobrej decyzji w złą na przyszłość. Bez post mortem moglibyśmy bardzo prawdopodobnie zmienić nasze dobre procesy, myśląc, że były złe.

Kluczowe wnioski, które chcę przekazać Tobie, czytelniku, to to, że post mortemy są krytycznym krokiem w każdej katastrofie, tradycyjne konserwatywne myślenie jest często bardzo ryzykowne, a emocjonalne reakcje na ryzyko często powodują katastrofy finansowe większe niż techniczne, przed którymi mają chronić.