Et offentligt post mortem af et nedbrud

Mange ting i livet har en alment accepteret “konservativ” tilgang og en alment accepteret “risikabel” tilgang, der bør undgås – i hvert fald ifølge den folkelige opfattelse. Inden for investering ser vi for eksempel ofte køb af stats- eller kommuneobligationer som lav risiko og investering i aktier (virksomhedsaktier) som høj risiko – men de statistiske tal fortæller os, at dette er bagvendt, og næsten alle taber penge på obligationer og tjener penge på aktier. Folkelig “visdom”, når den sættes på prøve, viser sig at være baseret rent på følelser, der igen er baseret på misforståelser, og den mest risikable ting ved investering er at lade følelser styre investeringsstrategien.

På samme måde er den almindelige tilgang til risikovurdering i virksomheder at reagere følelsesmæssigt på fare, hvilket udløser en panikreaktion og skaber en stærk tendens til at overreagere på den opfattede risiko. Vi ser dette ofte med små virksomheder, hvis IT-infrastruktur genererer meget lidt omsætning eller ikke er særlig central for kortsigtede operationer, men som bruger store summer på at beskytte sig mod en risiko, der kun delvist er oplevet og meget dårligt formuleret. Dette bliver ofte så drastisk, at afhjælpningsprocessen håndteres følelsesmæssigt frem for intellektuelt, og vi finder regelmæssigt virksomheder, der implementerer dårlige systemdesign, der faktisk øger risikoen frem for at mindske den – mens de bruger meget store summer – og efterfølgende, da risikoen stort set var imaginær, kalder projektet en succes baseret på lag efter lag af misforståelser: imaginær risiko, imaginær risikoreduktion og imaginær succes.

For nylig fik jeg lejlighed til at være involveret i en fuldstændig katastrofe for en lille virksomhed. Katastrofen ramte det, der næsten var et “worst case scenario.” Ikke helt, men meget tæt på. Den følelsesmæssige reaktion på katastrofen var stærk, og da katastrofen var fuldt i gang, var det almindeligt, at næsten alle erklærede og gentog, at katastrofeplanlægningen havde været fejlbehæftet, og at problemet burde have været undgået. Dette er meget almindeligt i enhver katastrofesituation – mennesker føler, at der altid bør være nogen at bebrejde, og at der bør være nulrisikoscenarier, hvis vi gør vores job korrekt, men dette er fuldstændig ukorrekt.

Heldigvis gennemførte vi et fuldt post mortem, som man bør gøre efter enhver reel katastrofe, for at fastslå, hvad der var gået galt, hvad der var gået rigtigt, hvordan vi kunne rette processer og beslutninger, der havde fejlet, og hvordan vi kunne bevare dem, der havde beskyttet os. Typisk, når en stor systemhændelse sker, kan jeg ikke tale om det offentligt. Men en gang imellem kan jeg. Det er så almindeligt at reagere på en katastrofe – enhver katastrofe – og tænke “åh, hvis vi bare havde...”. Men man er nødt til at undersøge katastrofen. Der er så meget at lære om processer og om os selv.

Lidt baggrundsinformation: En kritisk server, der kører i et enterprise-datacenter, hoster adskillige vigtige workloads, der er meget vigtige for flere virksomheder. Den er lidt over fire år gammel og har kørt isoleret i mange år. Ældre servere er altid en smule bekymrende, efterhånden som de nærmer sig end of life. Fire år er næppe end of life for en enterprise-klasse server, men den var bestemt ikke ung heller.

Dette var en enkelt server uden nogen failover-mekanisme. Backup blev håndteret eksternt til et enterprise backup-apparat i det samme datacenter. Et meget enkelt systemdesign.

Jeg vil ikke inkludere alle interne detaljer, da enhver situation som denne har mange kompleksiteter i planlægning og drift. Disse egner sig bedst til en intern post mortem-proces.

Da serveren fejlede, fejlede den spektakulært. Fejlen var så komplet, at vi var ude af stand til at diagnosticere den på afstand, selv med hjælp fra de stedlige teknikere på datacenteret. Selv serverproducenten var ude af stand til at diagnosticere problemet. Dette efterlod os i en vanskelig situation – hvordan håndterer man en død server, når hardwaren ikke pålideligt kan repareres? Vi kunne udskifte drev, vi kunne udskifte strømforsyninger, vi kunne udskifte bundkortet. Hvem vidste, hvad der måske ville løse det.

I sidste ende var beslutningen, at serveren såvel som backupsystemet måtte flyttes tilbage til hovedkontoret, hvor de kunne triageres i person med maksimale ressourcer. I sidste ende lykkedes det at reparere systemet, og ingen data gik tabt. Beslutningen om at afholde sig fra at gå til backup blev truffet, da datagendannelse var vigtigere end systemtilgængelighed.

Når alt var sagt og gjort, var katastrofen en af de mest totale, man kunne forestille sig uden at opleve egentligt datatab. Nedbruddet varede i mange dage, og en masse reserveudstyr, mandtimer og reparationsforsøg blev brugt. Processen var udmattende, men da den var færdig, blev systemet genoprettet med succes.

Det langvarige nedbrud og følelsen af kaos, mens tingene blev diagnosticeret og reparationsforsøg blev gjort, førte til en generel følelse af fiasko. Folk begyndte at sige det, og dette fører til, at folk tror på det. Under en nødberedskabssituation er det meget nemt at blive overdrevent følelsesladet, især når der er meget lidt søvn at hente.

Men da vi trådte et skridt tilbage og så på det endelige resultat, overraskede det, vi fandt, næsten alle: triageoperationen og den indledende risikoeplanlægning havde været vellykket.

Det kaos, der sker under en triage, får ofte tingene til at føles meget værre, end de virkelig er. Men vores triagehavling havde været fremragende. Triage betyder ikke magi – der er en opdagelsesfase og en reaktionsfase. Da vi analyserede rækkefølgen af begivenheder og lagde dem ud i en tidslinje, fandt vi, at vi havde handlet så godt, at der næsten ikke var nogen steder, hvor vi kunne have forkortet tidsrammen. Vi havde foretaget god diagnostik, engageret de rette parter på det rette tidspunkt, sat dele i logistisk bevægelse så hurtigt som muligt, og det meste af den tid, der syntes at have været kaotisk og spildt, var faktisk “ventetid”, hvor vi forsøgte at afgøre, om der fandtes yderligere muligheder eller var begået fejl, mens vi ventede på de nødvendige reservedele til reparationen. Dette fik tingene til at føles meget værre, end de virkelig var, men alle disse handlinger var det korrekte sæt af handlinger at foretage.

Fra triage- og gendannelsesperspektivet var processen gået fejlfrit, selv om nedbruddet i sidste ende varede mange dage. Når katastrofen først var sket – og i det omfang den var sket – forløb gendannelsen faktisk utrolig glat. Intet er absolut perfekt, men det gik ekstremt godt. Maskinen fungerede som tiltænkt.

Den langt mere overraskende del var at se på katastrofens indvirkning. Der er to måder at betragte dette på. Den ene er den klogere tilgang, “ingen bagklogskab”-tilgangen. Her ser vi på katastrofen, indvirkningsomkostningen ved katastrofen, afhjælpningsomkostningen og anvender sandsynligheden for, at katastrofen ville være sket, og afgør, om den rigtige planlægningsbeslutning var truffet. Dette er svært at beregne, fordi risikofaktoren altid er et estimat, men man kan normalt komme præcist nok til at vide, hvor god ens planlægning var. Den anden måde er 20/20-bagklogskabstilgangen – hvad nu hvis vi vidste, at denne katastrofe ville ske, hvad ville vi så have gjort for at forhindre den? Det er åbenlyst fuldstændig urimeligt at fjerne risikofaktoren og se, hvad katastrofen kostede i rene tal, fordi vi ikke kan vide, hvad der vil gå galt og kun planlægge for den ene mulighed eller bruge ubegrænset penge på noget, vi faktisk ikke ved, om vil ske. Virksomheder begår ofte fejlen at bruge den sidstnævnte beregning og bebrejde planlæggere for ikke at have perfekt forudseenhed.

I dette tilfælde var vi rimeligt sikre på, at vi fra starten havde taget det rigtige gamble. Systemet havde kørt i næsten et årti med nul nedetid. De samlede systemomkostninger havde været lave, triageomkostningerne havde været moderate, og hændelsen havde været ekstremt usandsynlig. At vi, når risikofaktoren tages i betragtning, havde planlagt godt, var ikke generelt overraskende for nogen.

Det overraskende var, at da vi kørte beregningerne uden risikofaktoren, ville vi – selv hvis vi havde vidst, at systemet ville fejle, og at et langvarigt nedbrud ville finde sted – stadig have truffet den samme beslutning! Dette var direkte chokerende. Omkostningen ved det langvarige nedbrud var faktisk lavere end omkostningen ved det nødvendige udstyr, hosting og arbejdskraft til at have bygget et funktionelt risikoreduktionssystem – i dette tilfælde ville det have betydet at have en fuldt redundant server i datacenteret ved siden af den, der var i produktion. Faktisk havde omkostningsbesparelsen ved at acceptere dette langvarige nedbrud sparet tæt på ti tusinde dollars!

Dette viste sig at være et ekstremt tilfælde, hvor nedbruddet var ødelæggende slemt, svært at forudsige, umuligt at reparere hurtigt – og alligevel resulterede i massive langsigtede omkostningsbesparelser. Men lektien er vigtig. Der er så meget følelsesmæssigt ballast, der følger med enhver katastrofe – hvis vi ikke foretager ordentlig post mortem-analyse og arbejder på at fjerne følelsesmæssige reaktioner fra vores beslutningstagning, vil vi ofte kaste os ud i store økonomiske tab eller placere skyld forkert, selv når tingene er gået godt. Mange virksomheder ville have set på denne katastrofe og reageret ved at bruge dramatisk store summer for at forhindre den samme usandsynlige hændelse i at gentage sig – selv når de havde matematikken foran sig til at fortælle dem, at det ville spilde penge, selv hvis den hændelse skulle gentage sig!

Der var andre lektier at lære af dette nedbrud. Vi lærte, hvor kommunikation ikke havde været ideel, hvor de rette mennesker ikke altid var i den rette beslutningstagningsposition, hvor kundekommunikation ikke var, hvad den burde have været, at kunden ikke havde informeret os om ændringer korrekt og mere. Men overordnet set var lektionerne, at vi havde planlagt korrekt, og at vores triageoperation havde fungeret korrekt, og at vi havde sparet kunden adskillige tusinde dollars i forhold til det, der ville have været set som den “konservative” tilgang – og ved at gennemføre et godt post mortem formåede vi at forhindre dem og os selv i at overreagere og forvandle en god beslutning til en dårlig fremadrettet. Uden et post mortem ville vi meget sandsynligvis have ændret vores gode processer i den tro, at de havde været dårlige.

De vigtigste pointer, jeg ønsker at formidle til dig, læseren, er, at post mortems er et kritisk skridt i enhver katastrofe, at traditionel konservativ tankegang ofte er meget risikabel, og at følelsesmæssige reaktioner på risiko ofte forårsager finansielle katastrofer, der er større end de tekniske katastrofer, de søger at beskytte imod.