Forklaring på Manglen af Storskalaundersøgelser inden for IT

IT-praktikere efterspørger dem hver dag, og alligevel eksisterer de ikke – storskalaundersøgelser af risiko og ydeevne for IT-hardware og -software. Dette dækker et bredt spektrum af muligheder, men typiske eksempler er fejlrater for forskellige servermodeller, harddiske, operativsystemer, RAID-arraytyper, stationære computere, bærbare computere og meget mere. Og alligevel, uanset den store efterspørgsel efter sådanne data, er der ingen tilgængelige. Hvordan kan det være.

Ikke alle tilfælde er ens, selvfølgelig, men der er generelt tre virkelig betydningsfulde faktorer, der spiller ind og holder denne type data væk fra branchen. Det drejer sig om de høje omkostninger ved at gennemføre en undersøgelse, den lange tidshorisont en undersøgelse kræver, og en mangel på incitament til at producere og/eller dele disse data med andre virksomheder.

Omkostninger er langt den største faktor. Hvis omkostningerne ved storskalaundersøgelser kunne overvindes, ville der kunne findes løsninger på alle andre faktorer. Men desværre er det sådanne undersøgelsers natur, at de vil være kostbare. Som eksempel kan vi se på serverernes pålidelighed.

For at bestemme fejlrater på en server har vi brug for et stort antal servere for at indsamle disse data. Dette kan virke som et ekstremt eksempel, men serverfejlrater er en af de mest efterspurgte figurer i storskalaundersøgelser, og eksemplet er derfor vigtigt. Vi ville måske have brug for et par hundrede servere til en meget lille undersøgelse, men for at opnå statistisk signifikante data ville vi sandsynligvis have brug for tusindvis af servere. Hvis vi antager, at en enkelt server koster tredive tusind kroner, hvilket ville være en relativt entry-level server, ser vi let på to hundrede millioner kroner i udstyr! Og det er bare nok til at gennemføre en noget lille test (kun fem tusinde servere) af en relativt billig enhed. Hvis vi talte om enterprise-servere, ville prisen let springe til to hundrede tusinde eller endda tre hundrede femoghalvtreds tusinde kroner per server, hvilket bringer den samlede udgift op på næsten en kvart milliard kroner.

Den omkostning er naturligvis for test af en enkelt konfiguration af en enkelt servermodel. For at en undersøgelse skal være meningsfuld, har vi sandsynligvis brug for mange forskellige modeller af servere. Måske flere fra hver leverandør for at sammenligne forskellige linjer og funktioner. Måske mange forskellige leverandører. Det er let at se, hvor hurtigt omkostningerne ved en undersøgelse bliver umuligt store.

Dette er dog kun begyndelsen på omkostningerne. For at gennemføre en god undersøgelse kræves omhyggeligt kontrollerede miljøer på niveau med de bedste datacentre for at isolere miljøproblemer så meget som muligt. Det betyder meget pålidelig strøm, køling, luftstrøm, fugtighedskontrol, vibrations- og støvkontrol. Gode faciliteter som disse er meget dyre og er grunden til, at mange virksomheder ikke betaler for dem, selv ikke til værdifulde produktionsopgaver. I en stor undersøgelse kunne disse omkostninger let overstige prisen på selve udstyret over undersøgelsens forløb.

Dernæst skal vi selvfølgelig tage fat på behovet for særlige sensorer og test. Hvad udgør præcist en fejl? Selv i produktionssystemer er der ofte uenighed om dette. Er en harddisk, der fejler i et array, en fejl, selv hvis arrayet ikke fejler? Er en forudsagt fejl en fejl? Hvis man beskæftiger sig med drevfejl i en undersøgelse, hvordan tager man så højde for menneskelige komponenter såsom udskiftning af drev, som måske ikke sker på en ensartet måde? Der er måder at håndtere dette på, men de tilføjer komplikationer og får undersøgelserne til at afvige fra data fra den virkelige verden til fabrikerede data til undersøgelsesformål. At etablere undersøgelsesretningslinjer, der er anvendelige og nyttige for slutbrugere, er langt sværere end det ser ud.

Og den største omkostning er manuelt arbejde. At opretholde et miljø til en stor undersøgelse vil kræve menneskelig kapital, der kan svare til undersøgelsens egne omkostninger. Det kræver et stort antal mennesker at vedligeholde et undersøgelsesmiljø, gennemføre selve undersøgelsen, overvåge den og indsamle data. Alt i alt er omkostningerne generelt simpelthen umulige at bære.

Vi kunne selvfølgelig reducere testen kraftigt, køre kun en håndfuld servere og kun to eller tre modeller, men undersøgelsensværdi falder hurtigt og risikerer at ende med resultater, som ingen kan bruge, mens der stadig er brugt en stor sum penge.

Det andet uoverstigelige problem er tid. De fleste ting skal testes for fejlrater over tid, og da udstyr i IT generelt er designet til at fungere pålideligt i årtier, kræver indsamling af data om fejlrater mange år. Mean Time to Failure-tal er kun så værdifulde; Mean Time Between Failures og fejltyper, -mønstre og -statistikker er meget vigtige, for at en undersøgelse kan være nyttig. Det betyder, at for at en undersøgelse virkelig skal være nyttig, skal den køre i meget lang tid, hvilket skaber stadigt stigende omkostninger.

Men det er ikke det største problem. Det langt større problem er, at for at en undersøgelse kan have nok tid til at generere nyttige fejltal, ville det allerede være for sent, selv hvis disse tal kom frem “live”, efterhånden som de opstod. Det omhandlede udstyr ville allerede ældes og nærme sig udskiftningstid på produktionsmarkedet, inden undersøgelsen producerede virkelig nyttige tidlige resultater. Ofte købes produktionsudstyr kun til et samlet livsforløb på tre til fem år. At få resultater selv et år inde i dette tidsrum ville have ringe værdi. Og nye produkter kan erstatte dem i undersøgelsen endnu hurtigere end produkterne ældes naturligt, hvilket gør undersøgelsen kun værdifuld i en historisk kontekst uden nogen anvendelse til at bestemme valg i en produktionsbeslutningsrolle – resultaterne ville være for gamle til at være nyttige, når de var tilgængelige.

Den endelige store faktor er en mangel på incitament til at stille eksisterende data til rådighed for dem, der har brug for det. Selv om få datakilder eksisterer, gør nogle det, men næsten alle er ufuldstændige og eksisterer til brug for store leverandørers måling af deres eget udstyrs kvalitet, fejlrater og lignende. Disse foretages sjældent i kontrollerede miljøer og involverer ofte data indsamlet fra marken. I mange tilfælde kan disse data endda være fortrolige over for kunder og juridisk umulige at dele uanset hvad.

Men leverandører, der indsamler data, indsamler dem ikke på en ensartet, overvåget måde, så deling af disse data kan være meget skadeligt for dem, fordi der ikke er nogen sikkerhed for, at tilsvarende data fra deres konkurrenter ville eksistere. Ukontrollerede statistikker som disse ville ikke give nogen reel fordel for markedet, og det giver heller ikke de leverandører, der har dem, nogen fordel, så leverandørerne har stærke incitamenter til at holde sådanne data tæt til brystet.

Den sjældne undtagelse er visse hardwareundersøgelser fra leverandører som Google og BackBlaze, der har store antal forbrugerklass harddiske i relativt kontrollerede miljøer og indsamler fejlrater til egne formål, men har lille eller ingen risiko fra, at deres egne konkurrenter udnytter disse data. De har til gengæld PR-værdi i at gøre det offentligt, og vil derfor lejlighedsvis udgive en undersøgelse af hardwarepålidelighed i begrænset omfang. Disse undersøgelser sluges grådigt af branchen, selv om de generelt indeholder relativt ringe værdi, da deres data er gamle og under ukendte forhold og tærskler, og ofte ikke indeholder statistisk meningsfulde data til produktsammenligning og i bedste fald indeholder generelle brancheomspændende statistiske tendenser, der er noget nyttige til at forudsige fremtidige pålideligheds stier.

De fleste andre virksomheder, der er store nok til at have interne pålidelighedsstatistikker, har dem på et smalt sortiment af udstyr og betragter disse oplysninger som proprietære, en potentiel risiko, hvis de afsløres (det ville afsløre vigtige detaljer om arkitekturimplementeringer) og en konkurrencemæssig fordel. Af disse grunde deles de ikke.

Jeg har faktisk haft den lykke at have været involveret i og at have kørt en storskala lagerreliabilitetstest, der blev gennemført noget uformelt, men meget værdifuldt, på over ti tusinde enterprise-servere over otte år, hvilket resulterede i firs tusinde serverår af studie – en sjælden mulighed. Men hvad der blev konkluderet i den undersøgelse var, at selv om den var ekstremt værdifuld, viste den primært, at vi i et sæt af denne størrelse stadig var ude af stand til at observere en eneste fejl! Manglen på fejl var i sig selv meget værdifuld. Men vi var ude af stand til at producere nogen standardstatistik som Mean Time to Failure. For at producere den slags data, folk forventer, ved vi, at vi ville have haft brug for hundredtusinder af serverår som minimum for at opnå nogen form for statistisk signifikans, men vi kan ikke pålideligt fastslå, at selv det ville have været nok. Måske ville millioner af serverår have været nødvendige. Der er ingen måde at vide det med sikkerhed.

Hvor det efterlader os, er, at storskalaundersøgelser inden for IT simpelthen ikke eksisterer og sandsynligvis aldrig vil eksistere. Når de gør det, vil de være isolerede og næsten sikkert hæmmede af virkelighedens nødvendigheder. Der er ingen midler til at monetarisere undersøgelser i den skala, der er nødvendig for at være nyttige, primært fordi fejlrater for enterprise-udstyr er så lave, mens udstyret er så dyrt, at tredjeparts firmaer aldrig kan dække omkostningerne ved at levere denne forskning. Som branche må vi acceptere, at denne type data ikke eksisterer, og aktivt søge alternativer til at have adgang til sådanne data. Det er overraskende, at så mange mennesker i branchen forventer, at denne type data er tilgængelig, når den historisk set aldrig har været det.

Vores eneste reelle muligheder, i betragtning af dette tomrum, er at indsamle det anekdotiske bevis, der eksisterer (en meget farlig ting at gøre, der kræver omhyggelig overvejelse af kontekst) og anvendelsen af logik til at vurdere pålidelighedsmetoder og -teknikker. Dette er en bred situation, hvor observation nødvendigvis svigter os, og kun logik og intuition kan bruges til at udfylde det resulterende videnshul.