장애 사후 분석의 공개 보고

삶의 많은 것들에는 일반적으로 수용된 “보수적인” 접근 방식과 적어도 대중적 감정에 따르면 피해야 할 “위험한” 접근 방식이 있습니다. 예를 들어 투자에서는 국채나 지방채를 구매하는 것을 저위험으로, 주식(기업 주식)에 투자하는 것을 고위험으로 보는 경우가 많습니다. 그러나 통계적 수치는 이것이 반대라는 것을 알려주며, 거의 모든 사람이 채권에서 손해를 보고 주식에서 이익을 냅니다. 시험을 거치면 일반적인 “지혜”는 순전히 감정에 기반한 것으로 밝혀지고, 이는 다시 오해에 기반하며, 투자에서 가장 위험한 것은 감정을 이용해 투자 전략을 이끄는 것입니다.

마찬가지로, 비즈니스 위험 평가에서 일반적인 접근 방식은 위험에 대한 감정적인 반응을 느끼는 것이며, 이것이 패닉 반응을 유발하고 사람들이 인식된 위험을 과보상하는 강한 경향을 만들어냅니다. 우리는 이것을 IT 인프라가 매출에 거의 기여하지 않거나 단기 운영에 그다지 중요하지 않은 소규모 기업에서 흔히 봅니다. 이들은 부분적으로만 인식되고 매우 잘못 표현된 위험으로부터 보호하기 위해 많은 비용을 지출합니다. 이것은 종종 너무 극적으로 변하여 완화 프로세스가 지적으로가 아닌 감정적으로 처리되고, 우리는 정기적으로 기업들이 위험을 줄이기보다 오히려 증가시키는 잘못된 시스템 설계를 구현하면서 매우 많은 비용을 지출하고, 위험이 대부분 상상 속의 것이었기 때문에 상상의 위험, 상상의 위험 완화, 상상의 성공이라는 겹겹이 쌓인 오해를 바탕으로 프로젝트를 성공이라고 부르는 것을 발견합니다.

최근에 저는 소규모 비즈니스의 전면적인 재해에 관여하게 되었습니다. 그 재해는 거의 “최악의 시나리오”에 해당했습니다. 완전히 그렇지는 않았지만 매우 가까웠습니다. 당시 재해에 대한 감정적 반응은 강했으며, 재해가 완전히 진행되자 거의 모든 사람이 재해 계획이 잘못되었고 문제를 피했어야 했다고 말하고 반복하는 것이 일반적이었습니다. 이것은 모든 재해 상황에서 매우 일반적입니다. 인간은 항상 누군가를 탓해야 하고, 우리가 일을 올바르게 한다면 위험이 없는 시나리오가 있어야 한다고 느끼지만, 이것은 완전히 잘못된 것입니다.

다행히도 우리는 진정한 재해 이후 항상 해야 하는 것처럼 완전한 사후 분석을 수행하여 무엇이 잘못되었는지, 무엇이 잘 되었는지, 실패한 프로세스와 결정을 어떻게 고칠 수 있는지, 그리고 우리를 보호했던 것들을 어떻게 유지할 수 있는지 파악했습니다. 일반적으로 큰 시스템 사건이 발생했을 때 저는 공개적으로 이야기할 수 없습니다. 하지만 때때로 할 수 있습니다. 재해에, 어떤 재해에든 반응하고 “오, 만약 우리가 단지...”라고 생각하는 것은 너무나 흔합니다. 그러나 재해를 검토해야 합니다. 프로세스와 우리 자신에 대해 배울 것이 너무 많습니다.

먼저 배경 설명입니다. 기업 데이터센터에서 운영 중인 중요한 서버가 여러 회사에 매우 중요한 여러 핵심 워크로드를 보유하고 있습니다. 4년이 조금 넘은 이 서버는 수년 동안 고립된 상태로 운영되어 왔습니다. 노후 서버는 서비스 종료가 가까워질수록 항상 약간 걱정스럽습니다. 4년은 엔터프라이즈급 서버에 있어 서비스 종료와는 거리가 멀지만, 분명히 젊지도 않습니다.

이것은 페일오버 메커니즘이 없는 단일 서버였습니다. 백업은 동일한 데이터센터 내의 엔터프라이즈 백업 어플라이언스에 외부적으로 처리되었습니다. 매우 단순한 시스템 설계였습니다.

어떤 상황이든 계획과 운영에 있어 많은 복잡성이 있으므로 모든 내부 세부 사항을 포함하지는 않겠습니다. 그것들은 내부 사후 분석 프로세스에 남겨두는 것이 가장 좋습니다.

서버가 실패했을 때, 완전히 실패했습니다. 실패가 너무 완벽하여 데이터센터의 현장 기술자의 도움을 받더라도 원격으로 진단할 수 없었습니다. 심지어 서버 벤더도 문제를 진단할 수 없었습니다. 이것은 우리를 어려운 처지에 놓았습니다. 하드웨어를 신뢰할 수 없게 수리할 수 없을 때 죽은 서버를 어떻게 처리합니까? 드라이브를 교체하거나, 전원 공급 장치를 교체하거나, 마더보드를 교체할 수 있었습니다. 무엇이 해결책이 될지 아무도 알 수 없었습니다.

결국 서버와 백업 시스템을 직접 트리아지하고 최대한의 리소스를 활용하기 위해 주 사무소로 다시 이전해야 한다는 결정이 내려졌습니다. 결국 시스템을 수리할 수 있었고 데이터는 손실되지 않았습니다. 데이터 복구가 시스템 가용성보다 더 중요했기 때문에 백업으로 전환하지 않는 결정이 내려졌습니다.

모든 것이 끝났을 때, 재해는 실제 데이터 손실 없이 상상할 수 있는 가장 완전한 것 중 하나였습니다. 장애는 여러 날 동안 계속되었고 많은 예비 장비, 인력 시간 및 수리 시도가 사용되었습니다. 과정은 지쳐가는 것이었지만, 완료되었을 때 시스템이 성공적으로 복구되었습니다.

긴 장애와 사물이 진단되고 수리가 시도될 때의 혼란감은 전반적인 실패감으로 이어졌습니다. 사람들이 이를 말하기 시작하고 이것이 사람들이 이를 믿게 만듭니다. 비상 대응 조건 하에서는 특히 거의 잘 수가 없을 때 과도하게 감정적이 되기 쉽습니다.

그러나 뒤로 물러서서 최종 결과를 살펴봤을 때 우리가 발견한 것은 거의 모든 사람을 놀라게 했습니다. 트리아지 작업과 초기 위험 계획이 성공적이었다는 것을 발견했습니다.

트리아지 중에 발생하는 혼란은 종종 일이 실제보다 훨씬 나빠 보이게 만듭니다. 그러나 우리의 트리아지 처리는 훌륭했습니다. 트리아지는 마법을 의미하지 않으며 발견 단계와 반응 단계가 있습니다. 사건의 순서를 분석하고 타임라인에 배열했을 때, 우리가 너무 잘 행동하여 시간을 단축할 수 있는 곳이 거의 없었다는 것을 발견했습니다. 우리는 좋은 진단을 했고, 적절한 시간에 적절한 당사자를 참여시켰고, 가능한 한 빨리 부품 물류를 시작했으며, 혼란스럽고 낭비된 시간처럼 보였던 대부분은 실제로 수리에 필요한 부품을 기다리는 동안 추가 옵션이 있는지 또는 실수가 있었는지 확인하려는 “채우기 시간”이었습니다. 이것이 일을 실제보다 훨씬 나빠 보이게 했지만, 이 모든 것은 올바른 행동이었습니다.

트리아지 및 복구 관점에서 프로세스는 장애가 며칠이나 지속되었음에도 불구하고 완벽하게 진행되었습니다. 재해가 발생하고 그 믿기 어려운 수준으로 발생하자, 복구는 실제로 매우 원활하게 진행되었습니다. 완전히 완벽한 것은 없지만 매우 잘 진행되었습니다. 기계가 의도대로 작동했습니다.

훨씬 더 놀라운 부분은 재해 영향을 살펴보는 것이었습니다. 이를 보는 두 가지 방법이 있습니다. 하나는 더 현명한 방법인 “사후 판단 없음” 접근 방식입니다. 여기서는 재해, 재해의 영향 비용, 완화 비용을 살펴보고 재해가 발생했을 가능성을 적용하여 올바른 계획 결정이 내려졌는지 판단합니다. 위험 요소가 항상 추정된 숫자이기 때문에 이것은 계산하기 어렵지만, 일반적으로 계획이 얼마나 좋았는지 알 수 있을 만큼 정확하게 얻을 수 있습니다. 두 번째 방법은 20/20 사후 판단 접근 방식입니다. 이 재해가 발생할 것이라는 것을 알았다면 무엇을 했을까요? 위험 요소를 제거하고 순수한 수치로 재해 비용이 무엇인지 보는 것은 명백히 완전히 불공평합니다. 왜냐하면 우리는 무엇이 잘못될 것인지 알 수 없고 그 하나의 가능성에만 계획하거나 실제로 발생할지 모르는 일에 무제한의 돈을 쓸 수 없기 때문입니다. 기업들은 종종 후자의 계산을 사용하고 계획자들이 완벽한 선견지명을 갖지 못했다고 비난하는 실수를 범합니다.

이 경우 우리는 처음부터 올바른 도박을 했다고 상당히 확신했습니다. 시스템이 거의 10년 동안 다운타임 없이 운영되었습니다. 전반적인 시스템 비용은 낮았고, 트리아지 비용은 적당했으며, 사건은 매우 가능성이 낮았습니다. 위험 요소를 고려할 때 우리가 좋은 계획을 했다는 것은 일반적으로 누구에게도 놀라운 일이 아니었습니다.

놀라운 것은 위험 요소 없이 계산을 실행했을 때, 시스템이 실패하고 장기간 장애가 발생할 것이라는 것을 알았더라도 동일한 결정을 내렸을 것이라는 점입니다! 이것은 정말로 충격적이었습니다. 장기간의 장애 비용이 실제로 기능적인 위험 완화 시스템을 구축하는 데 필요한 장비, 호스팅 및 인력 비용보다 적었습니다. 이 경우에는 프로덕션에 있던 것과 함께 데이터센터에 완전히 이중화된 서버를 갖추는 것이었을 것입니다. 사실 이 장기간의 장애를 수용함으로써 거의 만 달러에 가까운 비용을 절약했습니다!

이것은 장애가 매우 나쁘고, 예측하기 어려우며, 빠르게 수리할 수 없었지만 여전히 대규모 장기 비용 절감을 가져온 극단적인 경우로 밝혀졌습니다. 그러나 교훈은 중요합니다. 어떤 재해에나 많은 감정적 짐이 따르며, 적절한 사후 분석을 하지 않고 의사 결정에서 감정적 반응을 제거하려 노력하지 않으면, 일이 잘 진행되었을 때도 종종 대규모 재정적 손실을 향해 뛰어들거나 잘못된 비난을 하게 됩니다. 많은 기업들이 이 재해를 보고 수학이 그렇게 해도 비용이 낭비될 것이라고 말해주고 있음에도 불구하고, 동일한 가능성 낮은 사건이 재발하는 것을 막기 위해 극적으로 과지출하는 방식으로 반응했을 것입니다!

이 장애에서 배울 수 있는 다른 교훈들도 있었습니다. 우리는 커뮤니케이션이 이상적이지 않았던 곳, 적절한 사람이 항상 적절한 의사 결정 자리에 있지 않았던 곳, 고객 커뮤니케이션이 바람직하지 않았던 곳, 고객이 변경 사항을 적절히 알리지 않은 곳 등을 배웠습니다. 그러나 전반적으로 교훈은 우리가 올바르게 계획했고, 트리아지 작업이 올바르게 작동했으며, 고객에게 “보수적인” 접근 방식으로 보였을 것보다 수천 달러를 절약했고, 좋은 사후 분석을 통해 그들과 우리 자신이 과잉 반응하여 좋은 결정을 나쁜 것으로 바꾸는 것을 막았다는 것이었습니다. 사후 분석 없이는 좋은 프로세스를 나쁜 것으로 생각하여 변경했을 가능성이 높습니다.

여기서 여러분, 독자에게 전달하고자 하는 교훈은 사후 분석이 모든 재해에서 중요한 단계라는 것, 전통적인 보수적 사고는 종종 매우 위험하다는 것, 그리고 위험에 대한 감정적 반응은 종종 그것이 보호하려는 기술적 재해보다 더 큰 재정적 재해를 일으킨다는 것입니다.