IT 분야에서 대규모 연구가 없는 이유

IT 담당자들은 매일 이것을 요청하지만, 존재하지 않습니다 – IT 하드웨어 및 소프트웨어에 대한 대규모 위험 및 성능 연구 말입니다. 이것은 다양한 서버 모델 간 고장률, 하드 드라이브, 운영 체제, RAID 어레이 유형, 데스크탑, 노트북 등 광범위한 가능성을 포괄합니다. 하지만 이러한 데이터에 대한 높은 수요에도 불구하고 사용 가능한 데이터가 없습니다. 어떻게 이럴 수 있을까요?

물론 모든 경우가 동일하지는 않지만, 일반적으로 이 유형의 데이터가 현장에 들어오지 못하게 하는 세 가지 중요한 요인이 있습니다. 연구 수행의 높은 비용, 연구에 필요한 긴 시간 규모, 그리고 이 데이터를 생산하거나 다른 회사와 공유할 인센티브의 부족이 그것입니다.

비용이 단연 가장 큰 요인입니다. 대규모 연구의 비용 문제를 극복할 수 있다면 다른 모든 요인에서도 해결책을 찾을 수 있을 것입니다. 하지만 안타깝게도 대규모 연구의 특성상 비용이 많이 들 수밖에 없습니다. 예를 들어 서버 신뢰성 비율을 살펴볼 수 있습니다.

서버의 고장률을 결정하기 위해서는 이 데이터를 수집하기 위한 많은 수의 서버가 필요합니다. 이것은 극단적인 예처럼 보일 수 있지만 서버 고장률은 가장 일반적으로 요청되는 대규모 연구 수치 중 하나이므로 이 예는 중요합니다. 매우 소규모 연구를 위해서는 수백 대의 서버가 필요하고 통계적으로 유의미한 데이터를 얻으려면 수천 대의 서버가 필요할 것입니다. 단일 서버를 5,000달러로 가정하면, 이는 상당히 엔트리 레벨 서버인데, 우리는 쉽게 2,500만 달러의 장비를 보고 있습니다! 그리고 그것은 비교적 소규모 테스트(서버 5,000대)를 상당히 저비용 장치로 하기에도 충분한 비용입니다. 엔터프라이즈 서버에 대해 이야기하면 대당 3만 달러 또는 5만 달러도 쉽게 넘어 비용이 2억 5천만 달러까지 올라갈 수 있습니다.

물론 그 비용은 단일 모델 서버의 단일 구성을 테스트하기 위한 것입니다. 연구가 의미 있으려면 다양한 모델의 서버가 필요할 것입니다. 서로 다른 라인과 기능을 비교하기 위해 각 벤더에서 여러 가지를 선택해야 할 수도 있습니다. 다양한 벤더도 필요할 수 있습니다. 연구 비용이 얼마나 빠르게 불가능하게 큰 규모로 커질 수 있는지 쉽게 알 수 있습니다.

그러나 이것은 비용의 시작에 불과합니다. 좋은 연구를 수행하려면 환경적 문제를 가능한 한 격리하기 위해 최고의 데이터센터에 버금가는 신중하게 통제된 환경이 필요합니다. 이는 매우 안정적인 전력, 냉각, 기류, 습도 제어, 진동 및 먼지 제어를 의미합니다. 이런 좋은 시설은 매우 비싸며, 많은 기업들이 가치 있는 프로덕션 워크로드에도 그 비용을 지불하지 않는 이유입니다. 대규모 연구에서는 이 비용이 연구 기간 동안 장비 비용을 초과할 수도 있습니다.

그런 다음 물론 특수 센서와 테스트에 대한 필요성을 다루어야 합니다. 정확히 무엇이 고장을 구성하는가? 프로덕션 시스템에서도 종종 이에 대한 논쟁이 있습니다. 어레이가 실패하지 않아도 어레이의 하드 드라이브가 고장나면 실패인가요? 예측 고장은 고장인가요? 연구에서 드라이브 고장을 다룰 때, 균일한 방식으로 수행되지 않을 수 있는 드라이브 교체와 같은 인간적 요소를 어떻게 고려합니까? 이것을 처리하는 방법이 있지만 복잡성을 더하고 연구를 실세계 데이터에서 연구를 위해 만들어진 데이터로 멀어지게 합니다. 최종 사용자에게 적용 가능하고 유용한 연구 지침을 수립하는 것은 보기보다 훨씬 어렵습니다.

그리고 가장 큰 비용은 수동 노동입니다. 대규모 연구를 위한 환경 유지에는 연구 자체 비용과 맞먹을 수도 있는 인적 자본이 필요합니다. 연구 환경 유지, 연구 자체 실행, 모니터링 및 데이터 수집에는 많은 사람들이 필요합니다. 전반적으로, 비용은 일반적으로 수행하기 불가능할 정도입니다.

물론 테스트 규모를 크게 줄이고 소수의 서버와 두세 가지 모델만 실행할 수 있지만, 테스트의 가치가 빠르게 떨어지고 여전히 큰 금액을 지출하면서도 아무도 사용할 수 없는 결과를 얻을 위험이 있습니다.

두 번째 극복하기 어려운 문제는 시간입니다. 대부분의 것들은 시간에 따른 고장률을 테스트해야 하며, IT의 장비는 일반적으로 수십 년 동안 안정적으로 작동하도록 설계되어 있기 때문에 고장률에 대한 데이터를 수집하려면 수년이 필요합니다. 평균 고장 시간(MTTF) 수치는 그 가치가 제한적이며, 평균 고장 간격(MTBF)과 고장 유형, 모드 및 통계가 연구를 유용하게 만들기 위해 매우 중요합니다. 이것이 의미하는 바는 연구가 진정으로 유용하려면 훨씬 더 긴 시간 동안 실행되어야 하며 비용이 더욱 증가한다는 것입니다.

하지만 그것이 가장 큰 문제는 아닙니다. 훨씬 더 큰 문제는 연구가 유용한 고장 수치를 생성하기에 충분한 시간이 필요하며, 그 수치들이 실시간으로 나오더라도 이미 너무 늦다는 것입니다. 해당 장비는 연구가 진정으로 유용한 초기 결과를 생성하기 시작할 때쯤에는 이미 노후화되어 프로덕션 마켓플레이스에서 교체될 시간이 다가오고 있을 것입니다. 종종 프로덕션 장비는 전체 수명 3~5년으로만 구매됩니다. 이 기간의 1년 내에 결과를 얻더라도 거의 가치가 없습니다. 그리고 새로운 제품들이 장비가 자연스럽게 노후화되는 것보다 더 빨리 연구의 것들을 대체할 수 있어서, 연구는 역사적 맥락에서만 가치가 있고 프로덕션 결정 역할에서 선택을 결정하는 데 사용할 수 없게 됩니다 – 결과가 사용 가능해질 때쯤에는 이미 쓸모없을 것입니다.

마지막 주요 요인은 필요한 사람들에게 기존 데이터를 제공할 인센티브의 부족입니다. 몇 가지 데이터 소스가 존재하지만 거의 모두 불완전하고 대형 벤더들이 자체 장비 품질, 고장률 등을 측정하기 위해 존재합니다. 이는 통제된 환경에서 수행되는 경우가 드물고 종종 현장에서 수집된 데이터를 포함합니다. 많은 경우 이 데이터는 고객에게 비공개이며 법적으로 공유할 수 없을 수도 있습니다.

하지만 데이터를 수집하는 벤더들은 균일하게 모니터링된 방식으로 수집하지 않으므로 그 데이터를 공유하는 것은 경쟁업체의 동등한 데이터가 존재한다는 보장이 없기 때문에 그들에게 매우 해로울 수 있습니다. 그러한 통제되지 않은 통계는 시장이나 그것을 가진 벤더들에게 진정한 이익을 주지 않으므로 벤더들은 그러한 데이터를 엄격하게 비밀로 유지할 강력한 인센티브가 있습니다.

드문 예외는 Google과 BackBlaze와 같은 벤더들의 일부 하드웨어 연구로, 이들은 비교적 통제된 환경에서 많은 수의 소비자급 하드 드라이브를 보유하고 자체 목적을 위해 고장률을 수집하지만 경쟁업체가 그 데이터를 활용할 위험이 거의 없으면서도 공개적으로 하는 데 홍보 가치가 있습니다. 그래서 때때로 제한된 규모로 하드웨어 신뢰성에 대한 연구를 공개합니다. 이러한 연구들은 일반적으로 데이터가 오래되었고 알려지지 않은 조건 및 임계값에서 수집되었으며, 종종 제품 비교를 위한 통계적으로 의미 있는 데이터를 포함하지 않고, 기껏해야 미래 신뢰성 경로를 예측하는 데 다소 유용한 일반적인 업계 전반의 통계적 추세를 포함하더라도 업계는 이를 열렬히 소비합니다.

충분히 큰 내부 신뢰성 통계를 보유한 대부분의 다른 회사들은 좁은 범위의 장비에 대해 그것을 가지고 있으며 그 정보를 독점으로 간주하고, 공개될 경우 잠재적 위험(아키텍처 구현의 중요한 세부 정보가 노출됨)이 되며 경쟁 우위라고 생각합니다. 따라서 이러한 이유들로 공유되지 않습니다.

저는 실제로 대규모 스토리지 신뢰성 테스트에 참여하고 운영할 행운이 있었습니다. 그것은 다소 비공식적으로 수행되었지만, 8년 동안 10,000대 이상의 엔터프라이즈 서버에서 80,000 서버 연(server-years)의 연구를 수행한 귀중한 기회였습니다. 하지만 그 연구에서 결론지어진 것은, 매우 가치 있었음에도 불구하고, 그 규모에서도 단 하나의 고장도 관찰할 수 없었다는 것이었습니다! 고장의 부재 자체가 매우 가치 있었습니다. 하지만 우리는 평균 고장 시간과 같은 표준 통계를 생성할 수 없었습니다. 사람들이 기대하는 종류의 데이터를 생성하려면 최소한 수십만 서버 연이 필요하다는 것을 알고 있지만 그것으로 충분할지도 확실히 말할 수 없습니다. 어쩌면 수백만 서버 연이 필요할 수도 있습니다. 진정으로 알 방법이 없습니다.

이것이 우리를 남겨두는 곳은 IT의 대규모 연구가 단순히 존재하지 않으며 앞으로도 아마도 존재하지 않을 것이라는 것입니다. 그것들이 존재할 때 고립되어 있고 현실의 필요에 의해 거의 확실히 제한될 것입니다. 유용하기에 필요한 규모의 연구를 수익화할 방법이 없습니다. 주로 엔터프라이즈 장비의 고장률이 너무 낮고 장비가 너무 비싸기 때문입니다. 따라서 제3자 기업은 이 연구를 제공하는 비용을 결코 감당할 수 없습니다. 업계로서 우리는 이러한 유형의 데이터가 존재하지 않는다는 것을 받아들이고 그러한 데이터에 접근하는 것을 대체할 방법을 적극적으로 모색해야 합니다. 역사적으로 이런 유형의 데이터가 존재한 적이 없는데도 많은 현장 사람들이 이러한 데이터를 사용할 수 있다고 기대한다는 것이 놀랍습니다.

이 공백을 고려할 때 우리의 유일한 실질적인 옵션은 존재하는 일화적 증거를 수집하는 것(맥락에 대한 신중한 고려가 필요한 매우 위험한 일)과 신뢰성 접근 방식과 기술을 평가하기 위해 논리를 적용하는 것입니다. 이는 관찰이 필연적으로 우리를 실패시키고 논리와 직관만이 결과적인 지식의 공백을 채우는 데 사용될 수 있는 광범위한 상황입니다.