ITにおける大規模研究が存在しない理由

ITプラクティショナーは毎日これらを求めているのに、存在しません。ITハードウェアとソフトウェアに関する大規模なリスクおよびパフォーマンス研究です。これはさまざまな可能性をカバーしますが、一般的な例として、異なるサーバーモデル、ハードドライブ、オペレーティングシステム、RAIDアレイタイプ、デスクトップ、ラップトップなどの間の故障率が挙げられます。それでも、そのようなデータへの高い需要にもかかわらず、利用可能なものは何もありません。これはどういうことなのでしょうか。

もちろんすべてのケースが同じというわけではありませんが、概してこのタイプのデータが分野に入り込むのを妨げている3つの非常に重要な要素があります。それらは、研究を実施する高いコスト、研究に必要な長い時間スケール、そしてこのデータを他の企業と生産・共有するインセンティブの欠如です。

コストが圧倒的に最大の要因です。大規模研究のコストを克服できれば、他のすべての要因に対して解決策を見つけることができます。しかし残念ながら、大規模研究の性質上、コストがかかることは避けられません。例として、サーバーの信頼性率を見てみましょう。

サーバーの故障率を調べるためには、このデータを収集するために大量のサーバーが必要です。これは極端な例のように見えるかもしれませんが、サーバー故障率は最もよく要求される大規模研究の数値の一つであるため、この例は重要です。非常に小規模な研究には数百台のサーバーが必要かもしれませんが、統計的に有意なデータを得るためにはおそらく数千台のサーバーが必要になるでしょう。比較的エントリーレベルのサーバーとして1台あたり5,000ドルと仮定すると、機材だけで簡単に2,500万ドルになります！それもかなり小規模のテスト（たった5,000台のサーバー）でかなり低コストのデバイスを対象とした場合だけです。エンタープライズサーバーについて話すなら、1台あたり容易に3万ドルから5万ドルになり、コストは2億5,000万ドルにまで跳ね上がります。

もちろんそのコストは、単一モデルサーバーの単一構成をテストするためのものです。研究が意味のあるものになるためには、おそらく多くの異なるモデルのサーバーが必要になります。さまざまなラインや機能を比較するために各ベンダーからいくつかのモデルが、そしておそらく多くの異なるベンダーが必要です。研究のコストがいかに急速に不可能なほど大きくなるかは容易にわかります。

しかしこれはコストの始まりに過ぎません。良い研究を行うには、環境の問題を可能な限り切り離すために最高のデータセンターに匹敵する慎重に制御された環境が必要になります。これは高度に信頼性の高い電力、冷却、気流、湿度制御、振動・粉塵制御を意味します。このような優れた施設は非常に高価であり、これが多くの企業が、価値ある本番ワークロードに対してさえも、そのようなコストを払わない理由です。大規模な研究では、このコストは研究期間中に機材自体のコストを容易に超える可能性があります。

次に、もちろん特別なセンサーとテストのニーズに対処する必要があります。故障とは正確に何を指すのでしょうか？本番システムでさえこれについて議論があることが多いです。アレイが故障していなくても、アレイ内のハードドライブが故障するのは故障と言えるのでしょうか？予測故障は故障と言えるのでしょうか？研究でドライブ故障を扱う場合、均一な方法で行われないかもしれないドライブ交換などの人的要素をどのように考慮しますか？これらを処理する方法はありますが、複雑さを増し、研究が実世界のデータから乖離して研究のための人工的なデータへと偏ってしまいます。エンドユーザーに適用可能で有用な研究ガイドラインを確立することは、見かけ以上にはるかに難しいことです。

そして最大のコストは人件費です。大規模な研究の環境を維持するには、研究自体のコストと同等になるかもしれない人的資本が必要になります。研究環境の維持、研究自体の実施、監視、データ収集には多数の人員が必要です。全体として、コストは一般的に、単純に実施不可能です。

もちろんテストを大幅に縮小し、数台のサーバーと2〜3モデルだけを実行することもできますが、テストの価値は急速に低下し、多くのお金を費やしながら誰も使えない結果になってしまうリスクがあります。

2番目の克服できない問題は時間です。ほとんどのものは時間をかけて故障率をテストする必要があり、ITの機材は一般的に数十年間信頼性高く動作するように設計されているため、故障率のデータ収集には何年もかかります。平均故障時間（MTTF）の数値はある程度しか価値がなく、平均故障間隔（MTBF）とその故障のタイプ、モード、統計は研究が有用であるために非常に重要です。これが意味するのは、研究が真に有用であるためには非常に長い期間実施する必要があり、コストがどんどん増大するということです。

しかしそれが最大の問題ではありません。はるかに大きな問題は、研究が有用な故障数を生成するのに十分な時間を持つためには、たとえそれらの数字が起きるたびに「ライブ」で出てきたとしても、すでに遅すぎるということです。問題となる機材は、研究が真に有用な早期結果を生成する頃には、すでに老朽化して本番市場での交換時期が近づいているでしょう。本番機材の総寿命として購入されるのは多くの場合3〜5年だけです。この期間の1年でも結果を得ることにはほとんど価値がありません。そして新製品は、自然に老朽化するよりもさらに速く研究対象の製品を置き換えることがあり、研究が本番の意思決定の役割において有用性を持てず、歴史的な文脈からのみ価値があるものになってしまいます。結果が利用可能になる頃には古すぎて役に立たないのです。

最後の主要な要因は、必要としている人々に既存のデータを提供するインセンティブの欠如です。データの少ないソースはありますが、ほぼすべてが不完全であり、大規模ベンダーが自社機材の品質、故障率などを測定するために存在します。これらはほとんど制御された環境では行われず、多くの場合フィールドから収集されたデータを含みます。多くの場合このデータは顧客に対してプライベートであり、法的に共有できない場合もあります。

しかし、データを収集するベンダーは均等で監視された方法でそれを収集していないため、そのデータを共有することは非常に不利になる可能性があります。なぜなら、競合他社からの同等データが存在するという保証がないからです。そのような制御されていない統計は市場にも保有するベンダーにも真の利益をもたらさないため、ベンダーはそのようなデータを厳重に管理し続けるよう強く動機付けられています。

稀な例外は、比較的制御された環境で大量のコンシューマークラスのハードドライブを持ち、自社目的のために故障率を収集しているGoogle やBackBlazeなどのベンダーからのいくつかのハードウェア研究です。彼らは競合他社がそのデータを活用することによるリスクがほとんどないか全くなく、それを行う際に広報的価値があるため、時折、限られた規模でハードウェアの信頼性に関する研究を発表することがあります。これらの研究は、データが古く不明な条件と閾値の下にあり、製品比較のための統計的に意味のあるデータを含まないことが多く、せいぜい将来の信頼性の経路を予測するのに多少役立つ一般的な業界全体の統計的傾向を含む程度であるにもかかわらず、業界に貪欲に吸収されます。

内部信頼性統計を持つほど大きな他のほとんどの企業は、それを限られた範囲の機材について持ち、その情報を独自のもの、開示された場合の潜在的なリスク（建築実装の重要な詳細が漏れる）および競争上の優位性とみなしています。そのためこれらの理由から共有されません。

私は実際、幸運にも、やや非公式ではあるものの、10,000台以上のエンタープライズサーバーを対象に8年間にわたって実施された大規模ストレージ信頼性テストに関わり、実施する機会がありました。その結果、8万サーバー年という研究の稀な機会が生まれました。しかし、その研究で結論付けられたのは、非常に価値があったことは確かですが、主に示されたのは、10,000台以上というセットでさえ、単一の故障を観察できなかったということでした！故障の欠如そのものが非常に価値がありました。しかし、平均故障時間のような標準的な統計を生成することはできませんでした。人々が期待するようなデータを生成するには、最低でも何十万ものサーバー年が必要であることはわかっていますが、それでさえ十分だったかどうかは信頼性を持って言えません。おそらく何百万ものサーバー年が必要だったかもしれません。真に知る方法はありません。

これが私たちをどこに残すかというと、ITにおける大規模研究は単純に存在せず、おそらく今後も存在しないでしょう。存在するとしても孤立したものになり、ほぼ確実に現実の必要性によって不十分なものになります。有用であるために必要な規模での研究を収益化する手段はなく、これは主にエンタープライズ機材の故障率が非常に低い一方で機材が非常に高価であるためであり、第三者企業はこの研究を提供するコストを賄うことができません。業界として、このタイプのデータが存在しないことを受け入れ、そのようなデータへのアクセスの代替手段を積極的に追求しなければなりません。歴史的にこのタイプのデータが利用可能だったことは一度もないのに、これほど多くの人々がそれを利用可能であると期待していることは驚くべきことです。

この空白を考えると、私たちの唯一の現実的な選択肢は、存在する逸話的証拠を収集すること（文脈を慎重に考慮する必要がある非常に危険なことです）と、信頼性のアプローチと技術を評価するためのロジックの適用です。これは観察が必然的に私たちを裏切り、ロジックと直感だけが知識のギャップを埋めるために使用できる幅広い状況です。