توضیح فقدان مطالعات گسترده در IT

متخصصان IT هر روز این‌ها را درخواست می‌کنند و با این حال هیچ‌کدام وجود ندارد — مطالعات گسترده ریسک و عملکرد برای سخت‌افزار و نرم‌افزار IT. این طیف گسترده‌ای از احتمالات را پوشش می‌دهد، اما مثال‌های رایج شامل نرخ خرابی بین مدل‌های مختلف سرور، هارددیسک‌ها، سیستم‌عامل‌ها، انواع آرایه‌های RAID، دسکتاپ‌ها، لپ‌تاپ‌ها و هر چیز دیگری است. با این حال، صرف‌نظر از تقاضای بالا برای چنین داده‌هایی، هیچ‌کدام در دسترس نیست. چگونه این ممکن است.

البته همه موارد یکسان نیستند، اما به‌طور کلی سه عامل واقعاً مهم وجود دارد که در جلوگیری از ورود این نوع داده‌ها به حوزه نقش دارند. این‌ها عبارتند از هزینه بالای انجام یک مطالعه، مقیاس زمانی طولانی مورد نیاز برای یک مطالعه، و فقدان انگیزه برای تولید و/یا اشتراک‌گذاری این داده‌ها با سایر شرکت‌ها.

هزینه به‌مراتب بزرگ‌ترین عامل است. اگر هزینه مطالعات گسترده می‌توانست غلبه شود، برای تمام عوامل دیگر می‌توانستند راه‌حل‌هایی یافت شود. اما متأسفانه ماهیت یک مطالعه گسترده این است که پرهزینه خواهد بود. به عنوان نمونه می‌توانیم به نرخ قابلیت اطمینان سرور نگاه کنیم.

برای تعیین نرخ خرابی یک سرور، به تعداد زیادی سرور نیاز داریم تا این داده‌ها را جمع‌آوری کنیم. این ممکن است مثالی افراطی به نظر برسد، اما نرخ خرابی سرور یکی از رایج‌ترین آمارهای درخواست‌شده در مطالعات گسترده است و بنابراین مثال مهمی است. شاید به چند صد سرور برای یک مطالعه بسیار کوچک نیاز داشته باشیم، اما برای به دست آوردن داده‌های از نظر آماری معنادار احتمالاً به هزاران سرور نیاز خواهیم داشت. اگر فرض کنیم یک سرور پنج هزار دلار است، که یک سرور نسبتاً سطح ورودی می‌باشد، با راحتی به بیست و پنج میلیون دلار تجهیزات می‌رسیم! و این فقط برای انجام یک آزمایش نسبتاً کوچک (فقط پنج هزار سرور) از یک دستگاه با هزینه نسبتاً پایین است. اگر درباره سرورهای سازمانی صحبت کنیم، به‌راحتی به سی یا حتی پنجاه هزار دلار به ازای هر سرور می‌رسیم که هزینه را حتی به یک چهارم میلیارد دلار می‌رساند.

البته این هزینه برای آزمایش یک پیکربندی واحد از یک مدل سرور است. احتمالاً برای معنادار بودن یک مطالعه، به مدل‌های مختلف سرور نیاز داریم. شاید چندین مدل از هر فروشنده برای مقایسه خطوط و ویژگی‌های مختلف. شاید فروشندگان بسیار زیادی. به‌راحتی می‌توان دید که چقدر سریع هزینه یک مطالعه به‌طرز غیرممکنی بزرگ می‌شود.

این تنها آغاز هزینه است. برای انجام یک مطالعه خوب، محیط‌های کنترل‌شده دقیق در حد بهترین مراکز داده لازم است تا تا حد امکان مسائل محیطی را جدا کند. این به معنای برق بسیار مطمئن، خنک‌سازی، جریان هوا، کنترل رطوبت، کنترل ارتعاش و کنترل گرد و غبار است. امکانات خوبی از این قبیل بسیار گران‌قیمت هستند و به همین دلیل بسیاری از شرکت‌ها حتی برای حجم کاری‌های تولیدی ارزشمند هم هزینه‌اش را نمی‌پردازند. در یک مطالعه گسترده، این هزینه می‌تواند به‌راحتی در طول مدت مطالعه از هزینه خود تجهیزات فراتر رود.

سپس البته باید به نیاز به حسگرها و آزمایش‌های ویژه پرداخت. دقیقاً چه چیزی یک خرابی را تشکیل می‌دهد؟ حتی در سیستم‌های تولیدی هم اغلب اختلاف نظر در این مورد وجود دارد. آیا خرابی یک هارددیسک در یک آرایه یک خرابی محسوب می‌شود، حتی اگر خود آرایه خراب نشود؟ آیا خرابی پیش‌بینی‌شده یک خرابی است؟ در صورت بررسی خرابی دیسک در یک مطالعه، چطور باید عوامل انسانی مثل تعویض دیسک که ممکن است به‌صورت یکنواخت انجام نشود را لحاظ کرد؟ راه‌هایی برای رسیدگی به این وجود دارد، اما پیچیدگی را اضافه می‌کنند و مطالعات را از داده‌های واقعی دور می‌کنند و به سمت داده‌های مصنوعی برای یک مطالعه. ایجاد رهنمودهای مطالعاتی که برای کاربران نهایی قابل اعمال و مفید باشند بسیار سخت‌تر از آن چیزی است که به نظر می‌رسد.

و بزرگ‌ترین هزینه، نیروی کار دستی است. حفظ محیط برای یک مطالعه گسترده، سرمایه انسانی می‌خواهد که ممکن است با هزینه خود مطالعه برابر باشد. برای حفظ محیط مطالعه، اجرای خود مطالعه، نظارت بر آن و جمع‌آوری داده‌ها تعداد زیادی از افراد لازم است. در مجموع، هزینه‌ها به‌طور کلی، به‌سادگی غیرممکن هستند.

البته می‌توانستیم آزمایش را به‌طور چشمگیری کوچک کنیم، تنها چند سرور و فقط دو یا سه مدل اجرا کنیم، اما ارزش آزمایش به سرعت کاهش می‌یابد و خطر می‌رود که نتایجی به دست آید که هیچ‌کس نتواند از آن‌ها استفاده کند، در حالی که همچنان مبلغ زیادی هزینه شده است.

مشکل دوم غیرقابل غلبه، زمان است. اغلب چیزها باید در طول زمان برای نرخ خرابی آزمایش شوند و از آنجا که تجهیزات در IT به‌طور کلی برای کار قابل اطمینان به مدت چند دهه طراحی شده‌اند، جمع‌آوری داده‌ها درباره نرخ خرابی نیاز به سال‌ها دارد. اعداد میانگین زمان تا خرابی فقط تا حدی ارزشمند هستند؛ میانگین زمان بین خرابی‌ها و انواع، حالت‌ها و آمار خرابی بسیار مهم هستند تا یک مطالعه مفید باشد. این به این معناست که برای اینکه یک مطالعه واقعاً مفید باشد باید برای مدت بسیار طولانی‌تری اجرا شود که هزینه‌های بیشتر و بیشتری ایجاد می‌کند.

اما این بزرگ‌ترین مشکل نیست. مشکل بسیار بزرگ‌تر این است که برای اینکه یک مطالعه به اندازه کافی طولانی باشد تا اعداد خرابی مفید تولید کند، حتی اگر آن اعداد «زنده» و هم‌زمان ارائه می‌شدند، دیگر خیلی دیر بود. تجهیزات مورد بحث قبل از اینکه مطالعه نتایج اولیه واقعاً مفید تولید کند، از قبل داشت پیر می‌شد و نزدیک به زمان جایگزینی در بازار تولید بود. اغلب تجهیزات تولیدی فقط برای سه تا پنج سال عمر مفید کل خریداری می‌شوند. حتی یک سال اول این بازه هم ارزش کمی داشت. و محصولات جدید ممکن است حتی سریع‌تر از پیر شدن طبیعی محصولات جایگزین آن‌ها در مطالعه شوند و مطالعه را فقط از نظر تاریخی ارزشمند کنند بدون اینکه در تعیین انتخاب‌ها در نقش تصمیم‌گیری تولیدی کاربرد داشته باشد — نتایج تا زمانی که در دسترس بودند خیلی قدیمی می‌شدند.

آخرین عامل اصلی، فقدان انگیزه برای ارائه داده‌های موجود به کسانی است که به آن‌ها نیاز دارند. در حالی که منابع داده اندکی وجود دارند، تعداد کمی وجود دارند، اما تقریباً همه ناقص هستند و برای فروشندگان بزرگ وجود دارند تا کیفیت تجهیزات، نرخ خرابی و موارد مشابه خود را اندازه‌گیری کنند. این‌ها به‌ندرت در محیط‌های کنترل‌شده انجام می‌شوند و اغلب شامل داده‌های جمع‌آوری‌شده از میدان هستند. در بسیاری از موارد این داده‌ها ممکن است حتی برای مشتریان خصوصی باشند و صرف‌نظر از هر چیزی قانوناً قابل اشتراک‌گذاری نباشند.

اما فروشندگانی که داده جمع‌آوری می‌کنند این کار را به روشی یکنواخت و نظارت‌شده انجام نمی‌دهند، بنابراین اشتراک‌گذاری آن داده‌ها می‌تواند برای آن‌ها بسیار مضر باشد زیرا هیچ تضمینی نیست که داده‌های برابر از رقبایشان وجود داشته باشد. آمارهای کنترل‌نشده از این قبیل نه سود واقعی برای بازار ارائه می‌دهد و نه برای فروشندگانی که آن‌ها را دارند، بنابراین فروشندگان به‌شدت انگیزه دارند که این اطلاعات را محرمانه نگه دارند.

استثنای نادر، برخی مطالعات سخت‌افزاری از فروشندگانی مثل Google و BackBlaze هستند که تعداد زیادی هارددیسک درجه مصرف‌کننده در محیط‌های نسبتاً کنترل‌شده دارند و نرخ خرابی را برای اهداف خود جمع‌آوری می‌کنند، اما ریسک کمی یا هیچ ریسکی از بهره‌برداری رقبای خودشان از آن داده‌ها ندارند اما ارزش روابط عمومی دارند و بنابراین گاهی اوقات یک مطالعه قابلیت اطمینان سخت‌افزار را در مقیاس محدودی منتشر می‌کنند. این مطالعات به‌شدت توسط صنعت بلعیده می‌شوند، حتی اگر به‌طور کلی ارزش نسبتاً کمی داشته باشند زیرا داده‌هایشان قدیمی هستند و تحت شرایط و آستانه‌های ناشناخته، و اغلب داده‌های آماری معنادار برای مقایسه محصولات ندارند و در بهترین حالت حاوی روندهای آماری کلی صنعت هستند که تا حدی برای پیش‌بینی مسیرهای قابلیت اطمینان آینده مفید هستند.

اغلب شرکت‌های دیگر به اندازه کافی بزرگ برای داشتن آمارهای قابلیت اطمینان داخلی، آن‌ها را در طیف محدودی از تجهیزات دارند و آن اطلاعات را اطلاعات اختصاصی، ریسک بالقوه در صورت افشا (جزئیات مهم پیاده‌سازی‌های معماری را آشکار می‌کند) و مزیت رقابتی می‌دانند. بنابراین به این دلایل به اشتراک گذاشته نمی‌شوند.

من در واقع به اندازه کافی خوش‌شانس بوده‌ام که در یک آزمایش گسترده قابلیت اطمینان ذخیره‌سازی مشارکت داشته و آن را اداره کرده‌ام که تا حدی غیررسمی، اما بسیار ارزشمند، روی بیش از ده هزار سرور سازمانی در طول هشت سال انجام شد و منجر به هشتاد هزار سال-سرور مطالعه شد، فرصتی نادر. اما آنچه در آن مطالعه نتیجه‌گیری شد این بود که در حالی که بسیار ارزشمند بود، در درجه اول نشان داد که در مجموعه‌ای به این بزرگی هنوز قادر نبودیم یک خرابی واحد را مشاهده کنیم! فقدان خرابی‌ها به‌خودی‌خود بسیار ارزشمند بود. اما نتوانستیم هیچ آماری استاندارد مثل میانگین زمان تا خرابی تولید کنیم. برای تولید نوع داده‌هایی که مردم انتظار دارند می‌دانیم که به صدها هزار سال-سرور، حداقل، برای دستیابی به هر نوع اهمیت آماری نیاز داشتیم، اما نمی‌توانیم به‌طور قابل اعتمادی بیان کنیم که حتی این هم کافی بود. شاید میلیون‌ها سال-سرور لازم بود. هیچ راهی برای دانستن واقعی وجود ندارد.

آنچه این وضعیت نشان می‌دهد این است که مطالعات گسترده در IT به‌سادگی وجود ندارند و احتمالاً هرگز وجود نخواهند داشت. وقتی وجود داشته باشند، منزوی خواهند بود و تقریباً مطمئناً توسط ضرورت‌های واقعیت فلج شده‌اند. هیچ ابزاری برای کسب درآمد از مطالعات در مقیاس لازم برای مفید بودن وجود ندارد، عمدتاً به این دلیل که نرخ خرابی تجهیزات سازمانی بسیار پایین است در حالی که تجهیزات بسیار گران‌قیمت هستند، بنابراین شرکت‌های طرف سوم هرگز نمی‌توانند هزینه ارائه این تحقیقات را پوشش دهند. به عنوان یک صنعت باید بپذیریم که این نوع داده‌ها وجود ندارد و به‌طور فعال گزینه‌های جایگزین برای دسترسی به چنین داده‌هایی را دنبال کنیم. شگفت‌آور است که بسیاری از افراد در این حوزه انتظار دارند این نوع داده‌ها در دسترس باشد در حالی که هرگز از نظر تاریخی وجود نداشته است.

تنها گزینه‌های واقعی ما، با توجه به این خلأ، جمع‌آوری شواهد قصصی موجود (کاری بسیار خطرناک که نیاز به توجه دقیق به زمینه دارد) و اعمال منطق برای ارزیابی رویکردها و تکنیک‌های قابلیت اطمینان است. این یک موقعیت گسترده است که در آن مشاهده لزوماً ما را ناکام می‌گذارد و فقط منطق و شهود می‌تواند برای پر کردن شکاف حاصل در دانش استفاده شود.