ИТ дома: ведение журналов

Продолжая серию о том, как сделать ваш дом более похожим на серьёзную бизнес-среду, на этот раз я хочу поговорить о сборе логов. Мы немного затронули эту тему в «Doing IT at Home: Ticketing and Monitoring», поскольку Spiceworks, о котором я там упоминал, выполняет некоторый сбор событий Windows. Однако это было весьма поверхностное рассмотрение темы, и серьёзный «домашний ИТ-специалист» захочет чего-то более надёжного и корпоративного класса.

Корпоративный сбор, поиск и создание отчётов по логам действительно переместились из нишевой области в основной ИТ-инструмент за прошедшее десятилетие, причём лидером этого движения стал широко известный Splunk. Существует множество продуктов, потенциально подходящих для этой категории с различной степенью функций и надёжности. Традиционные «старые» системы логирования, как правило, делятся на категории сборщиков событий Windows, таких как Spiceworks, Windows Event Collector и ManageEngine EventLog Analyzer. В мире UNIX и сетевого оборудования мы, как правило, работаем с syslog-совместимыми системами, такими как Rsyslog и Solarwinds Kiwi Syslog Server. Но эти продукты довольно ограничены: они ориентированы на очень узкий круг платформ и зачастую либо весьма дороги (Kiwi), либо не отличаются хорошим пользовательским опытом (Rsyslog). При исследовании для домашней лаборатории, возможно, имеет смысл поиграть с некоторыми из этих продуктов. Но чтобы действительно поднять уровень логирования, нам нужно будет обратиться к значительно более мощным платформам, которые охватывают все эти источники данных и более, расширяемы и спроектированы не только для сбора данных, но и для их поиска и отображения, и, желательно, пригодны для использования не только хардкорными домашними системными администраторами.

Лидером этого нового поколения систем сбора логов является Splunk. Splunk — это в основном локальный проприетарный программный пакет, но доступный с «бесплатным» вариантом, который в целом идеально подходит для домашнего ИТ-энтузиаста. Бесплатная редакция ограничивает объём ежедневного приёма логов и не поддерживает нескольких пользователей — что вряд ли станет реальным препятствием для домашнего использования. Лимит приёма в настоящее время составляет 500 МБ в день, что является невероятным объёмом логов. Splunk понимает, что его платящими клиентами будут только более крупные компании с большими объёмами логов, поэтому раздача своего продукта бесплатно небольшим компаниям и частным пользователям фактически помогает их прибыли, поощряя более широкий опыт работы с их продуктом и его знание. Splunk относительно сложен и потребует определённых усилий для настройки, но чрезвычайно мощен и функционален.

Splunk далеко не единственный вариант для локальной обработки логов. В мире открытого исходного кода наблюдается бурная активность вокруг сбора и отчётности логов, в основном построенная поверх платформы NoSQL Elasticsearch. Ключевой из них известен как стек «ELK», обозначающий три основных компонента: Elasticsearch, Logstash и Kibana. Распространённой альтернативой является сохранение стека, но замена Kibana — интерфейса аналитики данных — на Graylog2, который тоже является открытым исходным кодом. Стеки ELK или аналогичные обеспечивают функциональность, очень похожую на Splunk, без его ограничений. Splunk, безусловно, более популярный выбор для предприятий сегодня, но ELK завоёвывает значительную долю умов и чаще всего встречается в более инновационных компаниях, таких как технологические стартапы, исследовательские фирмы и крупные хостинговые сервисы (Dreamhost является заметным спонсором).

Реализация локального проекта по управлению логами станет отличным поводом для использования всего лишнего оборудования, лежащего дома, и обеспечит более глубокий опыт системного администрирования, поскольку «серверов» станет больше для управления и обслуживания. В отличие от бизнеса, при домашнем ИТ существуют значительные преимущества в технологическом распространении и намеренном выборе более сложного пути. Мы активно ищем вызовы и значимые системы для работы дома, которые создают реальную ценность. Анализ логов — отличное место для добавления ценности, используя данные, которые ваша сеть уже создаёт, и предоставляя их вам таким образом, чтобы вы могли лучше предвидеть проблемы до их возникновения, отслеживать проблемы после факта и значительно повысить безопасность. Знание того, что происходит в вашей сети и на ваших устройствах, имеет большую ценность, а ручная обработка событий Windows и UNIX syslog-ов скучна и подвержена ошибкам. Просмотр графических данных более эффективен и надёжен. Кроме того, платформы логирования могут отправлять оповещения на основе событий логов.

Локальное управление логами — не единственный вариант. Управление логами также доступно в бизнес-модели «программное обеспечение как услуга» (SaaS) с двумя действительно ключевыми игроками: Splunk — через их сервис «Splunk Storm», и лидер рынка, Loggly. Оба этих поставщика предлагают полностью бесплатные версии своих размещённых продуктов с ограниченной ёмкостью, которые намного превышают потребности любого домашнего ИТ-пользователя. Эти сервисы позволяют вам развернуть корпоративное управление логами за считанные минуты без каких-либо вложений — ни времени, ни денег, ни оборудования. Если ваши цели меньше связаны с изучением системного администрирования и больше — с хорошим управлением логами, или если у вас просто нет серверных стоек оборудования дома, что побуждало бы намеренно создавать «дополнительные» ИТ-сервисы в доме, то размещённое управление логами, вероятно, является для вас правильным выбором. Для тех, кто сосредоточен на разработке, сетевом администрировании или других областях ИТ, это, скорее всего, более полезный вариант. Loggly, в частности, прост для любого желающего зарегистрироваться и начать отправку данных логов и является ведущим размещённым продуктом для управления логами сегодня.

Чем крупнее и активнее становится ваша домашняя сеть, тем ценнее становятся хороший сбор логов и управление ими. Логи обеспечивают глубокое понимание вашей сети, и хорошее решение для управления логами не только обеспечит вам высокоуровневый обзор ваших данных, но и будет полезно в качестве замены традиционных средств просмотра живых данных логов. Работа из привлекательного веб-интерфейса, как правило, гораздо эффективнее, чем ручное изучение логов, даже при просмотре текущих событий. Кроме того, некоторые решения для управления логами предоставляют хорошие возможности для долгосрочного хранения логов, которых часто не хватает в нецентрализованных решениях.

Хорошее управление логами стремительно становится всё более важным и ожидаемым сервисом в бизнесе. Пять лет назад было обычным явлением видеть даже очень крупные предприятия, ещё не принявшие такие инструменты. Сегодня предполагается, что любая компания разумного размера будет иметь надёжное, зрелое решение для логирования — почти наверняка Splunk — и с всё более низкими барьерами для входа от ELK и Loggly мы видим, как корпоративное логирование проникает во всё более мелкие компании. Ведение логов дома — отличный способ улучшить личное портфолио, расширить свои знания и навыки, а также пополнить своё резюме. Начните вести логи сегодня!