Разработка системы предиктивной диагностики работы компьютерных систем с помощью методов машинного обучения

Мониторинг и комплексный анализ событий в компьютерных системах, таких как базы данных, файловые системы, серверы, суперкомпьютеры, представляют собой критически важную составляющую обеспечения надежной, безопасной и непрерывной работы современных технологических инфраструктур. Основным источником информации о системных процессах служат лог-файлы - обычные текстовые документы, описывающие всю важную информацию о работе систем в виде своеобразных журналов событий. Анализ вручную таких файлов практически невозможен, т.к. необходимо знать всю специфику компьютерных систем, а размер лог-файлов насчитывает десятки ГБ структурированной текстовой информации. Своевременное обнаружение аномалий и потенциальных рисков отказа помогает снизить вероятность репутационных и финансовых потерь, ведь, к примеру, незапланированный простой баз данных может моментально парализовать работу всей корпоративной системы мониторинга, управленческой аналитики и операционных процессов. При помощи предиктивной диагностики компьютерных систем по журналам событий еще на ранних стадиях можно предупредить наступление отказа, приняв соответствующие меры. Целью данного исследования является разработка компьютерной программы диагностики аномальности компьютерных систем по лог-файлам с помощью методов машинного обучения с частичным привлечением учителя, а также тестирование ее работы на открытых размеченных датасетах с расчетом метрик качества. Программа написана с помощью языка программирования Python и включает в себя несколько последовательных модулей: 1) парсер для препроцессинга логов; 2) векторизатор для построения эмбеддингов слов и событий; 3) детектор аномалий на основе нейронных сетей и классических ML-подходов. Программа также прошла успешную апробацию на двух реальных отказах критически важной системы крупной ИТ-компании - базы данных Vertica.