Выделение изображений химических структур в тексте документа и сегментация их на изображениях

С каждым днем объем публикаций, содержащих изображения различных химических структур, продолжает расти. В связи с этим становится актуальной задача автоматического извлечения такой информации. В данной работе рассматривается подход с использованием моделей машинного обучения семейства YOLO (You Only Look Once), которые позволяют решать различные задачи компьютерного зрения, включая обнаружение объектов и сегментацию. В рамках исследования был собран и размечен набор данных, содержащий изображения страниц документов с химическими структурами. Для решения задачи автоматического выделения структур было обучено две модели YOLOv11(s). Первая модель ориентирована на обнаружение двух классов: структурная формула, которая не участвует в какой-либо реакции, и химическая реакция. Вторая модель, обученная на изображениях химических реакций, выполняет задачу сегментации, идентифицируя участников реакции, стрелки и условия. В работе также приведены экспериментальные результаты работы моделей. Для их оценки были рассчитаны метрики, такие как точность (precision), полнота (recall) и средняя точность (mAP). В частности, для первой модели достигнуто значение mAP50 на уровне 97%, а для второй модели 98%.