Использование модуля сверточного внимания для интерпретации результатов работы сиамской нейронной сети при идентификации рукописных подписей

В настоящей работе рассматривается возможность применения сиамской сверточной нейронной сети (SNN) с интегрированным модулем сверточного внимания (CBAM) в идентификационных исследованиях рукописных подписей. Одним из факторов, тормозящих процесс внедрения искусственных нейронных сетей в процесс производства судебно-экспертных исследований, является их низкая степень интерпретируемости. Из-за этого исследователю сложно определить, какие именно закономерности были выявлены нейросетевым алгоритмом и какие из них легли в основу полученного прогноза. Кроме того, в большинстве современных работ, посвященных анализу почерка, специалисты используют «классический» подход к определению авторства рукописи, при котором эта задача рассматривается как частный случай классификации. Однако данный способ часто приводит к ошибкам II рода, из-за чего, на взгляд авторов, использование классификационных алгоритмов для решения идентификационных задач неприемлемо. Вместо этого авторы предлагают обратить внимание на архитектуру SNN. Для подтверждения этих тезисов в рамках настоящей работы были проведены эксперименты, в ходе которых удалось установить, что современные механизмы внимания, в частности модуль CBAM, способны частично интерпретировать полученные нейросетью результаты. Применение SNN, в свою очередь, позволяет минимизировать число ошибок II рода по сравнению с «классической» классификационной системой.

This study explores potential application of a Siamese Convolutional Neural Network (SNN) integrated with a Convolutional Block Attention Module (CBAM) in the field of handwritten signature identification. One well-known obstacle to the introduction of artificial neural networks into forensic expert practice is the low level of their interpretability. This limitation makes it difficult for experts to determine what patterns were identified by the neural network algorithm, and which ones of them form the basis of its forecast. Furthermore, in most contemporary studies on handwriting analysis, specialists tend to use the "classical" authorship attribution approach, treating the task as a particular case of classification. However, in authors' view, this method often leads to Type II errors making the use of classification algorithms for identification purposes unacceptable. As an alternative, the authors propose to focus on the SNN architecture. To support these claims, a series of experiments were conducted as part of this study, demonstrating that modern mechanisms of attention - particularly CBAM - can partially interpret the neural network results. Additionally, the use of SNN helps to minimize the number of Type II errors compared to the traditional classification-based approach.