Сравнение методов оптимизации при обучении нейронных сетей

В данной работе проводится сравнительный анализ различных методов оптимизации, используемых при обучении нейронных сетей. Рассматриваются классический стохастический градиентный спуск (SGD), его модификация с моментом, а также адаптивные алгоритмы Adagrad, RMSprop и Adam. В рамках эксперимента проводится обучение сверточной нейронной сети на наборе данных MNIST, оцениваются скорость сходимости, точность классификации и время обучения для каждого метода. Полученные результаты позволяют выявить наиболее эффективные стратегии оптимизации в контексте задач машинного обучения, а также определить баланс между скоростью, точностью и вычислительными затратами.