Developing a computer system for student learning based on vision-language models

In recent years, artificial intelligence methods have been developed in various fields, particularly in education. The development of computer systems for student learning is an important task and can significantly improve student learning. The development and implementation of deep learning methods in the educational process has gained immense popularity. The most successful among them are models that consider the multimodal nature of information, in particular the combination of text, sound, images, and video. The difficulty in processing such data is that combining multimodal input data by different channel concatenation methods that ignore the heterogeneity of different modalities is an inefficient approach. To solve this problem, an inter-channel attention module is proposed in this paper. The paper presents a computer vision-linguistic system of student learning process based on the concatenation of multimodal input data using the inter-channel attention module. It is shown that the creation of effective and flexible learning systems and technologies based on such models allows to adapt the educational process to the individual needs of students and increase its efficiency.

В последние годы методы искусственного интеллекта получили большое развитие в различных областях, в частности в образовании. Разработка компьютерных систем для обучения студентов является важной задачей и может значительно улучшить процесс обучения студентов. Разработка и внедрение методов глубокого обучения в образовательный процесс приобрели огромную популярность. Наиболее успешными среди них являются модели, учитывающие мультимодальный характер информации, в частности сочетание текста, звука, изображений и видео. Сложность обработки таких данных состоит в том, что объединение мультимодальных входных данных различными методами конкатенации каналов, игнорирующих неоднородность разных модальностей, является неэффективным подходом. Для решения этой проблемы в работе предложен междуканальный модуль внимания. В статье представлена компьютерная визуально-лингвистическая система процесса обучения студентов, основанная на объединении мультимодальных входных данных с использованием междуканального модуля внимания. Показано, что создание эффективных и гибких систем и технологий обучения на основе таких моделей позволяет адаптировать образовательный процесс к индивидуальным потребностям обучающихся и повысить его эффективность.