Восстановление карт глубин изображений, полученных с единственной видеокамеры в реальном времени на платформе NVIDIA JETSON TX2

В статье рассматривается практическое применение искусственных нейронных сетей для восстановления карт глубин изображений, полученных с единственной камеры малой робототехнической системы, в контексте задачи одновременного картирования и локализации по видеопотоку (vision-based Simultaneous Localization and Mapping –vSLAM) в режиме реального времени. Нейронные сети обучены на актуальных коллекциях данных и протестированы на встраиваемом компьютере NVidia Jetson TX2, который благодаря низкому энергопотреблению, малым размерам и особенностям архитектуры позволяет ускорить параллельные вычисления на борту робототехнической системы. Приводятся результаты экспериментов с разными архитектурами нейронных сетей, а также дается описание программных оптимизаций, позволяющих добиться работы алгоритмов восстановления глубины изображений в реальном времени