О своём дипломном проекте нам рассказал Евгений Юдин. Его работа, выполненная под руководством доцента Дмитрия Тетерюкова, посвящена разработке алгоритма визуальной локализации автономных роботов внутри лидарных карт. Задача локализации состоит в точном определении позиции и ориентации робота внутри известной определенной карты.

«Основная идея моей дипломной работы состояла в замене дорогостоящего ЛИДАРв в ключевые задачи для мобильных роботов – локализации. Я разработал алгоритм CloudVision, который использует только недорогие камеры, установленные по периметру мобильного робота, и единовременно полученную 3D карту с помощью высокоточного лидара Velodyne 16».

На данный момент двумя самыми используемыми сенсорами для решения этой задачи являются лидары и камеры. Главными достоинствами лидара являются его точность и надежность. Он позволяет с высокой частотой получать сканы, состоящие из большого количества точек, позволяющих точно описывать окружающую среду. Однако основным существенным недостатком этого датчика является его цена (16-лучевой 3D лидар стоит порядка 8000 $), что значительно затрудняет распространение и внедрение технологии на базе этого датчика на большой парк роботов. Камеры, в свою очередь, стоят намного меньше, однако уступают в точности лидарам. Предложенная мной концепция позволяет единожды использовать робота скаута, оснащенного лидаром и камерой, для картографирования окружающей среды. Далее локализация роботов, имеющих на борту только камеры, осуществляется внутри собранной лидарной карты. Карта собиралась с помощью современного лидарного SLAM (simultanious localization and mapping) алгоритма LOAM. Для визуальной локализации использовалась нейронная сеть Pixloc, позволяющая извлекать из изображения плотные дескрипторы. На этапе оценки позиции робота с помощью присваивания дополнительной визуальной информации, полученной с помощью нейронной сети, к точкам 3D карты осуществлялся поиск точной позиции робота внутри собранной карты.
Для оценки точности разработанного мной подхода в кампусе Сколтеха был собран датасет. Для сбора данных использовалась мобильная платформа HermesBot, разработанная в Лаборатории Интеллектуальной Космической Робототехники.

В результате экспериментов по оценке точности локализации удалось добиться сантиметровой точности оценки положения робота, что превзошло точность самых современных визуальных алгоритмов локализации более, чем в три раза. Данная технология существенно экономит стоимость парка роботов и позволяет использовать мобильных роботов для задач, требующих высокой точности.