Выпускница программы Space Engineering Systems 2022 года Екатерина Доржиева представила технологию SwarmHawk на международной конференции IEEE по беспилотным авиационным системам в Дубровнике (IEEE ICUAS 2022). Проект создан в соавторстве с магистрантом Аюшем Гуптой.

SwarmHawk представляет собой систему надежной посадки на движущуюся платформу роя дронов на основе компьютерного зрения, когда одним или несколькими агентами роя был потерян сигнал о местоположении. В предлагаемой технологии каждый дрон оборудован камерой, по которой он отслеживает место посадки. В случае неисправности одной или нескольких камер у агентов, их навигация осуществляется дроном – лидером, отслеживающим их положения по камере. SwarmHawk потенциально может применяться в различных сценариях роя, включая доставку грузов непосредственно с движущихся автомобилей или судов, проведение сейсмических исследований для поиска полезных ископаемых, инспекцию мостов и сооружений, проведение спасательные операции.

Видео презентация

Исследования выполнены под руководством доцента Дмитрия Тетерюкова, руководителя Лаборатории интеллектуальной космической робототехники Центра системного проектирования Сколтеха.

IEEE ICUAS 2022 - это ключевая конференция по технологиям беспилотных летательных аппаратов БЛА, где представители науки, власти и промышленности обсуждают, обмениваются мнениями и идеями в данной области.


О своём дипломном проекте нам рассказал Евгений Юдин. Его работа, выполненная под руководством доцента Дмитрия Тетерюкова, посвящена разработке алгоритма визуальной локализации автономных роботов внутри лидарных карт. Задача локализации состоит в точном определении позиции и ориентации робота внутри известной определенной карты.

«Основная идея моей дипломной работы состояла в замене дорогостоящего ЛИДАРв в ключевые задачи для мобильных роботов – локализации. Я разработал алгоритм CloudVision, который использует только недорогие камеры, установленные по периметру мобильного робота, и единовременно полученную 3D карту с помощью высокоточного лидара Velodyne 16».

На данный момент двумя самыми используемыми сенсорами для решения этой задачи являются лидары и камеры. Главными достоинствами лидара являются его точность и надежность. Он позволяет с высокой частотой получать сканы, состоящие из большого количества точек, позволяющих точно описывать окружающую среду. Однако основным существенным недостатком этого датчика является его цена (16-лучевой 3D лидар стоит порядка 8000 $), что значительно затрудняет распространение и внедрение технологии на базе этого датчика на большой парк роботов. Камеры, в свою очередь, стоят намного меньше, однако уступают в точности лидарам. Предложенная мной концепция позволяет единожды использовать робота скаута, оснащенного лидаром и камерой, для картографирования окружающей среды. Далее локализация роботов, имеющих на борту только камеры, осуществляется внутри собранной лидарной карты. Карта собиралась с помощью современного лидарного SLAM (simultanious localization and mapping) алгоритма LOAM. Для визуальной локализации использовалась нейронная сеть Pixloc, позволяющая извлекать из изображения плотные дескрипторы. На этапе оценки позиции робота с помощью присваивания дополнительной визуальной информации, полученной с помощью нейронной сети, к точкам 3D карты осуществлялся поиск точной позиции робота внутри собранной карты.
Для оценки точности разработанного мной подхода в кампусе Сколтеха был собран датасет. Для сбора данных использовалась мобильная платформа HermesBot, разработанная в Лаборатории Интеллектуальной Космической Робототехники.

В результате экспериментов по оценке точности локализации удалось добиться сантиметровой точности оценки положения робота, что превзошло точность самых современных визуальных алгоритмов локализации более, чем в три раза. Данная технология существенно экономит стоимость парка роботов и позволяет использовать мобильных роботов для задач, требующих высокой точности.


Сколтех посетили 15 учеников старших классов школы №1707 для тестирования системы киберспортивной аналитики. Школьники играли в шутер дисциплину и Dota на компьютерах с установленным программным обеспечением, которое собирает и визуализирует киберспортивные данные с применением методов искусственного интеллекта для анализа данных во время игры.

Программное обеспечение, разработанное научной группой беспроводного мониторинга под руководством старшего преподавателя Центра системного проектирования Сколтеха Андрея Сомова, помогает установить связь между эффективностью кибератлета в игре и его действиями на игровом поле и ранжировать игрока в рейтинговой системе. Школьники на себе и своей команде испытали киберспортивную аналитику: система отслеживала нажатия клавиш компьютерной мыши, клавиатуры, перемещения и действия в игре, взгляд. Юные киберспортсмены узнали свои рейтинги, увидели, кто действительно лучше всех играет и у кого из них есть задатки для профессиональной карьеры.


Выпускники магистратуры 2022 года Центра системного проектирования Сколтеха Алёна Савиных и Нипун Вераккоди в онлайн формате представили свои проекты на 95-й международной конференции IEEE по автотранспортным технологиям в Хельсинки (IEEE VTC 2022). Исследования выполнены под руководством профессора Дмитрия Тетерюкова, руководителя Лаборатории интеллектуальной космической робототехники.

Алёна Савиных представила технологию DarkSLAM, визуальный метод одновременной локализации и картографирования (SLAM) способный работать в любых условиях освещенности, включая экстремально темные среды. Данный результат достигнут с помощью комбинирования алгоритма SLAM с генеративно-состязательной сетью (GAN), позволяющей генерировать светлые условия на входных темных фотографиях.

Видео презентации...

Нипун Вераккоди рассказал о системе распознавания текстур поверхности ландшафта для робота собаки HyperDog на основе CNN (ИИ) с тактильными датчиками высокой плотности. С её помощь робот с высокой точностью смог определить тип текстуры поверхности, по которой он перемещается, тем самым улучшая свою проходимость и навигацию на незнакомой местности.

Видео испытаний...

Международная конференция IEEE по автотранспортным технологиям - флагманская конференция представителей научных кругов, правительств и крупной промышленности для обсуждения, обмена мнениями, идеями в области беспроводных, мобильных и автомобильных технологий, проводимая раз в полгода.


Делегация Университета имени Шахида Бехешти из Ирана в ходе визита в Сколтех посетила Лабораторию робототехники Центра системного проектирования.

На экскурсии представителям делегации рассказали о лаборатории, а также продемонстрировали её разработки: робота-собаку HyperDog, робота-доставщика HermesBot, робота-дезинфектора UltraBot и робота-заправщика PhoenixBot.
По итогам визита были достигнуты договорённости о сотрудничестве.

Фото: Тимур Сабиров