КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер проекта 21-71-00131
НазваниеИсследование и разработка нейросетевых методов формирования семантических карт местности на основе зашумленных трехмерных облаков точек для интеллектуальных транспортных систем
Руководитель Юдин Дмитрий Александрович, Кандидат технических наук
Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Московский физико-технический институт (национальный исследовательский университет)" , г Москва
Конкурс №60 - Конкурс 2021 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-202 - Интеллектуальный анализ данных и распознавание образов
Ключевые слова Нейронная сеть, глубокое обучение, семантическая карта, генерация изображений, трехмерное облако точек, мобильный робот, транспортная система
Код ГРНТИ28.23.37
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
При построении современных транспортных систем, в состав которых могут входить беспилотные автомобили, роботы-курьеры и иные наземные автономные транспортные средства, необходимо наличие высокоточных семантических карт местности, которые содержат информацию о границах дорог или тротуаров, пешеходных переходах или линиях дорожной разметки, о светофорах или дорожных знаках и т.п. Такие карты позволяют безопасно планировать путь или маневры транспортного средства. В то же время они, как правило формируются вручную или с низким уровнем автоматизации на основе аэрофотоснимков и имеют проблемы с оперативным обновлением, нужным, например, при проведении дорожных работ. Надежная автоматическая генерация таких карт на основе бортовых камер или специальных измерителей расстояния (например, лидаров или радаров) представляет собой научно-технологический вызов, который позволит ускорить внедрение беспилотных технологий в реальной городской среде.
Настоящий проект направлен на решение научной проблемы повышения уровня автономности беспилотных транспортных средств на основе автоматической генерации карт, содержащих информацию о семантике окружающего пространства, получаемых с применением зашумленной информации бортовых сенсоров (RGB-D или стереокамер, лидаров и др.).
Среди ожидаемых основных научных результатов проекта следует выделить следующие:
1. Новый метод формирования семантической цифровой карты местности высокой размерности по зашумленным трехмерным облакам точек, полученным с помощью RGB-D камеры и лидара транспортного средства, на основе генеративных нейросетевых моделей, использующих пространства признаков с трехмерными пространственно-временными ограничениями.
2. Новая архитектура рекуррентной нейронной сети семантической сегментации последовательности трехмерных облаков точек, полученных на основе RGB-D изображений, данных лидара и одометрии, использующая объектно-контекстное представление наблюдаемой сцены и обеспечивающая работу в реальном времени на бортовых вычислительных устройствах транспортных средств.
3. Новый алгоритм состязательного обучения нейронной сети с предварительным контрастивным (contrastive) самообучением (self-supervised learning) для генерации трехмерной цифровой карты местности, учитывающий пространственно-временные ограничения формируемых признаков.
4. Формирование новых размеченных наборов данных, позволяющих оценить качество разработанных методов и алгоритмов по генерации семантических цифровых карт местности на основе информации от бортовых сенсоров транспортного средства, полученной в различных погодных и сезонных условиях, в разное время суток.
5. Экспериментальные исследования программных реализаций предложенных методов и алгоритмов на подготовленных наборах данных и в ходе натурных экспериментов.
ОТЧЁТНЫЕ МАТЕРИАЛЫ