КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 16-11-00048

НазваниеСоздание теории, методов и моделей децентрализованного управления поведением коллективов когнитивных робототехнических систем в недетерминированной среде

РуководительЯковлев Константин Сергеевич, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное учреждение "Федеральный исследовательский центр "Информатика и управление" Российской академии наук", г Москва

Период выполнения при поддержке РНФ 2019 г. - 2020 г. 

Конкурс Конкурс на продление сроков выполнения проектов, поддержанных грантами Российского научного фонда по приоритетному направлению деятельности Российского научного фонда «Проведение фундаментальных научных исследований и поисковых научных исследований по приоритетным тематическим направлениям исследований» (11).

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-519 - Интеллектуальные динамические системы и технологии управления

Ключевые словаДЕЦЕНТРАЛИЗОВАННАЯ СИСТЕМА УПРАВЛЕНИЯ, ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, ТЕОРИЯ УПРАВЛЕНИЯ, КОГНИТИВНАЯ РОБОТОТЕХНИКА, РАСПРЕДЕЛЕНИЕ РОЛЕЙ В КОАЛИЦИИ, ИНТЕЛЛЕКТУАЛЬНОЕ ПЛАНИРОВАНИЕ, ЭВРИСТИЧЕСКИЙ ПОИСК ТРАЕКТОРИИ, НЕЛИНЕЙНЫЕ КОМПОЗИТНЫЕ МЕТОДЫ УПРАВЛЕНИЯ, ОТКАЗОУСТОЙЧИВЫЕ МЕТОДЫ УПРАВЛЕНИЯ

Код ГРНТИ28.23.27


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Проект посвящен решению фундаментальной научной проблемы - созданию и развитию теоретических основ (теории, методов и моделей) управления поведением коллективов робототехнических систем, функционирующих в условиях недетерминированной среды. Актуальность решения фундаментальной научной проблемы определяется с одной стороны - стремительным ростом во всем мире числа робототехнических систем различного типа (наземных, летательных, надводных и подводных) и назначения (спасательных, охранных, логистический и др.), с другой - низкой степенью автономности таких систем. До сих пор в большинстве случаев на практике управление отдельными мобильными роботами и их коллективами по большей части осуществляется операторами. Для повышения степени автономности современных робототехнических систем требуется решения ряда важнейших фундаментальных задач интеллектуального анализа данных и управления, основанного на знаниях, которым и посвящен проект. Среди таких задач: 1) автоматическое картирование наблюдаемых территорий и определение ориентации и местоположения (локализация) по видеопотоку, в том числе полученному с одиночной видеокамеры, являющейся в большинстве малых беспилотных аппаратов, единственным средством технического зрения и источником актуальной информации об окружающей среде; 2) построение моделей представления знаний для наполнения интеллектуальных решателей информацией, достаточной для решения коллективом когнитивных робототехнических систем сложных задач целенаправленного поведения в условиях недетерминированной среды; 3) планирование совокупности неконфликтных траекторий для группы интеллектуальных агентов с учетом действий произвольной продолжительности и возможности перемещения агентов в произвольном направлении; 4) автоматическое формирование программ целенаправленной децентрализованной коллективной деятельности робототехнических систем в условиях недетерминированной среды, для решения конкретных прикладных задач формирования строя, преследования и сопровождения целей и других актуальных целевых задач в условиях наличия рисков нарушения строя и столкновений. Перечисленные фундаментальные задачи в настоящее время либо не решены, либо нуждаются в существенном совершенствовании методов их решения для достижения приемлемого качества управления робототехническими системами, что обуславливает необходимость выполнения предлагаемой научно-исследовательской работы. Тематики проекта соответствует основным положениям Стратегии научно-технологического развития Российской Федерации, утвержденной Указом Президента РФ от 01.12.2016 г. № 642, в части перехода к передовым цифровым, интеллектуальным технологиям, роботизированным системам; к созданию систем обработки больших объемов данных, машинного обучения и искусственного интеллекта; направленным на обеспечение способности страны эффективно отвечать на большие вызовы. Научная новизна проекта заключается в предлагаемом комплексе методов, подходов и алгоритмов, направленных на обеспечение автономного функционирования коллективов роботизированных систем в условиях неопределенности с учетом рационального взаимодействия различных уровней группового поведения. Встраивание баз знаний, продукционных правил, методов планирования неконфликтных траекторий и алгоритмов адаптации в робототехнические системы позволит создать эффективную по точности и быстродействию технологию управления робототехническими системами реального времени с максимальным уровнем надежности и устойчивости по отношению к изменяющимся параметрам объекта и среды, расширить область применения теории в условиях недетерминированности исходной информации. Ожидается получение новых методов автономной навигации и управления робототехническими системами в условиях ограниченных сенсорных (одиночная видеокамера), вычислительных (малые ресурсы бортовых комплексов) и коммуникационных ресурсов (отсутствие GPS/ Glonass навигации). Все предлагаемые решения (модели, подходы, методы и алгоритмы) обладают необходимой степенью новизны, выявленной по результатам анализа российских и зарубежных публикаций. Ожидаемые результаты, в целом, соответствуют мировому уровню развития теории интеллектуального управления, а их практическое применение позволит обеспечить построение автономных робототехнических систем широкого назначения.

Ожидаемые результаты
В рамках Проекта 2019 планируется выполнение работ, направленных на повышение степени автономности отдельных робототехнических систем и коллективов таких систем за счет решения задач представления знаний, картирования, локализации и планирования траектории и получение следующих основных научных результатов мирового уровня: - Алгоритм планирования совокупности неконфликтных траекторий для группы интеллектуальных агентов, учитывающий действия произвольной продолжительности и перемещения в произвольном направлении, а также - размер, форму и пространственную ориентацию объектов управления. - Генеративная модель на основе комбинации контекстного кодировщика и дискриминативной компоненты для решения задачи планирования траектории как задачи контекстно-зависимой генерации изображений. - Метод восстановления глубины изображений, полученных из видеопотока малого робототехнического устройства. - Методы и алгоритмы одновременного картирования и локализации (для отдельных робототехнических систем и групп таких систем) по видеопотоку, основанные на использовании карт глубин изображений. - Метод представления знаний интеллектуального решателя мобильной робототехнической системы, функционирующей в условиях недетерминированной среды, на основе фреймовых структур двух видов: фрейм-микропрограмм поведения и фрейм-операций. - Методы решения траекторных задач (следования по маршруту, преследования и сопровождения целей) для группы робототехнических систем (на примере летательных аппаратов) в возмущенной воздушной среде при наличии препятствий. - Метод формирования строя группой летательных аппаратов в возмущенной воздушной среде. Запланированные результаты соответствуют мировому уровню исследований и будут представлены на ведущих научных конференция по планированию, много-агентным системам, робототехнике и пр., как в России, так и за рубежом. Практическая значимость результатов состоит в возможности создания на их основе прикладных систем управления конкретными робототехническими объектами, способными решать сложные задачи и достигать при этом необходимой степени автономности. К наиболее перспективным областям внедрения результатов работ относятся: ликвидация последствий природных и техногенных катастроф, мониторинг окружающей среды и объектов интереса, фото- видео- и сенсорная разведка различный территории, поиск и спасение, автоматизированная логистика и доставка грузов и др.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2019 году
В ходе отчетного этапа рассматривались задачи планирования траектории, картирования и локализации, представления знаний. Предложены новые, оригинальные методы, алгоритмы и модели. Опубликовано 9 работ. Была рассмотрена задача планирования совокупности неконфликтных траекторий для группы интеллектуальных агентов с возможностью совершения перемещения произвольной продолжительности и в произвольном направлении. Для решения этой задачи был предложен новый алгоритм, основанный комбинации конфликтно-ориентированного поиска и безопасно-интервального планирования. Проведены теоретические и эмпирические исследования алгоритма. Доказана его корректность, полнота и оптимальность. Результаты экспериментальных исследований свидетельствуют о применимости алгоритма для решения широкого класса задач. Разработанный алгоритм превосходит известные мировые аналоги по качеству отыскиваемых решений (сумма времен достижения целей по всем агентам) за счет возможности осуществлять действия в произвольном направлении. По результатам эксперимента разница достигает 21%. Программная реализация разработанного алгоритма открыта и доступна по ссылке https://github.com/PathPlanning/Continuous-CBS Была рассмотрена задача планирования траектории на плоскости и предложен новый подход к ее решению, основанный на применении генеративно-состязательных нейросетей. Целью генеративной компоненты является создание изображения-решения задачи планирования по имеющемуся изображению, на котором представлена окружающая среда агента, а также отмечены текущее и целевое положения. При обучении в качестве эталонных используются изображения с нанесенным путем, найденным с помощью алгоритма A*. Дискриминативная компонента решает задачу бинарной классификации, т.е. определяет относится ли изображение поданное на вход к классу эталонных или сгенерированных. В результате проведенных экспериментальных исследований установлена потенциальная применимость предложенной генеративной модели в задаче планирования траектории на плоскости. Число успешно решенных заданий превысило 72%. Модель показала способность к генерализации (т.е. возможность отыскания путей на картах, которые существенным образом отличаются от примеров, на которых происходило обучение). Результаты, полученные в ходе работы показали релевантность модели как инструмента для решения задачи планирования и потенциал в дальнейшем развитии предложенного подхода. Рассматривалась задача одновременного картирования и локализации по видеопотоку (vSLAM) в реальном времени для малогабаритной робототехнической системы. Предложен метод картирования и локализации, основанный на восстановлении карт глубин изображений и алгоритме RTAB-Map. Для восстановления глубин по изображениям разработаны архитектуры полносверточных нейронных сетей, обладающие высокой скоростью работы на маломощных встраиваемых системах. Проведено экспериментальное исследование полученных архитектур и их сравнение с другими методами восстановления глубины. В ходе исследования установлено, что разработанные архитектуры не уступают по скорости и качеству многим другим современным архитектурам полносверточных нейронных сетей. Также проведено тестирование предложенного метода vSLAM в реальном времени на встраиваемой системе NVIDIA Jetson TX2, в ходе которого установлено, что предложенный метод позволяет строить правдоподобную карту окружающей местности и выполняет локализацию в построенной карте с частотой 16 раз в секунду. Предложенный метод vSLAM программно реализован в формате ROS-узла. Программная реализация доступна по ссылке https://github.com/cnndepth/tx2_fcnn_node Предложена модель представления и обработки процедурных знаний робототехнических систем, которая определяется множеством типовых элементарных подзадач поведения, описываемых на основе фрейм-микропрограмм и фрейм-операций. Фреймовые структуры используют специальные процедуры вывода и позволяют формировать сложные программы функционирования, обеспечивающие решение задач в процессе целенаправленной деятельности в условиях неопределенности. Разработанные процедуры обработки знаний могут лечь в основу создания систем управления специализированными робототехническими системами, обладающими высокими функциональными возможностями. Дана постановка и предложено решение задачи траекторного движения группы беспилотных летательных аппаратов в сложных условиях. Сформулированы основные требования и ограничения к системе управления траекторным движением. Предложен алгоритм динамического планирования поведения группы БПЛА в среде с препятствиями. Получено решение задачи построения и отработки сложной траектории движения беспилотного летательного аппарата с применением локальных интерполирующих сплайнов и оптимизацией расположения узловых точек. Даны постановки и предложены схемы решения задач преследования-убегания для группы беспилотных летательных аппаратов в качестве преследователей и динамической цели при ветровой нагрузке в среде с препятствиями.

 

Публикации

1. Андрейчук А.А., Яковлев К.С., Атцмон Д., Штерн Р. Multi-Agent Pathfinding with Continuous Time Proceedings of the 28th International Joint Conference on Artificial Intelligence (IJCAI 2019), Pp. 39-45 (год публикации - 2019) https://doi.org/10.24963/ijcai.2019/6

2. Боковой А.В., Муравьев К.Ф., Яковлев К.С. Real-time Vision-based Depth Reconstruction with NVidia Jetson Proceedings of the 2019 European Conference on Mobile Robots (ECMR 2019), - (год публикации - 2019) https://doi.org/10.1109/ECMR.2019.8870936

3. Дергачев С.А. Экспериментальное исследование реактивного алгоритма навигации для групп агентов - ORCA Семнадцатая Национальная конференция по искусственному интеллекту с международным участием. КИИ-2019 (21–25 октября 2019 г., г. Ульяновск, Россия). Сборник научных трудов. В 2 т., Т.1. С.102-110 (год публикации - 2019)

4. Мелехин В. Б., Хачумов М. В. Планирование выполнения сложных полетных заданий группировками интеллектуальных беспилотных летательных аппаратов Искусственный интеллект и принятие решений, №2, 2019. С. 72-83. (год публикации - 2019) https://doi.org/10.14357/20718594190207

5. Муравьев К.Ф., Боковой А.В. Восстановление карт глубин изображений, полученных с единственной видеокамеры в реальном времени на платформе NVIDIA Jetson TX Пятый Всероссиийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ-2019): Труды семинара., С. 29-38 (год публикации - 2019)

6. Соболева Н.А., Яковлев К.С. LPLIAN: алгоритм планирования траектории с учетом геометрических ограничений в динамической среде Пятый Всероссиийский научно-практический семинар «Беспилотные транспортные средства с элементами искусственного интеллекта» (БТС-ИИ-2019): Труды семинара, С. 56-65 (год публикации - 2019)

7. Соболева Н.А., Яковлев К.С. GAN Path Finder: Preliminary results In Benzmüller C., Stuckenschmidt H. (eds) KI 2019: Advances in Artificial Intelligence. KI 2019. Lecture Notes in Computer Science, vol 11793., Pp. 316-324. (год публикации - 2019) https://doi.org/10.1007/978-3-030-30179-8_28

8. Хачумов М.В. A Rule-Based Approach for Controlling UAVs Formation Flight Ronzhin A., Shishlakov V. (eds) Proceedings of 14th International Conference on Electromechanics and Robotics “Zavalishin's Readings”. Smart Innovation, Systems and Technologies, vol 154., Pp. 319-330 (год публикации - 2020) https://doi.org/10.1007/978-981-13-9267-2_26

9. Хачумов М.В., Хачумов В.М. UAV Trajectory Tracking Based on Local Interpolating Splines and Optimal Choice of Knots Kuznetsov S., Panov A. (eds) Artificial Intelligence. RCAI 2019. Communications in Computer and Information Science, vol 1093., Pp. 320-334 (год публикации - 2019) https://doi.org/10.1007/978-3-030-30763-9_27

10. - Алгоритм российских ученых поможет роботам безопасно передвигаться Индикатор.ру, - (год публикации - )


Аннотация результатов, полученных в 2020 году
Была рассмотрена задача планирования совокупности неконфликтных траекторий для группы мобильных агентов. Разработана модификация алгоритма многоагентного планирования, основанная на комбинации подходов конфликтно-ориентированного поиска и безопасно-интервального планирования. Предложенная модификация позволяет учитывать ориентацию агентов, время необходимое на ее смену, размеры, форму, скорость движения и поворота. При этом допускается, что агенты могут быть гетерогенными, т.е. обладать различными характеристиками. Предложен ряд оригинальных вспомогательных процедур, позволяющих сократить пространство поиска при планировании индивидуальных траекторий агентов, и, как следствие, оказывающих положительное влияние на время работы алгоритма. В результате проведения экспериментальных исследований установлено, что предложенный метод не уступает предшественнику (алгоритму, разработанному годом ранее) в скорости решения задач много-аганетного планирования, при том, что последний предназначен для гомогенных агентов и не учитывает ориентацию (и, соответственно, скорость вращения) агентов при планировании. Исходный код разработанного метода доступен для сообщества: https://github.com/PathPlanning/Continuous-CBS/tree/CCBS-kc. Рассматривалась задача планирования пути на плоскости в статической среде как задача контекстно-зависимой генерации изображения. Была предложен ряд модификаций предложенной ранее нейросетевой генеративно-состязательной модели для решения этой задачи. Модификации касаются использования блоков внимания в архитектуре нейронной сети, а также расчета функции потерь дискриминатора. Также предложен оригинальный способ комбинирования предсказаний вероятности нахождения пути в определенной области пространства и метода планирования, основанного на систематическом поиске. Экспериментально показано, что предложенный комбинированный метод существенно повышает вычислительную эффективность планирования траектории на плоскости при решения ряда практически значимых задач. Исходный код разработанной модели выложен в открытый доступ: https://github.com/PathPlanning/GAN-Path-Finder. Исследовалась задача одновременного картирования и локализации по видеопотоку нескольких робототехнических систем. Разработан комплексный метод её решения. Ключевым компонентом комплекса является нейросетевой метод восстановления глубины, разработанный на прошлом этапе работ по проекту, и способный обрабатывать видео-поток в реальном времени (при частоте обновления кадров 30 раз в секунду). Другими компонентами комплекса являются метод одновременного картирования и локализации по RGB-D данным и метод слияния индивидуальных карт. Комплекс является модульным и допускает возможность замены отдельных алгоритмов, исходный код его компонент находится в открытом доступе: https://github.com/CnnDepth/tx2_fcnn_node. С использованием фотореалистичного симулятора Habitat разработана коллекция данных для проведения экспериментальных исследований алгоритмов объединения карт. Коллекция находится в открытом доступе: https://github.com/CnnDepth/matterport_overlapping_maps. С её использованием проведено экспериментальное исследование разработанного комплекса. Результаты показали состоятельность предложенного подхода для решения задачи картирования и локализации нескольких робототехнических систем в реальном времени. Разработана концепция интеллектуально-геометрического управления, направленная на решение задачи совместного применения в составе роботизированной системы дополняющих друг друга методов точного геометрического и гибкого интеллектуального управления. Дана общая постановка задачи безопасного формирования строя БПЛА в недетерминированной среде при наличии ветровой нагрузки и препятствий. Разработана общая схема решения задачи формирования строя, предполагающая получение опорного плана и его последовательное улучшение. Опорный план формируется путем решения задачи о назначениях модифицированным венгерским методом. Осуществлен выбор математических и имитационных моделей летательных аппаратов как объектов интеллектуально-геометрического управления. Разработана система моделирования, которая содержит специальные модули оперативного реагирования на изменения во внешней среде. Получено экспериментальное решение различных траекторных задач, включая задачи формирования строя и преследования-убегания в сложных условиях.

 

Публикации

1. Андрейчук А.А. Multi-agent Path Finding with Kinematic Constraints via Conflict Based Search RCAI 2020. Lecture Notes in Computer Science, vol 12412., C.29-45 (год публикации - 2020) https://doi.org/10.1007/978-3-030-59535-7_3

2. Боковой А.В., Муравьев К.Ф., Яковлев К.С. Map-merging algorithms for visual slam: Feasibility study and empirical evaluation RCAI 2020. Lecture Notes in Computer Science, vol 12412., С. 46-60 (год публикации - 2020) https://doi.org/10.1007/978-3-030-59535-7_4

3. Муравьев К. Ф., Боковой А. В., Яковлев К. С. Оценка качества алгоритмов картирования и локализации на основе видеоданных в симуляционных средах Завалишинские чтения'20: XV Международная конференция по электромеханике и робототехнике, с.129-135 (год публикации - 2020) https://doi.org/10.31799/978-5-8088-1446-2-2020-15-129-135

4. Соболева Н.А., Яковлев К.С. LPLian: Angle-Constrained Path Finding in Dynamic Grids 12th International Conference on Developments in eSystems Engineering (DeSE 2019), pp. 48-53 (год публикации - 2020) https://doi.org/10.1109/DeSE.2019.00019

5. Хачумов М.В. Tactical Level of Intelligent Geometric Control System for Unmanned Aerial Vehicles Ronzhin A., Shishlakov V. (eds) Proceedings of 15th International Conference on Electromechanics and Robotics "Zavalishin's Readings". Smart Innovation, Systems and Technologies, vol 187. Pp.55-67 (год публикации - 2021) https://doi.org/10.1007/978-981-15-5580-0_4


Возможность практического использования результатов
Результаты проекта могут быть основной технологии создания систем управления сложными мобильными объектами (роботами, дронами, беспилотными автомобилями) и их группами, обеспечивающих высокую степень автономности объектов управления (за счет разработанных в ходе выполнения проекта методов, моделей, алгоритмов и экспериментального программного обеспечения). Сфера применения подобных мобильных агентов: мониторинг и охрана территории, устранение последствий чрезвычайных происшествий природного и техногенного характера, поиск и спасание, логистика и доставка.