Разработка интеллектуальных алгоритмов для построения коллаборативных роботизированных систем управления функционирующей в недетерминированной среде

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 25-21-00292

НазваниеРазработка интеллектуальных алгоритмов для построения коллаборативных роботизированных систем управления функционирующей в недетерминированной среде

Руководитель Горькавый Михаил Александрович, Кандидат технических наук

Организация финансирования, регион Федеральное государственное бюджетное образовательное учреждение высшего образования "Комсомольский-на-Амуре государственный университет" , Хабаровский край

Конкурс №102 - Конкурс 2025 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-520 - Интеллектуальные технологии для робототехнических и мехатронных систем

Ключевые слова Интеллектуальные системы, коллаборативные роботы, нейронные сети, машинное обучение, планирование движений, детектирование действий, цифровой двойник, минимизация энергетических затрат, минимизация временных затрат

Код ГРНТИ28.23.00

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Ожидаемые результаты
1) Результаты критического анализа оценки затрат ресурсов на выполнение перемещений роботом. 2) Результаты критического анализа стандартного, а также девиантного поведения оператора в зоне работы с промышленным и коллаборативным роботизированным комплексом. 3) Концепция построения цифровых двойников для задач реагирования коллаборативной роботизированной системы на непредвиденные действия оператора, представит научному сообществу максимально полное понимание путей постепенного улучшения системы безопасности роботизированных технологических процессов. 4) Методы обнаружения действий в роботизированной среде и набор методов реагирования на девиантное поведение оператора позволят получить эффективный инструмент анализа рабочей сцены роботизированного процесса и своевременно принимать решение о необходимых действиях устранения критически опасной ситуации для оператора. Применение методов машинного обучения к данным, получаемым от внешней мониторинговой системы, позволит обнаружить незначительные аномалии и намеренные оператора в совершении не предусмотренных действия, способные привести к нарушению технологического процесса. 5) Формализованное описание оценки ресурсозатратности перемещений роботом на примере конкретного роботизированного производственного процесса авиастроительного предприятия, включающее в себе результаты структуризации, декомпозиции и диаграмм причинно-следственной взаимосвязи, основанные на современных инструментах SADT технологий и UML нотаций. 6) Сформированный набор данных о действиях оператора позволит научному сообществу использовать его для исследований в области обучения с учителем, обучения с подкреплением, глубокого обучения и других методов искусственного интеллекта. 7) Новые методы и алгоритмы обнаружения действий в коллаборативной роботизированной среде позволят алгоритмам обхода препятствий определять конкретную выполняемую операцию оператором. 8) Новые методы и алгоритмы обнаружения специализированных рабочих деталей, инструментов с последующим построением их трехмерных моделей, необходимых для работы системы обхода препятствий, позволят коллаборативной роботизированной системе определять объем объектов вокруг робота. Такой подход позволит своевременно продумывать оптимальные с точки зрения времени и энергозатрат пути обхода препятствий. 9) Специализированные компоненты цифрового двойника, отвечающего за определение действий виртуального оператора в виртуальной коллаборативной роботизированной среде, позволят усовершенствовать человеко-машинное взаимодействие. Компоненты цифрового двойника, отвечающих за определение действий виртуального оператора, позволят научному сообществу разрабатывать более эффективные и точные алгоритмы для управления роботами. 10) Специализированные компоненты цифрового двойника коллаборативного роботизированного комплекса с возможностью построения траекторных перемещений, позволят оптимизировать с точки зрения времени и энергозатрат промышленные процессы сборки различных изделий, улучшить управление движением роботов в коллаборативной среде, поможет предотвратить столкновения и травмы, связанные с движением роботов, а также улучшить взаимодействие между роботами и людьми. 11) Методические рекомендации по интеграции специализированных компонентов цифрового двойника. 12) Модуль реагирования коллаборативного робота на непредвиденные действий оператора в рабочей зоне. 13) Алгоритм планирования траектории обхода с учетом затратности на ее выполнение 14) Алгоритм планирования траектории обхода с использованием алгоритма оценки ресурсозатратности перемещений робота

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2025 году
Проведен критический анализ современных подходов к оценке ресурсозатратности перемещений робота в рамках реализации операций технологических процессов, авиастроительных производств. Предложен оригинальный комбинированный подход оценки ресурсозатратности перемещений роботов, основанного на интеграции инструментов физико-аналитического моделирования, цифрового двойника и моделей расходования ресурсов. Предложенный подход обеспечивает комплексную оценку затрат при перемещениях, выполнении технологических операций (ТО) и определении интегральной стоимости ТО коллаборативного роботизированного процесса (КРТП). Сформирована классификация ресурсов, используемых в КРТП, являющаяся основой при выборе критерия оптимизации при планировании движений робота, реализующих ТО. Проведена систематизация стандартных и девиантных действий оператора в зоне взаимодействия с роботом. На основе анализа современных источников выделено 50 критических сценариев, описанных через условия возникновения, визуальные признаки, динамику опасного взаимодействия и критерии фиксации отклонений. Структурированы ключевые факторы риска: нарушение пространственной и временной логики операций, коллизии робота и других объектов рабочей зоны, снижение защитных расстояний и ограничение свободы движения рабочих органов. Разработана модель дискретных состояний поведения оператора, позволяющая формально выделять переходы к девиантным действиям и определять условия формирования устойчивых аномальных паттернов. Предложено формализованное описание технологии проектирования КРТП с цифровым двойником. В результате получена оригинальная функциональная модель технологии разработки цифрового двойника для КРТП промышленного предприятия в нотации IDEF0 и на языке UML, предоставляющая научным и инженерным работников промышленных предприятий теоретические основы для разработки прикладных решений. Функциональная модель дополнена разработанной дискретно-событийной моделью АСУ ТО, позволяющей проводить численные эксперименты при настройке локальных систем управления КРТП, в том числе модулей планирования и оптимизации движений в недетерминированной среде, с учетом требований безопасности. Представлен комплекс методов распознавания действий оператора в КРТП. Предложен гибридный подход, объединяющий многокамерный RGB-D мониторинг, 2D/3D pose estimation, семантическую интерпретацию и устойчивое к малым выборкам распознавание объектов. Разработан алгоритм обнаружения стандартных и девиантных действий, обеспечивающий корректную классификацию при окклюзиях и динамических изменениях сцены. Сформирована методология реагирования, включающая PDDL-планирование, локальную корректировку движения робота и обучение с подкреплением. Интеграция в цифровой двойник позволяет выявлять отклонения в реальном времени и предотвращать опасные ситуации. Исследованы последовательности задач при оценке ресурсозатратности движения роботов, предложен оригинальный алгоритм, прогнозирующий затраты ресурсов с учетом недетерминированной среды рабочей зоны и классов частей ТО. Алгоритм предназначен для формирования знаний интеллектуальным системам планирования движений для выбора эффективного закона управления. Проведены работы по модернизации современных алгоритмов и механизмов планирования движений на базе методов разрешения коллизий для интеграции в общие модели оценки ресурсозатратности перемещений роботом, используемые в предложенном подходе, апробация решений проводилась в ходе численных и натурных экспериментов. Разработаны прототипы алгоритмов планирования движений в недетерминированной среде на базе RRT, CHOMP, RL, PTS, формирующие данные о параметрах движения, а также предложен уникальный механизм оптимизации движения с использованием редуцированных конфигурационных пространств. Сформирован оригинальный набор данных для разработки и тестирования алгоритмов обнаружения действий в коллаборативной роботизированной среде. Датасет включает синхронизированные видеозаписи ТО с четырёх RGB-D камер, аудио, глубину, а также размеченные изображения и видео объектов и инструментов для задач детекции. Проведена аннотация поз, действий, событий, объектов и зон рабочей сцены. Набор данных адаптирован под особенности взаимодействия «человек-робот», включая перекрытие зон и сложные пространственные ограничения. Датасет прошёл внутреннюю валидацию и продемонстрировал эффективность при обучении сетей трансформеров для распознавания действий, моделей OSOD и мультимодальных алгоритмов, формируя основу для задач управления и методов обучения с подкреплением. Исследованы методы определения атомарных действий оператора в КРТП. Выполнен анализ современных мультимодальных подходов определения действий, показавший их ограниченную применимость в условиях промышленного производства из-за требований к большим датасетам и высокой вычислительной нагрузке. Предложен гибридный метод, в котором из видеопотока извлекаются ключевые точки позы, формирующие компактные векторные признаки, а семантическая интерпретация действий выполняется LLM. Разработаны правила классификации и метрика WSAA, учитывающая технологическую значимость движений. Эксперименты на многокамерной системе подтвердили устойчивую работу метода при окклюзиях. Подход обеспечивает формирование последовательностей действий и их интеграцию в модули планирования и ситуационного управления роботом. Представлены методы обнаружения специализированных деталей и инструментов по одному эталону, адаптированные для коллаборативной робототехники. Разработана архитектура на базе модифицированной YOLOv9, обеспечивающая локализацию ранее неизвестных объектов без переобучения. Выполнена интеграция алгоритмов с системой управления робота KUKA iiwa 7 и проведены процедуры внутренней и Hand-Eye калибровки. Реализована подсистема 3D-сканирования объектов с использованием оборудования CR-Scan Raptor для последующей реконструкции геометрии. Эксперименты в виртуальной и реальной средах показали устойчивость к шумам и вариациям ракурса; достигнута точность mAP50=0,756 и ошибка локализации 1,5–3,2 см. При реализации и экспериментальных исследованиях предложенных оригинальных алгоритмов для оценки действий и управления коллаборативной робототехнической системой было разработано новое и усовершенствованное математическое и программное обеспечение. Были поданы 2 заявки на государственную регистрацию программ для ЭВМ. По результатам проведенных исследований и разработок подготовлены и приняты к публикации 11 статей (из них 5 – Белый список): 1 RSCI, 3 WoS/ВАК, 1 Scopus, 1 ВАК, 5 РИНЦ. Представлены доклады на российских и международных конференциях. Все выполненные работы и полученные научные результаты полностью соответствуют цели и поставленным задачам проекта РНФ.

Публикации

1. Горькавый М.А. Планирование и оптимизация движений коллаборативного робота при разрешении коллизий в ограниченном операционном пространстве Известия высших учебных заведений. Электромеханика, Горькавый М.А. Планирование и оптимизация движений коллаборативного робота при разрешении коллизий в ограниченном операционном пространстве // Изв. вузов. Электромеханика. 2025. Т. 68. №3. С. 56-69. https://doi.org/10.17213/0136-3360-2025-3-56-69. (год публикации - 2025)
10.17213/0136-3360-2025-3-56-69

2. Грабарь Д.М., Иванов Ю.С., Гудим А.С. Determination of atomic actions of a human operator in a collaborative robotic environment using LLM Institute of Electrical and Electronics Engineers, D. M. Grabar, Y. S. Ivanov and A. S. Gudim, "Determination of Atomic Actions of a Human Operator in a Collaborative Robotic Environment Using LLM," 2025 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Sochi, Russian Federation, 2025, pp. 777-782, doi: 10.1109/ICIEAM65163.2025.11028473. (год публикации - 2025)
10.1109/ICIEAM65163.2025.11028473

3. Горькавый М.А., Кучерова А.И., Горькавый А.И. Функциональная модель инфраструктуры синтеза коллаборативных роботизированных технологических процессов Морские интеллектуальные технологии, Горькавый, М.А., Кучерова А.И., Горькавый А.И. Функциональная модель инфраструктуры синтеза коллаборативных роботизированных технологических процессов, Морские интеллектуальные технологии. 2025. № 4 часть 3, С. 76—85. DOI: 10.37220/MIT.2025.70.4.009 (год публикации - 2025)
10.37220/MIT.2025.70.4.009

4. Горькавый М.А., Ворощенко В.Д. Повышение производительности технологического процесса за счет оптимизации движений коллаборативного робота Современные технологии промышленной автоматизации (год публикации - 2025)

5. Грабарь Д.М., Иванов Ю.С. Разработка программно-аппаратной среды функционирования коллаборативного робота в цифровом двойнике Современные технологии промышленной автоматизации (год публикации - 2025)

6. Ворощенко В.Д., Горькавый М.А. Концепция цифрового двойника коллаборативного роботизированного комплекса Наука, инновации и технологии: от идей к внедрению, Ворощенко Д.М. Концепция цифрового двойника коллаборативного роботизированного комплекса / В.Д. Ворощенко, М.А. Горькавый // Наука, инновации и технологии: от идей к внедрению : Материалы Всероссийской научно-практической конференции молодых ученых, Комсомольск-на-Амуре, 07-09 октября 2025 года. – Комсомольск-на-Амуре: Комсомольский-на-Амуре государственный университет, 2025. – ч. 1. С. 238-242. (год публикации - 2025)

7. Грабарь Д.М. Интеллектуальное управление коллаборативными роботами в задачах динамического взаимодействия с объектами Наука, инновации и технологии: от идей к внедрению, Грабарь, Д. М. Интеллектуальное управление коллаборативными роботами в задачах динамического взаимодействия с объектами / Д. М. Грабарь // Наука, инновации и технологии: от идей к внедрению : Материалы Всероссийской научно-практической конференции молодых ученых, Комсомольск-на-Амуре, 07-09 октября 2025 года. – Комсомольск-на-Амуре: Комсомольский-на-Амуре государственный университет, 2025. – ч. 1. С. 242-246. (год публикации - 2025)

8. Горькавый М.А. Оптимизация режима позиционного управления коллаборативным роботом в технологическом процессе Ученые записки Комсомольского-на-Амуре государственного технического университета (год публикации - 2025)

9. Горькавый М.А., Мельниченко М.А., Ворощенко В.Д., Иванкова Е.П. Экспериментальные исследования алгоритмов планирования движений коллаборативных роботов в автоматизированных технологических комплексах Морские интеллектуальные технологии, Горькавый, М. А., Мельниченко, М. А., Ворощенко, В. Д., Иванкова Е.П. Экспериментальные исследования алгоритмов планирования движений коллаборативными роботами в автоматизированных технологических комплексах. Морские интеллектуальные технологии. 2025. № 4 часть 3, С. 66—75. DOI: 10.37220/MIT.2025.70.4.008 (год публикации - 2025)
10.37220/MIT.2025.70.4.008

10. Ворощенко В.Д., Гудим А.С. Функционал интеллектуального цифрового двойника для снижения ресурсозатратности роботизированных технологических процессов Современные технологии промышленной автоматизации (год публикации - 2025)

11. Грабарь Д.М., Иванов Ю.С. Автоматизация ремонта судовой техники на основе интеграции систем компьютерного зрения и коллаборативных роботов Морские интеллектуальные технологии, Грабарь Д.М., Иванов Ю.С., Автоматизация ремонта судовой техники на основе интеграции систем компьютерного зрения и коллаборативных роботов, Морские интеллектуальные технологии. 2025. № 4 часть 3, С. 42—50. DOI: 10.37220/MIT.2025.70.4.005 (год публикации - 2025)
10.37220/MIT.2025.70.4.005