Разработка научных принципов на основе когнитивных технологий для планирования действий многоцелевых робототехнических систем при взаимодействии с человеком и классификации объектов окружающего пространства по визуальным данным низкого качества.

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 21-79-10392

НазваниеРазработка научных принципов на основе когнитивных технологий для планирования действий многоцелевых робототехнических систем при взаимодействии с человеком и классификации объектов окружающего пространства по визуальным данным низкого качества.

Руководитель Воронин Вячеслав Владимирович, Кандидат технических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный технологический университет "СТАНКИН" , г Москва

Конкурс №61 - Конкурс 2021 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 09 - Инженерные науки; 09-605 - Комплексирование и обработка информации в технических системах

Ключевые слова коллаборативные системы, распознавание образов, многокамерные системы, классификация, комплексирование, глубинное обучение, нейронные сети, когнитивные технологии, распознавание действий, индустрия 5.0

Код ГРНТИ28.23.15

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Главная цель «Индустрии 5.0» — это возможность совместной работы человека и машины путем взаимодействия человеческого интеллекта и когнитивных вычислений для улучшения средств и повышения эффективности производства. Ожидается, что комбинированное, человеческое и компьютеризированное оборудование выведет производство на новый уровень скорости и совершенства. Взаимодействие умных машин и людей, должно привести к появлению нового поколения роботов и технологий, в котором возможности человеко-машинных коммуникаций значительно возрастут. В последние годы взаимодействие человека и робота было расширено и конечной целью является то, что связь между людьми и машинами должна стать похожа на коммуникацию человека с человеком. Согласно стратегии развития в рамках концепции «Индустрия 5.0», основным элементом которой, является непосредственное взаимодействие человек-робот для решения различных, в том числе уникальных (персонализированных) задач, требует анализа положения человека и частей его тела в динамике. Предлагаемая НИР направлена на решение важной фундаментальной проблемы: распознавание объектов и интеллектуальный анализ действий человека по визуальной информации в автоматизированных системах обработки больших данных. В системе HRC (Human-Robot Collaboration) операторы и роботы объединяются и сотрудничают для выполнения сложных задач в разнообразных сценариях, неоднородных и динамических условиях. Целью такого сотрудничества является: 1) обеспечение безопасности в совместном рабочем пространстве; 2) повышение эффективности производства. Для достижения этих целей роботы должны иметь возможность точно идентифицировать действий оператора и для обеспечения безопасного взаимодействия между человеком и роботом. Развитие данного направления показывает актуальность разработки систем, позволяющих осуществлять взаимодействие человека и робота в единой гибкой системе, и как следствие, организовать гибкие методы автоматизации и реконфигурацию производственных процессов на основе анализа потока видеоданных, полученных с датчиков различной природы, в том числе сенсоров вне видимого диапазона. Одним из ведущих направлений анализа данных является развитие теории обработки цифровых многомерных сигналов, позволяющей решать задачу анализа сигналов в интеллектуальных системах видеонаблюдения без прямого участия человека на основе методов компьютерного зрения. Анализ выявил ограничения известных методов алгоритмов, повышающих вероятность обнаружения объектов наблюдения на визуальных данных низкого качества, связанные с необходимой априорной информации о видах искажений и невозможностью совместной обработки комплексированной информации с сенсоров различных спектральных диапазонов, что позволило создать обоснованные предпосылки к созданию новых методов и алгоритмов на основе когнитивных технологий для планирования действий многоцелевых робототехнических систем при взаимодействии с человеком и классификации объектов окружающего пространства по визуальным данным низкого качества. Такие теоретические исследования позволят создать основу для разработки когнитивной системы при взаимодействии человека и робота, что приведет к улучшению эффективности и техники выполнения действий, особенно в тех случаях, где требуется точная моторика движений при управлении колоборативными комплексами, снизит уровень травматизма при попадании объектов в область рабочего инструмента, позволит вести подсчет выполняемых действий, подсчитать затраченную энергию, контролировать состояние здоровья во время выполнения действий. Научная новизна предлагаемого проекта состоит в том, что решается задача распознавания объектов и действий на основе выделения признаков в виде положения объектов сцены, динамики движений (механистических представлений), температурных характеристик, изменений формы и цвета с целью повышения точности планирования действий многоцелевых робототехнических систем при взаимодействии с человеком и классификации объектов окружающего пространства в рамках концепции «Индустрия 5.0» на основе глубинного обучения в пространстве гиперкомплексных чисел (кватернионов и октонионов) по анализу визуальных данных с нескольких сенсоров, полученных в условиях плохой видимости и недостаточного освещения на промышленных объектах сложной конфигурации.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Шрайфель И., Михайлов А., Семенищев Е., Марчук В., Михайлов И., Мальцев И. A method for reducing the noise component for smooth monotonic signals and an algorithm for its application for prediction problems and detection of local stationary regions in images Proc. SPIE, Target and Background Signatures VII, Volume 11865, Paper number 118650N (год публикации - 2021)
10.1117/12.2600694

2. Семенищев Е., Воронин В., Алепко А., Зеленский А., Агаян С. Development of methods for parallel processing of series of images obtained by a machine vision system in various electromagnetic ranges Proc. SPIE, Optical Instrument Science, Technology, and Applications II, Volume 11876, Paper number 118760P (год публикации - 2021)
10.1117/12.2600693

3. Зеленский А., Семенищев Е., Алепко А., Абдулин Т., Илюхин Ю., Воронин В. Using neuro-accelerators on FPGAs in collaborative robotics tasks Proc. SPIE, Optical Instrument Science, Technology, and Applications II, Volume 11876, Paper number 118760O (год публикации - 2021)
10.1117/12.2600582

4. Семенищев Е., Воронин В., Зеленский A., Алепко A., Агаян С. Improving the accuracy of combining pairs of thermal images based on the analysis of visual information Proc. SPIE, Electro-Optical and Infrared Systems: Technology and Applications XVIII and Electro-Optical Remote Sensing XV, Volume 11866, Paper number 118660C (год публикации - 2021)
10.1117/12.2600585

5. Зеленский А., Гапон Н., Воронин В., Семенищев Е., Серебренный В., Сен Я. Robot navigation using modified SLAM procedure based on depth image reconstruction Proc. SPIE, Artificial Intelligence and Machine Learning in Defense Applications III, Volume 11870, Paper number 118700H (год публикации - 2021)
10.1117/12.2600736

6. Зеленский А.А., Абдулин Т.Х., Жданова М.М., Воронин В.В., Грибков А.А. Проблема обеспечения производительности доверенных систем управления с глубинным обучением Журнал «Advanced Engineering Research», №1, 2022 (год публикации - 2022)
10.23947/2687-1653-2022-22-1-57-66

7. Зеленский А.А., Гапон Н.В., Жданова М.В., Воронин В.В., Илюхин Ю.В. Метод восстановления карты глубины в задачах управления роботами и мехатронными системами Научно-технический журнал «Мехатроника, автоматизация, управление», Том 23, № 2 (2022) (год публикации - 2022)
10.17587/mau.23.104-112

8. Воронин В., Зеленский А., Жданова М., Семенищев Е., Франц В., Ширяков А. Quality Assessment with Deep Learning for Imaging Applications Proc. SPIE, Optics, Photonics and Digital Technologies for Imaging Applications VII (год публикации - 2022)

9. Воронин В., Франц В., Семенищев Е., Жданова М., Зеленский А., Агаян С. 3-D Shape Object Reconstruction with Non-Lambertian Surface from Multiple Views Based on Deep Learning Proc. SPIE, Multimodal Image Exploitation and Learning (год публикации - 2022)

10. Зеленский А., Воронин В., Гапон Н., Семенищев Е., Египко В., Хамидуллин И. 3-D Reconstruction for SLAM Using Multisensor Fusion and Block-Based Inpainting SPIE Photonics Europe, Optics, Photonics and Digital Technologies for Imaging Applications VII (год публикации - 2022)

11. Воронин В., Гапон Н., Хамидуллин И., Токарева О., Зеленский А., Семенищев Е. A vision system using depth inpainting for virtual content reconstruction in Augmented Reality Proceedings of SPIE, Counterterrorism, Crime Fighting, Forensics, and Surveillance Technologies VI, Proc SPIE 12275 (год публикации - 2022)
10.1117/12.2642007

12. Воронин В., Жданова М., Гапон Н., Алепко А., Зеленский А., Семенищев Е. Deep visible and thermal image fusion for enhancement visibility for surveillance application Proceedings of SPIE, Electro-optical and Infrared Systems: Technology and Applications XIX, Proc. SPIE 12271 (год публикации - 2022)
10.1117/12.2641857

13. Зеленский А., Воронин В., Жданова М., Сиряков А., Египко В., Урунов С., Семенищев Е. Video segmentation on static and dynamic textures using a quaternion framework Proceedings of SPIE, Artificial Intelligence and Machine Learning in Defense Applications IV, Proc. SPIE 12276 (год публикации - 2022)
10.1117/12.2641697

14. Сизякин Р., Воронин В., Зеленский А., Пицурика А. Virtual restoration of paintings using adaptive adversarial neural network Journal of Electronic Imaging, Journal of Electronic Imaging, Vol. 31, Issue 4, 043025 (год публикации - 2022)
10.1117/1.JEI.31.4.043025

15. Зеленский А.А., Жданова М.М., Абдуллин Т.Х., Воронин В.В. Технология виртуального сопряжения в процессе имитационного моделирования сложнофункциональных модулей систем управления промышленных роботов и многокоординатных мехатронных систем Известия Юго-Западного государственного университета, Известия Юго-Западного государственного университета / Proceedings of the Southwest State University. 2022; 26(1): 92-115 (год публикации - 2022)
10.21869/2223-1560-2022-26-1-92-115

16. Воронин В., Токарева О., Гапон Н., Наумов И., Зеленский А., Семенищев Е. Image haze removal using block-based multi-scale enhancement method Proceedings of SPIE, Multimodal Image Exploitation and Learning 2023, Proc SPIE 12526 (год публикации - 2023)

17. Воронин В., Гапон Н., Наумов И., Зеленский А., Семенищев Е. Scanning trajectory optimization for industrial robot based on the scanned objects surface optical properties Proceedings of SPIE, Dimensional Optical Metrology and Inspection for Practical Applications XII, Proc SPIE 12524 (год публикации - 2023)

18. Воронин В., Жданова М., Гапон Н, Семенищев Е., Зеленский А. Action recognition from thermal videos using skeleton information and 3D local binary dense micro-block difference Proceedings of SPIE, Multimodal Image Exploitation and Learning 2023, Proc SPIE 12526 (год публикации - 2023)

19. Египко В., Воронин В., Гапон Н., Жданова М., Семенищев Е., Зеленский А. Real-time robotic hand control using human gesture recognition Proceedings of SPIE, Real-Time Image Processing and Deep Learning 2023, Proc SPIE 12528 (год публикации - 2023)

20. Гапон Н., Воронин В., Сизякин Р., Жданова М., Семенищев Е., Зеленский А. Defect detection and removal for depth map quality enhancement in manufacturing with deep learning Proceedings of SPIE, Dimensional Optical Metrology and Inspection for Practical Applications XII, Proc SPIE 12524 (год публикации - 2023)

21. В. Воронин, Е. Семенищев, А. Зеленский, М. Жданова, Н. Гапон Real-time deep learning semantic segmentation for 3-D augmented reality Proceedings of SPIE, SPIE 12772, Real-time Photonic Measurements, Data Management, and Processing VII, 127720L (год публикации - 2023)
10.1117/12.2691152

22. В. Воронин, Н. Гапон, М. Жданова, Е. Семенищев, А. Зеленский Attention map-guided multi-scale haze removal method for industrial inspection system Proceedings of SPIE, Proc. SPIE 12769, Optical Metrology and Inspection for Industrial Applications X, 127691R (год публикации - 2023)
10.1117/12.2690890

23. В. Воронин, М. Жданова, О. Токарева, Е. Семенищев, А. Зеленский, Н. Гапон A multimodal visual guided robot collaborative system based on the classification of multi-class human motion Proceedings of SPIE, Proc. SPIE 12766, Advanced Optical Imaging Technologies VI, 1276614 (год публикации - 2023)
10.1117/12.2691154

24. В. Воронин, Н. Гапон, М. Жданова, Е. Семенищев Thermal Image Enhancement by Artificial Multiscale-Exposure Image Fusion Proceedings of SPIE, SPIE Defense + Commercial Sensing, Multimodal Image Exploitation and Learning 2024 (год публикации - 2024)

25. В. Египко, М. Жданова, Н. Гапон, В. Воронин, Е. Семенищев Real-Time Deep Learning-Based Object Recognition in Augmented Reality Proceedings of SPIE, The SPIE Photonics Europe, Real-time Processing of Image, Depth and Video Information 2024 (год публикации - 2024)

26. Н. Гапон, А. Пузеренький, В. Воронин, М. Жданова, Е. Семенищев Image Inpainting Based on Adaptive Generative Models Proceedings of SPIE, SPIE Defense + Commercial Sensing, Artificial Intelligence and Machine Learning for Multi-Domain Operations Applications VI (год публикации - 2024)

27. Е. Семенищева, М. Жданова, А. Алепко, С. Урунов, В. Воронин Algorithm for detecting objects and specialized tags in low light conditions and low camera resolution Proceedings of SPIE, SPIE Photonics Europe, Real-time Processing of Image, Depth and Video Information 2024 (год публикации - 2024)

28. Зеленский А., Воронин В., Жданова М., Гапон Н., Токарева О., Семенищев Е. Multi-Level Deep Learning Depth and Color Fusion for Action Recognition Proc. SPIE, Optics, Photonics and Digital Technologies for Imaging Applications VII (год публикации - 2022)

29. Воронин В., Жданова М., Хамидуллин И., Токарева О., Зеленский А., Семенищев Е. Block-based multi-scale haze image enhancement method for surveillance application Proceedings of SPIE, Counterterrorism, Crime Fighting, Forensics, and Surveillance Technologies VI, Proc. SPIE 12275 (год публикации - 2022)
10.1117/12.2641136

30. М. Жданова, В. Воронин, О. Токарева, Е. Семенищев, А. Зеленский, Н. Гапон 3D dense micro-block difference descriptor for gastrointestinal disease detection Proceedings of SPIE, Proc. SPIE 12770, Optics in Health Care and Biomedical Optics XIII, 127703S (год публикации - 2023)
10.1117/12.2691162

Публикации