КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер 22-29-01389

НазваниеРазработка алгоритмов восстановления потерянных участков изображения карты подстилающей поверхности для беспилотных летательных аппаратов (БПЛА) в условиях городской инфраструктуры.

РуководительФедосов Валентин Петрович, Доктор технических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет", Ростовская обл

Период выполнения при поддержке РНФ

2022 г. - 2023 г.

Конкурс№64 - Конкурс 2021 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».

Область знания, основной код классификатора 09 - Инженерные науки, 09-104 - Движение объектов и аппаратов в различных средах

Ключевые словаВидеосигнал, реконструкция, изображение, математическая модель, сегментация, оптический поток, синтез текстур, БПЛА, подобные блоки, предобработка.

Код ГРНТИ47.05.17

СтатусУспешно завершен

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Построение карты подстилающей поверхности с использованием беспилотных летательных аппаратов (БПЛА) в настоящее время используется довольно широко. Это обусловлено доступностью и дешевизной БПЛА, например, квадрокоптеров. Подобные карты используются как в задачах оборонного характера, так и в целом ряде иных отраслей: нефте-газовая, МЧС, градостроительство, сельское хозяйство и др. Ориентирование БПЛА в условиях городской инфраструктуры имеет большое практическое значение. Во многих вышеописанных областях применения БПЛА требуются задачи: Удаления ненужных движущихся объектов из кадра; постоянное наблюдение за объектом; восстановление фона и объектов в области перекрытия т.е. когда объект перекрыт другим объектом (к примеру автомобилем). Однако простая фотосъёмка позволяет получать лишь плоскостную картинку, на которой формы объектов могут быть искажены тенями, которые, к тому же, могут динамически изменяться в зависимости от времени суток и погодных условий, солнечные блики, отражения от объектов. Кроме того, подобные искажения формы объектов могут иметь целенаправленный характер. Движение БПЛА в условиях городской застройки приводит к отражениям сигнала от объектов, что приводит к потерям участков карты подстилающей поверхности. Поэтому заявленная тема исследований является актуальной, поскольку решение поставленных в ней задач позволит выявить такие искажения и восстановить истинную форму объектов внимания и получить более точную карту подстилающей поверхности. Научная значимость и актуальность проекта состоит в создании методов реконструкции динамических изображений, позволяющих безаварийно, безопасно использовать БПЛА в практических сферах. Научная новизна проекта заключается в разработке алгоритма пространственно-временной реконструкции динамических изображений, который позволяет восстановить истинную форму объектов внимания, потерянные, слепые зоны на изображении.

Ожидаемые результаты
- Результаты систематизации информации и классификация методов и алгоритмов комплексирования разнородных цифровых изображений. - Разработка математической модели построения и восстановления карты подстилающей поверхности; - Рекомендации по использованию разработанных методов и математических моделей комплексирования пространственно-временных методов реконструкции динамических изображений для решения задачи повышения качества изображений; - Определение требований к математической модели: назначению, составу, техническим характеристикам; - База данных разнородных цифровых видеоданных на основе выбранных информативных признаков. - Определение критериев оценки точности восстановления потерянных участков изображений; - Разработка и исследование методов пространственно-временной реконструкции динамических изображений для повышения точности изображений и уменьшения ошибки реконструкции. - Комплексная оценка алгоритмов пространственно-временной реконструкции динамических изображений для подстилающей поверхности. - Разработка алгоритма построения подстилающей поверхности, учитывающего линейные искажения; - Разработка алгоритма построения карты внимания, на основе использования критериев визуальной метрики. - Разработка метода пространственно-временной реконструкции динамических изображений на основе геометрической модели; - Разработка алгоритма предобработки изображения, для его последующего анализа при восстановлении части карты. Применение комплексирования пространственно-временных методов реконструкции динамических изображений на основе геометрической модели обеспечит повышение качества изображения и уменьшит искажения форм объектов и потерянные области подстилающей поверхности, а также обеспечит снижение аварийных ситуации, созданных из-за теней от строений, солнечных бликов, погодных динамических искажений, которые создают слепую зону на изображении, которая перекрывает часть полезной информации в городских условия. Применение разработанных алгоритмов обеспечит безопасное движение беспилотных летательных объектов, что способствует их использованию для обслуживания потребностей социальной сферы и экономики страны. Результаты проводимых исследований планируются к публикации в 3 международных журналах из квартиля Q1, Q2, Q3 (Neurocomputing, IEEE Signal Processing Letters, Eurasip Journal on Advances in Signal Processing), в материалах 5 международных конференций, индексируемых в базах Scopus и WoS, в 4 журнальных статьях входящих в перечень ВАК Российской Федерации.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2022 году
Построение карты подстилающей поверхности с использованием беспилотных летательных аппаратов (БПЛА) в настоящее время используется довольно широко. Это обусловлено доступностью и дешевизной БПЛА, например, квадрокоптеров. Подобные карты используются как в задачах оборонного характера, так и в целом ряде иных отраслей: нефте-газовая, МЧС, градостроительство, сельское хозяйство и др. Ориентирование БПЛА в условиях городской инфраструктуры имеет большое практическое значение. Во многих вышеописанных областях применения БПЛА требуются задачи: Удаления ненужных движущихся объектов из кадра; постоянное наблюдение за объектом; восстановление фона и объектов в области перекрытия т.е. когда объект перекрыт другим объектом (к примеру автомобилем). Однако простая фотосъёмка позволяет получать лишь плоскостную картинку, на которой формы объектов могут быть искажены тенями, которые, к тому же, могут динамически изменяться в зависимости от времени суток и погодных условий, солнечные блики, отражения от объектов. Кроме того, подобные искажения формы объектов могут иметь целенаправленный характер. Движение БПЛА в условиях городской застройки приводит к отражениям сигнала от объектов, что приводит к потерям участков карты подстилающей поверхности. Поэтому заявленная тема исследований является актуальной, поскольку решение поставленных в ней задач позволит выявить такие искажения и восстановить истинную форму объектов внимания и получить более точную карту подстилающей поверхности. Научная значимость и актуальность проекта состоит в создании методов реконструкции динамических изображений, позволяющих безаварийно, безопасно использовать БПЛА в практических сферах. Научная новизна проекта заключается в разработке алгоритма пространственно-временной реконструкции динамических изображений, который позволяет восстановить истинную форму объектов внимания, потерянные, слепые зоны на изображении. При выполнении работ в 2022 году разработана математическая модель подстилающей поверхности. Представлен алгоритм моделирования карты подстилающей поверхности в направлении движения носителя РЛС на основе ДОЛ и выявление периодичности объектов на изображениях с помощью преобразования Фурье. В работе предложен метод реконструкции видеопоследовательности карты местности на основе геометрической модели с использованием глобального дескриптора. Результаты реконструкции кадров показывают, что предложенный подход может эффективно восстанавливать движущиеся объекты и фон, решая проблемы реконструкции видеообъектов, когда существует сложность различения объектов и фона в случае медленного движения объектов переднего плана, условий освещений, тени от строений. Предложенный метод включает в себя следующие основные этапы: предобработка кадра; получение модели сцены; вычисление набора дескрипторов, которые позволяют получить информацию, необходимую для восстановления кадра; реконструкция кадров с использованием пространственно-временной области пикселей - 3D блоков.

Публикации

1. Ибадов Р.Р., Федосов В.П., Ибадов С.Р. Анализ подстилающей поверхности при формировании изображения в режиме доплеровского обужения луча Известия ЮФУ. Технические науки, г. Таганрог, 2022 г., №4(228), С. 222-230, ИЗВЕСТИЯ ЮФУ. ТЕХНИЧЕСКИЕ НАУКИ г. Таганрог Свидетельство о регистрации средства массовой информации ПИ № ФС77-28889 (год публикации - 2022) https://doi.org/10.18522/2311-3103-2022-4-222-231

2. Федосов В.П., Джалил Д. C., Кучерявенко С.В. Сравнение производительности адаптивного алгоритма с методами MMSE для передачи изображений на основе систем MIMO и SISO. Издательство «Радиотехника» Журнал «Радиотехника» г. Москва, Журнал Издательство «Радиотехника» Т. 87. № 2. С. 123−133. 2023 г. УДК: 681.5.01 (год публикации - 2023) https://doi.org/10.18127/j00338486-202302-15

3. Федосов В.П., Джамил Д.С., Кучерявенко С.В. Адаптивный алгоритм передачи изображений и данных в системе беспроводной связи с использованием кода Хэмминга на основе принципов MIMO Компьютерные и информационные технологии в науке, инженерии и управлении «КомТех-2022»: материалы Всероссийской научно-технической конференции с международным участием: в 2 т., т. 2, 2022. – С. 271 – 278 (год публикации - 2022)

4. Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Реконструкция видеопоследовательности на основе геометрической модели с использованием видеодескриптора. Издательство «Радиотехника» Журнал «Радиотехника» г. Москва, Издательство «Радиотехника» Т. 87. № 6. С. 151−162. 2023 г. УДК: 004.932 (год публикации - 2023) https://doi.org/10.18127/j00338486-202306-20

5. Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Модифицированный метод постобработки карты глубины для задач безаварийного вождения БПЛА в городской инфраструктуре. Издательство «Радиотехника» Журнал «Радиотехника» г. Москва, Журнал Издательство «Радиотехника» Т. 87. № 9. С. 113−123, №9, 2023 ISSN: 0033-8486 УДК: 004.932 (год публикации - 2023) https://doi.org/10.18127/j00338486-202309-10

6. Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Алгоритм сегментации для выделения движущихся объектов на основе реконструкции фона с использованием параметров шумовых характеристик Журнал «Известия высших учебных заведений России. Радиоэлектроника» г. Санкт-Петербург, - (год публикации - 2023)

7. Федосов В.П., Пацюк Т.Т. Алгоритм обработки пространственно-временных сигналов на основе системы MIMO- OFDM в условиях активных помех. Известия ЮФУ. Технические науки, г. Таганрог, 2022 г., Известия Южного федерального университета. Технические науки. – 2022. – №. 5 (229). – С. 221-229. (год публикации - 2022) https://doi.org/10.18522/2311-3103-2022-5-221-229

8. Федосов В.П.,Ибадов Р.Р.,Ибадов С.Р. Обнаружение и отслеживание объектов на основе карты внимания для БПЛА. Минобрнауки России ФГБУН Институт радиотехники и электроники им. В. А. Котельникова Российской академии наук ЖУРНАЛ РАДИОЭЛЕКТРОНИКИ электронный журнал, г. Москва., №11, С. 1-18, ЖУРНАЛ РАДИОЭЛЕКТРОНИКИ, ISSN 1684-1719, 2022 (год публикации - 2022) https://doi.org/10.30898/1684-1719.2022.11.7

9. Джамил Джалил Садун, Федосов В.П. Анализ и сравнение адаптивных алгоритмов передачи изображений по каналу 3D WIMAX MIMO на основе MMSE Научная инициатива иностранных студентов и аспирантов. Сборник докладов II Международной научно-практической конференции. Томск, 2022. С. 439-444, 2022. С. 439-444 (год публикации - 2022)

Аннотация результатов, полученных в 2023 году
Одной из важнейших задач для обеспечения безопасности жизни является реконструкция подстилающей поверхности, мониторинг объектов и отслеживание ситуаций в городской инфраструктуре с БПЛА. Трудности возникают, когда БПЛА используется для наблюдения в зонах, доступ к которым затруднен или непригоден для человека и тогда возникает риск аварийных ситуаций. Поэтому анализ, ориентирование, реконструкция, передача, помехоустойчивость и отслеживание объектов могут помочь в решении сложившихся случаев. Научная значимость и актуальность проекта состоит в создании методов реконструкции динамических изображений, предварительной обработки изображений подстилающей поверхности для снижения шумового фона, ориентировании дронов в городской застройке, улучшении помехоустойчивости при передаче сигналов и изображений в воздушной среде системами связи БПЛА при наличии активных помех от точечных источниках. Описанные методы позволяют безаварийно и безопасно использовать БПЛА в практических сферах. Создан научно-технический задел в области цифровой обработки сигналов и построении алгоритмов реализации методов обработки в системах автоматизированного управления и технического зрения, являющихся неотъемлемыми элементами разрабатываемого комплекса обработки сигналов. В результате реализованы алгоритмы цифровой обработки изображений и видеосигналов систем технического зрения для решения комплексных задач распознавания и восстановления образов, анализа объектов и сцен. В рамках проводимых научных исследований сформированы как отдельные элементы комплексной системы цифровой обработки и анализа многомерных сигналов, так и структуры комплекса в целом. При выполнении работ в 2023 году разработаны: - Алгоритм и программа оценки эффективности комплексирования разнородных цифровых изображений при передаче в воздушной среде системами связи БПЛА при наличии активных помех от точечных источниках; - Алгоритм и программа восстановления изображений на основе реконструкции недостающих областей карты поверхности; - Алгоритм и программа первичной обработки цифровых изображений с использованием нейронных сетей глубокого обучения для решения задач повышения контраста и фильтрации при передаче изображений в воздушной среде системами связи БПЛА; - Оптимизация числа каналов MIMO по пропускной способности; - Моделирование и программа MIMO системы связи применительно к передаче сигналов управления и изображений подстилающей поверхности в канале с многочисленными переотражениями; - Алгоритм и программа определения направления движения и индексации движущегося объекта на изображении карты подстилающей поверхности;. - Предложены рекомендации по использованию разработанных методов и математических моделей комплексирования пространственно-временных методов реконструкции изображений для решения задачи повышения качества изображений при их передаче в воздушной среде системами связи БПЛА; - Алгоритм предобработки изображения, для его последующего анализа при восстановлении части карты поверхности; - Алгоритм оценки эффективности предложенного метода восстановления изображений, на основе статистических критериев. Исследование направлено на создание высокоскоростных и высокоэффективных алгоритмов комплексирования пространственно-временной реконструкции изображений при полете бПЛА в городских условиях. По результатам проводимых научных исследований создан научно-технический задел в области обработки изображений и видеопотоков для решения задач распознавания и восстановления образов в системах компьютерного зрения. На основе существующих наработок предложено решение главных задач в рамках области исследований: первичная обработка, задача распознавания и восстановления объектов с использованием глубокого обучения и разреженного представления сигналов, передача сигналов и изображений по воздушным каналам связи, помехоустойчивость систем.

Публикации

1. Федосов В.П., Аль-Мусави В.М. М. Джавад, Кучерявенко С. В. Пространственно-временной адаптивный алгоритм с использованием кода Хэмминга на основе модели беспроводного канала 3D-MIMO. Издательство «Радиотехника» Журнал «Радиотехника» г. Москва, - (год публикации - 2024)

2. Федосов В.П., Аль-Мусави В.М., Кучерявенко С.В. Transmission Data in 3D Channel Using Adaptive Algorithm Based on The MIMO-OFDM in a Densely Built-Up Area IEEE, Международная научная конференция «Radiation and Scattering of Electromagnetic Waves»-«RSEMW-2023» DOI: 10.1109/RSEMW58451.2023.1020202710201971 INSPEC Accession Number: 23551657 Дивноморское Краснодарский край Россия, 26-30 июня, 2023 С. 240--243, 2023 (год публикации - 2023) https://doi.org/10.1109/RSEMW58451.2023.10202027

3. Федосов В.П., Джамил Д.С., Кучерявенко С.В. Medical Image Transmission in 3D WiMAX Channel Using Adaptive Algorithm Based on MIMO-OFDM Principles IEEE, 2023 Radiation and Scattering of Electromagnetic Waves (RSEMW), DOI: 10.1109/RSEMW58451.2023.10202065, ISBN:979-8-3503-2238-5, C. 236-239 (год публикации - 2023) https://doi.org/10.1109/RSEMW58451.2023.10202065

4. Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Investigation of the influence of spatial correlation on the performance of the MIMO system when using the adaptation algorithm IEEE, Международная научная конференция «Radiation and Scattering of Electromagnetic Waves»-«RSEMW-2023» DOI: 10.1109/RSEMW58451.2023.10201971 ISBN 979-8-3503-2237-8 Дивноморское Краснодарский край Россия, 26-30 июня, 2023 С. 252-255, 2023 (год публикации - 2023) https://doi.org/10.1109/RSEMW58451.2023.10202078

5. Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Algorithm Pre-processing Images of The Underground Surface To Reduce The Background Noise IEEE, Международная научная конференция «Radiation and Scattering of Electromagnetic Waves»-«RSEMW-2023» DOI: 10.1109/RSEMW58451.2023.10201971 ISBN 979-8-3503-2237-8 Дивноморское Краснодарский край Россия, 26-30 июня, 2023 С. 248-251, 2023 (год публикации - 2023) https://doi.org/10.1109/RSEMW58451.2023.10201971

6. Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Определение направления движения БПЛА на изображении карты подстилающей поверхности Издательство «Радиотехника» Журнал «Радиотехника» г. Москва, - (год публикации - 2024)

7. Федосов В.П., Ибадов Р.Р., Ибадов С.Р. Алгоритм сегментации для выделения движущихся объектов на основе реконструкции фона с использованием параметров шумовых характеристик Минобрнауки России ФГБУН Институт радиотехники и электроники им. В. А. Котельникова Российской академии наук ЖУРНАЛ РАДИОЭЛЕКТРОНИКИ электронный журнал, г. Москва., eISSN 1684-1719, 18 страниц №11, 2023 DOI: https://doi.org/10.30898/1684-1719.2023.11.9 (год публикации - 2023) https://doi.org/10.30898/1684-1719.2023.11.9

8. Федосов В.П., Пацюк Т.Т. Influence of Active Interference on the Capacity of a MIMO-OFDM System Using an Adaptive Processing Algorithm IEEE, Международная научная конференция «Radiation and Scattering of Electromagnetic Waves»-«RSEMW-2023» doi:10.1109/RSEMW58451.2023.10202048 ISBN:979-8-3503-2238-5 С. 244-247 (год публикации - 2023) https://doi.org/10.1109/RSEMW58451.2023.10202048

9. Федосов В.П.,Ибадов С.Р., Ибадов Р.Р. Алгоритм передачи изображений в системе MIMO-OFDM при наличии активных помех и структурных искажений. Издательство «Радиотехника» Журнал «Радиотехника» г. Москва, - (год публикации - 2024)

10. Аль-Мусави Висам Мохаммедтаки М. Джавад Оптимизация передачи данных по беспроводному каналу на основе адаптивного алгоритма с использованием систем MIMO-OFDM Научная инициатива иностранных студентов и аспирантов. Сборник докладов III Международной научно-практической конференции. Томск, 25–27 апреля 2023, Издательство: Национальный исследовательский Томский политехнический университет (Томск). С. 263-269., сборник Научная инициатива иностранных студентов и аспирантов. Сборник докладов III Международной научно-практической конференции. Томск, 2023. С. 263-269. (год публикации - 2023)

11. Федосов В.П., Аль-Мусави Висам Мохаммедтаки М. Джавад Анализ и сравнение адаптивного алгоритма в системах SISO и MIMO для канала 3D-WiMAX в условиях функционирования беспилотных летательных средств в районе с плотной застройкой сборник Компьютерные и информационные технологии в науке, инженерии и управлении (КомТех-2023). Материалы Всероссийской научно-технической конференции с международным участием. В двух томах. Таганрог, 2023. Том 1. С. 50-56, сборник Компьютерные и информационные технологии в науке, инженерии и управлении (КомТех-2023). Материалы Всероссийской научно-технической конференции с международным участием. В двух томах. Таганрог, 2023. Том 1. С. 50-56. (год публикации - 2023)

Возможность практического использования результатов
Создан научный и научно-технический задел по теме научного исследования, полученный при проведении исследований для реализации гранта. Научные исследования в области построения методов и алгоритмов систем цифровой обработки сигналов и компьютерного зрения, позволили получить научный задел по следующим направлениям: Повышение разрешения изображений • Реконструкция и восстановление изображений • Удаление объектов и восстановление фона на видеосигналах. • Восстановления информации о глубине изображений и видеосигналов по одному кадру. Цифровая обработка одномерных и двумерных сигналов в системе вторичной обработки: Методы обработки одномерных сигналов, изображений и видеопоследовательностей, направленные на решение проблем выделения, идентификации и преобразования информации, полученной из изображений. • Сегментация изображений • Выделение контуров объектов на изображении. . Распознавание образов в системах компьютерного зрения: Распознавание действий объектов. • Выделение и трекинг объектов. • Применение нейросетевых методов для решения задач распознавания объектов с целью антитеррористической защиты и обеспечения безопасности критически важных объектов инфраструктуры. Системы оценки качества изображений: Построение систем оценки качества изображений на основе нейронных сетей и глубинного обучения без привлечения экспертов. • Оценка качества изображений на основе машинного обучения. Полученные методы и алгоритмы можно применять в качестве аппаратно-программного комплекса на борту БПЛА в плотной городской застройке, для задач безаварийного вождения, ориентирования на местности, детектировании объектов, передачи сигналов и изображений, реконструкции подстилающей поверхности.