КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

НазваниеРазработка прикладных систем технического зрения видимого, инфракрасного и гиперспектрального режима съемки на основе одно- и мультиапертурных дифракционно-оптических систем и методов глубокого обучения

РуководительНиконоров Артем Владимирович, Доктор технических наук

Организация финансирования, регионФедеральное государственное учреждение "Федеральный научно-исследовательский центр "Кристаллография и фотоника" Российской академии наук", г Москва

КонкурсКонкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Аннотация
Настоящий проект является развитием ряда прорывных результатов, полученных исполнителями при разработке уникальных компонентов фотоники на основе дифракционно-оптических элементов, изображающих дифракционно-оптических и компактных гиперспектрометров. По версии издания РИА Новости, полученные результаты входят в десятку российских изобретений, которые способны изменить мир [https://ria.ru/abitura_research/20180410/1518308349.html]. Разработанные элементы имеют ряд значительных преимуществ перед существующими аналогами, в весе, габаритах и простоте изготовления. Мультиапертурные решения на основе дифракционной оптики делают возможным создание высокоразрешающих систем технического зрения с широким углом обзора, малый вес которых делает возможным их установку на малые БПЛА и наноспутники. Основной научной проблемой проекта является создание прикладных систем технического зрения видимого, инфракрасного и гиперспектрального режима съемки на основе одно- и мультиапертурных дифракционно-оптических систем и методов глубокого обучения. Разрабатываемые системы технического зрения на основе дифракционной оптики позволят получить принципиально новые технические решения для распределенного сбора данных в видимом и гиперспектральном диапазонах при помощи мобильных сенсоров, с возможностью установки на малые БПЛА и наноспутники. Такие решения актуальны для различных сфер цифровой экономики, анализа окружающей обстановки и анализа данных ДЗЗ. Одной из главных исследуемых в настоящем проекте научных проблем является комплексирование данных различных сенсоров (sensor fusion) с целью расширения функционала и повышения качества анализа окружающей обстановки. Такое объединение информации с нескольких оптических систем позволяет исправить недостатки отдельных сенсоров и делает возможным использование мультимодальных нейросетевых моделей, таких как визуальные трансформеры, для анализа полученных данных. Проект соответствует Стратегии научно-технологического развития Российской Федерации, направлению Н1, включающему такие сквозные цифровые технологии, как искусственный интеллект, сенсорика, обработка и анализ данных большого объема. Выполняемый проект согласно государственной программе «Цифровая экономика Российской Федерации» формирует исследовательские компетенции и технические заделы для направления цифровое сельское хозяйство, строительство, промышленность и энергетика.

Ожидаемые результаты
1. Разработка методов и технологий создания мультиапертурных систем и компактных гиперспектрометров на основе дифракционной оптики, совместимых с мобильными устройствами. 2. Развитие методов и нейросетевых алгоритмов реконструкции, обеспечивающих повышение качества изображений в системах технического зрения на основе дифракционной оптики. 3. Создание методов и алгоритмов комплексирования изображений различных модальностей для решения прикладных задач анализа окружающей обстановки. 4. Разработка мультимодальных нейростевых алгоритмов одновременной реконструкции и анализа изображений дифракционно-оптических систем для решения прикладных задач перспективных отраслей цифровой экономики, таких как умный город, цифровое сельское хозяйство и индустрия 4.0. 5. Разработка методов, алгоритмов и информационных технологий интеграции систем технического зрения на основе дифракционной оптики с программно-аппаратной платформой мобильных устройств с учетом возможности использования нейропроцессоров.

Аннотация результатов, полученных в 2022 году
Проведенные в рамках первого этапа проекта исследования показали, что задача нейросетевой реконструкции изображений в дифракционно-оптических системах, родственна задаче сверхразрешения по одному изображению (SISR, single image super-resolution). В последних работах по SISR используется в качестве модели деградации используется размытие локальным, пространственно-инвариантным ядром. Такая модель существенно упрощает обработку, и, в частности, позволяет использовать для решения задачи SISR нейронные сети с достаточно небольшим полем зрения (narrow receptive field), порядка 40-50 пикселов. Ключевые отличия задачи реконструкции изображений в дифракционно-оптических системах состоят в более сложной модели деградаций изображения. Показано, что такие искажения не являются пространственно-инвариантными и зависят от всего контекста изображения, т.е. можно говорить о контекстно-зависимых искажениях, и как следствие требуют использования нейросетевых моделей с широким полем зрения (wide receptive field), от 200-400 пикселов. Дальнейшие исследования в проекте будут сосредоточены на сетях такого класса и/или последовательной обработке изображения сетями с широким и узким полем зрения. Ключевым этапом калибровки алгоритмов реконструкции изображений на основе сквозной нейросетевой технологии безусловно является процедура обучения сети, основанная на сформированной обучающей выборке. Фактически, процедура формирования обучающей выборки и является ключевым этапом калибровки системы под конкретный сенсор или дифракционно-оптическую систему. Эта процедура становится тем более критичной, с учетом того, что изменение условий съемки и/или устройства съемки могут приводить к существенному уровню артефактов реконструкции, особенно в случае обучения по малым и нулевым выборкам (zero-shot/few-shot learning, FSL/ZSL). В рамках проекта разработаны следующие методы, позволяющие существенно снизить уровень артефактов нейросетевой реконструкции. Предложен критерий ложных контуров (false edges level, FEL), позволяющий проводить контроль уровня артефактов реконструкции по изображениям реальной сцены без необходимости сопоставления с эталонным изображением, в том числе для сценариев ZSL/FSL. Также предложены алгоритмы аугментации обучающей выборки на основе добавления ISO-шума камеры с использованием комбинации распределений Пуассона и Гаусса, и сдвига экспозиции изображения. Разработанные алгоритмы обучения с использованием критерия FEL и предложенной аугментации позволили существенно снизить уровень артефактов реконструкции. Разработаны новые методы и технологии создания изображающих мультиапертурных дифракционно-оптических систем, совместимых с мобильными устройствами. А именно, разработана трехлинзовая дифракционно-оптическая система [3*] и гибридный рефракционно-дифракционный объектив. Гибридный объектив в результате примененной нейросетевой реконструкции с применением методов компенсации артефактов реконструкции позволил поднять качество выше 28 дБ по критерию пикового отношения сигнал-шум (PSNR). Разработаны методы реконструкции, основанные на модифицированной архитектуре U-net с широким полем зрения позволяющие успешно выполнять реконструкцию как для однолинзовых, так и для гибридных и многолинзовых дифракционно-оптических систем. Разработаны малопараметрические процедурные методы цветовой коррекции для камер с неизвестной моделью регистрации изображения на основе аппроксимации тонокомпенсирующего сплайна и цветокорректирующей матрицы, позволяющие проводить цветовую коррекцию как в классических, так и в дифракционно-оптических системах. Для дифракционно-оптических систем разработанные методы позволяют решать задачи адаптивной цветовой коррекции по единичному образцу, реализуя single-shot learning подход. Для гибридной системы удалось получить цветовую коррекцию с отклонением менее 0,6 dE от образца, что является крайне высоким показателем даже для классических систем.

Публикации

1. Бибиков С.А., Петров М.В., Алексеев А.П., Алиев М.В., Парингер Р.А., Гошин Е.В., Серафимович П.Г., Никоноров А.В. Метод цветовой консистентности для камер с неизвестной моделью Компьютерная оптика, Т. 47, №1, С.92-103 (год публикации - 2023).

2. Евдокимова В.В., Бибиков С.А., Никоноров А.В. Meta-Learning Approach in Diffractive Lens Computational Imaging Pattern Recognition and Image Analysis, Pattern Recognit. Image Anal. 32, 466–468 (2022). (год публикации - 2022).

3. Степаненко С.О., Евдокимова В.В., Петров М.В., Бланк В.А., Скиданов Р.В., Никоноров А.В. Получение цветных изображений системой на основе трех дифракционных линз Компьютерная оптика, - (год публикации - 2023).