Аннотация результатов, полученных в 2022 году
Проведенные в рамках первого этапа проекта исследования показали, что задача нейросетевой реконструкции изображений в дифракционно-оптических системах, родственна задаче сверхразрешения по одному изображению (SISR, single image super-resolution). В последних работах по SISR используется в качестве модели деградации используется размытие локальным, пространственно-инвариантным ядром. Такая модель существенно упрощает обработку, и, в частности, позволяет использовать для решения задачи SISR нейронные сети с достаточно небольшим полем зрения (narrow receptive field), порядка 40-50 пикселов. Ключевые отличия задачи реконструкции изображений в дифракционно-оптических системах состоят в более сложной модели деградаций изображения. Показано, что такие искажения не являются пространственно-инвариантными и зависят от всего контекста изображения, т.е. можно говорить о контекстно-зависимых искажениях, и как следствие требуют использования нейросетевых моделей с широким полем зрения (wide receptive field), от 200-400 пикселов. Дальнейшие исследования в проекте будут сосредоточены на сетях такого класса и/или последовательной обработке изображения сетями с широким и узким полем зрения. Ключевым этапом калибровки алгоритмов реконструкции изображений на основе сквозной нейросетевой технологии безусловно является процедура обучения сети, основанная на сформированной обучающей выборке. Фактически, процедура формирования обучающей выборки и является ключевым этапом калибровки системы под конкретный сенсор или дифракционно-оптическую систему. Эта процедура становится тем более критичной, с учетом того, что изменение условий съемки и/или устройства съемки могут приводить к существенному уровню артефактов реконструкции, особенно в случае обучения по малым и нулевым выборкам (zero-shot/few-shot learning, FSL/ZSL). В рамках проекта разработаны следующие методы, позволяющие существенно снизить уровень артефактов нейросетевой реконструкции. Предложен критерий ложных контуров (false edges level, FEL), позволяющий проводить контроль уровня артефактов реконструкции по изображениям реальной сцены без необходимости сопоставления с эталонным изображением, в том числе для сценариев ZSL/FSL. Также предложены алгоритмы аугментации обучающей выборки на основе добавления ISO-шума камеры с использованием комбинации распределений Пуассона и Гаусса, и сдвига экспозиции изображения. Разработанные алгоритмы обучения с использованием критерия FEL и предложенной аугментации позволили существенно снизить уровень артефактов реконструкции. Разработаны новые методы и технологии создания изображающих мультиапертурных дифракционно-оптических систем, совместимых с мобильными устройствами. А именно, разработана трехлинзовая дифракционно-оптическая система [3*] и гибридный рефракционно-дифракционный объектив. Гибридный объектив в результате примененной нейросетевой реконструкции с применением методов компенсации артефактов реконструкции позволил поднять качество выше 28 дБ по критерию пикового отношения сигнал-шум (PSNR). Разработаны методы реконструкции, основанные на модифицированной архитектуре U-net с широким полем зрения позволяющие успешно выполнять реконструкцию как для однолинзовых, так и для гибридных и многолинзовых дифракционно-оптических систем. Разработаны малопараметрические процедурные методы цветовой коррекции для камер с неизвестной моделью регистрации изображения на основе аппроксимации тонокомпенсирующего сплайна и цветокорректирующей матрицы, позволяющие проводить цветовую коррекцию как в классических, так и в дифракционно-оптических системах. Для дифракционно-оптических систем разработанные методы позволяют решать задачи адаптивной цветовой коррекции по единичному образцу, реализуя single-shot learning подход. Для гибридной системы удалось получить цветовую коррекцию с отклонением менее 0,6 dE от образца, что является крайне высоким показателем даже для классических систем.

Аннотация результатов, полученных в 2023 году
Компактные и легкие дифракционные оптические элементы являются перспективной заменой длиннофокусной рефракционной оптики в системах компьютерного зрения, однако, существенные оптические искажения сужают область применения дифракционной оптики. Настоящий этап проекта направлен на совершенствование оптических схем изображающих систем на основе дифракционных оптических элементов и нейростевых методов реконструкции изображений. В раках второго этапа проекта изготовлены следующие макетные образцы изображающих систем на основе дифракционной оптики. Два макетных образца систем технического зрения на основе дифракционной оптки: трехапертурная система и гибридная дифракционно-рефракционная система. Два макетных образца сверхкомпактных сканирующих гиперспектрометров с дифракционными диспергирующеми элементами. Штативный гиперспектрометр с массой 0.67 кг, и гиперспектральный микроскоп массой 0.16 кг, оба гиперспектрометра имеют 250 спектральных каналов в диапазоне 400-1000 нм. Созданные образцы гиперспектральных камер и разработанные пространственно-спектральные нейросетевые классификаторы были использованы для решения задач анализа медицинских микропрепаратов и классификации минерального состава почв с точностью более 96%. Была разработана двухэтапная процедура сквозной нейросетевой реконструкции которая обеспечивает качество от 25.8 дБ до 28.32 дБ по критерию PSNR для разных дифракционно-оптических систем. Максимальное качество в 28.32 дБ полученое для гибридной системы превосходит мировые аналоги. Полученное качество превосходит показатели ряда существующих технологий обработки видео, в частности, современные показатели для повышения качества видео в реальном времени на основе обучаемых таблиц поиска (learnable LUT) находятся в диапазоне 25-26 дБ. Таким образом можно утверждать, что качество получаемых после нейросетевой реконструкции изображений сопоставимо с и даже превосходит качество необходимое для решения ряда задач технического зрения. Столь высокие результаты были получены с использованием двух этапов нейросетевой рекоснтрукции включающих в себя сеть с большим рецептивным полем типа энкодер-декодер с кроссвязями (типа UNet) для полнокадровой реконструкции и трансформерную сеть типа RCAN с поканальным внутренним вниманием для локальной реконструкции. Разработанные алгоритмы аугментации и критерий ложных контуров, позволили провести эффективную адаптацию к реальным условиям съемки и существенно уменьшить артефакты реконструкции, возникающие вследствие различий в доменах изображений, использованных при обучении и в реальной съемке. На настоящем этапе проекта разработан малопараметрический алгортм коррекции цветовых искажений в дифракционно-оптических системах, развивающий подход, впервые предложенный на первом этапе настоящего проекта. Показано, что предложенный малопараметрический алгоритм цветовой коррекции на основе цветокорректирующей матрицы и тонокорректирующего сплайна позволяет существенно, на 0,61 DE, увеличить точность цветопередачи в изображающих дифракционно-оптических системах. Для решения задачи доменной адаптации нейростевых моделей по малым выборкам в рамках настоящего проекта предложен и теоретически обоснован метод крупношагового метаобучения. В рамках второго этапа были разработаны алгоритмы доменной адаптации нейросетевых моделей обнаружения аномалий и нейросетевой реконструкции изображений. В результате был показан прирост точности от 5 до 12 процентов по сравнению с трансферным обучением и существенное улучшение визуального качества реконструкции, которое также подтверждается существенным улучшением согласно предложенному критерию ложных контуров с 32,1% до 7,3%, так же по сравнению с результатами на основе трансферного обучения.