КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 22-79-10340

НазваниеСинтез дифракционных оптических элементов для оперативного формирования высокоинформативных пространственных световых распределений

РуководительЧерёмхин Павел Аркадьевич, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский ядерный университет "МИФИ", г Москва

Период выполнения при поддержке РНФ 07.2022 - 06.2025 

Конкурс№71 - Конкурс 2022 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.

Область знания, основной код классификатора 09 - Инженерные науки, 09-708 - Лазерно-информационные технологии

Ключевые словаДифракционные оптические элементы, цифровая голография, модуляция света, микрозеркальные модуляторы света, оптическое воспроизведение, машинное обучение, жидкокристаллические модуляторы света, некогерентное освещение, корреляторы, бинаризация, оптико-цифровые системы, преобразование волнового фронта, цифровая регистрация, голографическое видео, голографическая память.

Код ГРНТИ29.33.00, 47.37.00


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
В настоящее время системы оптической регистрации и оптико-цифрового визуализации позволяют производить обработку двумерной и трехмерной массивов данных с частотами в десятки кГц. Однако методы анализа и преобразования не могут обеспечить столь высокую скорость совместно с высоким качеством формируемых сцен. Поэтому целью данного проекта является разработка и апробация методов преобразования и формирование волновых фронтов объектов различного типа, обеспечивающих как оперативное, так качественное получение результатов. Данная проблема в проекте решается как за счет создания новых методов на основе применения современных алгоритмических технологий, включающих машинное обучение, адаптивное компандирование и разреженное представление сигналов в различных пространствах, так и применение современных средств отображения и модуляции сигналов, включая высокоскоростные микрозеркальные модуляторы света (МЗМ) и матричные цифровые фоторегистраторы. Для задач оптического преобразования излучения широко применяются различные синтезируемые дифракционные оптические элементы (ДОЭ). К таким элементам относятся, например, численно-синтезированные голограммы, а также киноформы. Однако численный расчет ДОЭ сложных объектов и 3D-сцен является весьма ресурсоемкой задачей, требующей значительных вычислительных мощностей, как правило, итерационного типа. В особенности это касается синтеза ДОЭ, где, помимо большого числа отдельных элементов, могут учитываться и взаимодействия между этими элементами. Одним из возможных способов преодоления этих недостатков является создание метода, основанного на использовании машинного обучения, все чаще применяющиеся в областях фотоники и информационной оптики: синтез изображений, машинное зрение, распознавание, классификация и оценка количества объектов в изображении и др. Использование таких алгоритмов может снизить вычислительную нагрузку и уменьшить время расчетов по сравнению с использованием традиционных методов. Однако методы машинного обучения пока применялись лишь на конкретных параметрах формируемой 3D-сцены и объектах одного типа и размера: например, контурные изображения малого размера (64×64), отдельно не рассматривается восстановление при различных расстояниях от ДОЭ до объекта и др. В данном проекте предлагается разработка метода, учитывающего как разный тип объектов, так и различные размеры и параметры формируемой сцены. В результате будет получено как ускорение расчетов, так и улучшение качества восстановления изображений объектов по сравнению с традиционными методами. Развитие характеристик цифровых фото- и видеокамер привело к тому, что размеры файлов изображений в том числе регистрируемых цифровых голограмм составляют десятки или сотни мегабайт. Для передачи голографического видео даже с кадровой частотой фильмов уже необходимо иметь канал с пропускной способностью единицы или дестяки Гбит/с, что существенно больше используемой в стандартных каналах связи в настоящее время. Аналогично для хранения такого видео необходимы большие объёмы носителей информации, так как 10 мин видео будет иметь размер более 1 терабайта. Для повышения скорости передачи голограмм и снижения объёмов архивной памяти, требуемой для их хранения, можно проводить сжатие голограмм. В настоящее время предлагаются следующие типы методов сжатия цифровых голограмм: основанные на стандартах изображений и видео (JPEG, MPEG-4 и др.), скалярные (неравномерное логарифмическое сжатие и др.), векторные (метод динамических ядер) и вейвлетные. Первая и четвертая группы основана на статистических параметрах изображений и в случае голограмм эти методы напрямую значительно менее пригодны, так как снимки направлены на регистрацию амплитуды волны, а голограммы направлены в большей степени на сохранение фазы. При скалярном сжатии каждое входное значение преобразуется в одно квантованное выходное без учёта зависимости между значениями сигнала. Векторные методы основаны на алгоритмах обучения и нейронных сетях и направлены на создание книги значений соответствия уровню сжатия данной голограммы. В результате скалярные методы сжатия голограмм обычно имеют наиболее высокое быстродействие, но низкое качество восстановления, а векторные – наиболее низкое быстродействие и высокое качество восстановленных изображений. Для получения наилучшего соотношения качество восстановления/скорость сжатия/степень компрессии необходимо использовать особенности всех групп методов совместно. При оптической реконструкции 3D-сцен с цифровых голограмм и ДОЭ качество серьезно ухудшается неточностями отображения сигнала на пространственно-временных модуляторах света (ПВМС). Например, вследствие ступенчатой структуры управляющего напряжения присутствуют флуктуации модуляции фазы в жидкокристаллических (ЖК) ПВМС, достигающие величины pi при глубине модуляции 2pi. При этом ЖК ПВМС позволяют достичь частоты смены кадров в несколько десятков Гц. Для оперативного оптического восстановления следует использовать высокоскоростные бинарные МЗМ, лишь в последние годы преимущества которых начали реализовывать в различных областях: аддитивные технологии, зондирование сред, быстрая фокусировка пусков, восстановление амплитудно-фазовых профилей и др. Для реконструкции сцен с цифровых голограмм с помощью МЗМ вначале необходимо произвести их бинаризацию. Однако до сих пор широко используются лишь глобальные пороговые методы, хотя многие локальные методы и методы на основе операции диффузии ошибки демонстрируют существенно лучшее качество. Даже с учетом этого среди методов нельзя выделить однозначно лучшие или худшие для бинаризации голограмм в общем случае. В проекте предлагается разработка и экспериментальная апробация возможностей метода адаптивного сжатия на основе компандирования как для задач хранения голографических данных, так и для оперативного оптического восстановления сцен с голограмм с использованием МЗМ. Формирование и детектирование комплексно-модулированных когерентных световых полей лежит в основе широкого спектра задач в области информационной оптики. К таким задачам относятся измерение аберраций оптических систем, оптическое кодирование изображений, измерение кривизны поверхностей, пространственно-частотная фильтрация изображений, а также формирование и детектирование изображений комплексно-модулированных страниц цифровых данных в системах архивной голографической памяти. Высокая точность формируемого комплексного поля может быть обеспечена за счёт корректного учёта искажений, возникающих при реализации дифракционной структуры компьютерно-синтезированной голограммы, формирующей заданную функцию пространственного распределения комплексной амплитуды поля, с помощью физического носителя, например пространственно-временного модулятора света. К подобным искажениям можно отнести неравномерность пространственного фазового набега, вызванная аберрациями считывающего пучка и неплоскостностью матрицы элементов ПВМС. Измерение и компенсация данных факторов являются важными задачами при практическом применении пространственно-временных модуляторов света в когерентных дифракционных оптических схемах. Использование для таких измерений интерферометров [1–3] или дополнительных устройств контроля, например датчика Шака-Гартмана, приводит к нежелательному усложнению оптической схемы. В этой связи особый интерес вызывают методы вычислительной фазовой визуализации [4–7], основанные на формировании с помощью ПВМС структурированных когерентных пучков и позволяющие производить вычисление фазы волнового фронта на основе серии измерений амплитудных распределений. Примеры применения данных методов к оценке пространственного распределения фазового набега непосредственно самого ПВМС, ЖК или МЗ, на данный момент не известны. Для улучшения качества и повышения скорости формирования, преобразования и распознавания двумерных изображений и 3D-сцен необходим быстрый и точный учет указанных проблем. С учетом вышесказанного, предлагаемый проект направлен на одновременное решение следующих взаимосвязанных между собой задач: 1) Разработка метода синтеза дифракционных оптических элементов машинным обучением. 2) Разработка метода компрессии и бинаризации амплитудных голограмм на основе адаптивного компандирования. 3) Разработка методов повышения точности формирования комплексных световых полей с помощью современных моделей пространственно-временных модуляторов света с количеством дискретных отсчётов более 10^6. 4) Экспериментальная реализация оперативного оптического отображения сцен с использованием микрозеркальных модуляторов света при совместном применении разработанных методов, их компрессии и отображения сцен. 5) Результаты экспериментального анализа применимости модуляторов света в системах голографической памяти. Апробация разрабатываемых методов предполагается при создании оптико-цифровых дифракционных систем численного и оптического формирования, преобразования и распознавания трехмерных сцен. Новизна проекта определяется тем, что в результате его выполнения будет создан набор новых взаимосвязанных цифровых методов обработки и оптического формирования информации, обеспечивающий как улучшение характеристик существующих оптико-цифровых систем, так и создание оптико-цифровых систем с новыми пользовательскими возможностями. Это должно позволить упрощение и удешевление систем микроскопии, интерферометрии, распознавания образов, голографического видео, формирования пучков и голографической памяти.

Ожидаемые результаты
По итогам предлагаемого проекта должны быть получены следующие основные результаты: 1) Метод синтеза дифракционных оптических элементов размером не менее 1024х1024 отсчетов на основе машинного обучения. Метод включает в себя обучение непрямому расчету дифракции, использование не менее 10 плоскостей, формирующих отдельные сфокусированные изображения. При обучении на вход нейронной сети будет требоваться подать изображения объектов, которые она будет преобразовать вначале в случайные, а потом за счет обратной связи в расчитываемый дифракционный оптический. Предложенный метод сможет позволить восстанавливать трехмерные сцены или связанные последовательности дифракционных оптических элементов/голограмм (голографическое видео). 2) Метод компрессии и бинаризации амплитудных голограмм размером до 4096х4096 отсчетов на основе адаптивного метода с использованием компандирования. Метод должен обеспечить возможность подбора требуемого числа градаций (разрядности файлов) в диапазоне от 2 до 256 градаций (1-8 бит). 3) Разработка методов повышения точности формирования комплексных световых полей с помощью современных моделей пространственно-временных модуляторов света с количеством дискретных отсчётов более 10^6. 4) Результаты экспериментальной апробации возможностей метода преобразования (бинаризации) регистрируемых голограмм для оперативного восстановления сцен с использованием микрозеркальных модуляторов света. Число отсчетов голограмм составит до 1920х1080. 5) Результаты экспериментальной реализации оперативного оптического отображения сцен с использованием микрозеркальных модуляторов света при совместном применении разработанных методов, их компрессии и отображения сцен. По результатам проведенных экспериментов будут выявлены достоинства и недостатки различных методов при их использовании в динамическом отображении объёмных сцен (т.е. при записи цифровых голограмм объёмных сцен и их численном и оптическом восстановлении в режиме реального времени), а также передачи по каналам связи. Результаты позволят: 1) получить научно-технический задел для создания оптико-цифровых систем обработки информации с производительностью на уровне 10^12 бит/с. 2) определить возможности и разработать технику формирования волновых фронтов с использованием новейших высокопроизводительных средств пространственной модуляции света. 3) получить новые научные результаты в области формирования изображений, в том числе в цифровых голографических системах. 4) получить технические результаты по применению новейших образцов пространственно-временных модуляторов света в системах пространственно-частотной фильтрации, а также для дифракционного формирования страниц цифровых данных голографической памяти. Значимость ожидаемых результатов состоит в том, что они должны стать теоретической и экспериментальной базой создания высокоскоростных оптико-цифровых систем обработки информации нового поколения. По результатам, полученным в ходе выполнения проекта, сотрудники коллектива предполагают опубликовать не менее 15 печатных работ, из них не менее 9 в изданиях, индексируемых в базах данных «Scopus» или «Сеть науки» (Web of Science), в том числе не менее 4 работ в журналах, входящих в первый-второй квартили по базе данных «Scopus» или «Web of Science».


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2022 году
При реализации проекта в 2022-2023 гг. проводились следующие работы: 1) Анализ методов машинного обучения для синтеза ДОЭ. 2) Анализ и сравнение 12 итеративных и неитеративных скалярных и векторных методов квантования и бинаризации цифровых голограмм. 3) Разработка метода машинного обучения и архитектуры нейронной сети для синтеза ДОЭ. 4) Программная реализация и проведение численных экспериментов по применению метода машинного обучения для синтеза ДОЭ. 5) Разработка адаптивного метода бинаризации цифровых голограмм компандированием. 6) Численное исследование влияния неравномерности пространственного фазового набега на точность формирования комплексных световых полей с помощью компьютерно-синтезированных голограмм, реализованных с применением данного модулятора. 7) Программная реализация и проведение численных экспериментов по квантованию и бинаризации голограмм с числом пикселей до 4096х4096, оценка качества восстановления изображений. 8) Написание публикаций, выступления на конференциях. При проведении указанных работ получены следующие основные результаты: 1) Результаты анализа методов машинного обучения для синтеза ДОЭ. Разработанный метод будет отличаться от существующих наличием двух ветвей в архитектуре нейросети: одна отвечает за амплитудную информацию, вторая за фазовую, что улучшает качество обучения, добавляя дополнительную информацию. 2) Результаты анализа и сравнения 12 итеративных и неитеративных скалярных и векторных методов квантования и бинаризации цифровых голограмм. Получено, что с точки зрения соотношения качества восстановления изображений, времени обработки и значений дифракционной эффективности оптимальными методами являются скалярные неитеративные с использованием компандирования и кластеризации пикселей. 3) Метод машинного обучения для синтеза ДОЭ, выбор элементов архитектуры нейронной сети, особенности метода для ДОЭ большого размера (512х512 отсчетов и более). 4) Программная реализация метода машинного обучения для синтеза ДОЭ с использованием языка программирования Python и библиотеки Tensorflow. При обучении на вход нейронной сети будет требоваться подать изображения объектов, которые она будет преобразовать вначале в различные (например, случайные), а потом за счет обратной связи в рассчитываемый дифракционный оптический. 5) Результаты численных экспериментов по применению метода машинного обучения для синтеза ДОЭ. Получено, что изображения, восстановленные из ДОЭ, синтезированных обученной нейросетью, превосходят по качеству восстановленные для стандартного метода с итеративным синтезом по всем использованным метрикам. 6) Адаптивный метод бинаризации цифровых голограмм компандированием. 7) Результаты численного исследования влияния неравномерности пространственного фазового набега на точность формирования комплексных световых полей с помощью компьютерно-синтезированных голограмм, реализованных с применением данного модулятора. Получено, что наиболее сильное воздействие на изображение при восстановлении компьютерных голограмм оказывает именно неоднородное фазовое искажение, отвечающее коме, вопреки тому, что эта аберрация имеет более высокий порядок, по сравнению с астигматизмом или дефокусом. 8) Программная реализация метода по квантованию и бинаризации голограмм с числом пикселей до 4096х4096, оценка качества восстановления изображений. Установлено, что наиболее высокое качество восстановления достигается при совместном использовании коэффициента сдвига пика гистограммы и интервалов неравной ширины. 9) Проведение численных экспериментов по применению метода квантованию и бинаризации голограмм с числом пикселей до 4096х4096. Получено, что значения метрик качества квантованных голограмм в случае использования разработанного метода по сравнению со стандартными методами скалярного неитеративного квантования выше до 26% в случае квантования на число градаций яркости голограммы менее 8. 10) Публикации 8 работ, 6 докладов на конференции.

 

Публикации

1. Миниханов Т.З., Злоказов Е.Ю., Черемхин П.А., Евтихиев Н.Н., Стариков Р.С. Computer-generated holography methods for data page reconstruction using phase-only medium Applied Sciences, Vol. 13, No. 7, Pp. 4479 (год публикации - 2023) https://doi.org/10.3390/app13074479

2. Свистунов А.С., Рымов Д.А., Стариков Р.С., Черемхин П.А. HoloForkNet: digital hologram reconstruction via multibranch neural network Applied Sciences, - (год публикации - 2023)

3. Кирий С.А., Рымов Д.А., Черёмхин П.А. Восстановление изображений с голограмм 2D-сцен с применением генеративно-состязательной нейросети Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, 2023, c. 645-646 (год публикации - 2023)

4. Миниханов Т.З., Злоказов Е.Ю., Черёмхин П.А. Исследование влияния аберраций оптической системы на процесс формирования изображений компьютерно-синтезированными голограммами Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, 2023, c. 625-626 (год публикации - 2023)

5. Рымов Д.А., Стариков Р.С., Черёмхин П.А. Синтез киноформов трехмерных сцен на основе машинного обучения Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, 2023, c. 232-233 (год публикации - 2023)

6. Савченкова Е.А., Черёмхин П.А. Анализ гистограммы сжатых цифровых голограмм при использовании различных методов квантования Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, 2023, c. 651-652 (год публикации - 2023)

7. Свистунов А.С., Рымов Д.А., Стариков Р.С., Черёмхин П.А. Нейросетевая реконструкция изображений фазовых объектов с цифровых голограмм Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, 2023, c. 647-648 (год публикации - 2023)

8. Фазлиев Т.Ш., Стариков Р.С. Дифракционные нейронные сети – обзор Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, Сборник трудов XII Международной конференции по фотонике и информационной оптике, Москва, 2023, c. 643-644 (год публикации - 2023)