КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер 22-71-00019

НазваниеЦифровая модель экспериментальной физической среды диагностики наноматериалов на основе синхротронного излучения для тренировки агентов глубокого обучения с подкреплением

РуководительКарташов Олег Олегович, Кандидат технических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Южный федеральный университет", Ростовская обл

Период выполнения при поддержке РНФ

07.2022 - 06.2024

Конкурс№70 - Конкурс 2022 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-217 - Математическое моделирование физических сред

Ключевые словаЦифровая модель физической среды, агенты глубокого обучения с подкреплением, данные рентгеновской абсорбционной спектроскопии, диагностика новых функциональных наноматериалов

Код ГРНТИ28.17.23

СтатусЗакрыт досрочно

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Целью предлагаемого проекта является создание достоверной цифровой модели экспериментальной физической среды диагностики нанокатализаторов с применением синхротронного излучения. В соответствии с поставленной целью планируется решить ряд теоретических и практических задач, в числе которых: 1. Формализация методов декомпозиции инструментальных исследований по диагностике наноматериалов на составные части с выделением конечного числа процессов в системе эксперимента. Разработка численных, проекционно-сеточных и иных вычислительных методов и определений для характеризации каждого выделяемого процесса. Определение степени взаимного влияния составляющих системы эксперимента друг на друга и установление между ними устойчивых связей; 2. Разработка нового подхода к проектированию обучающей среды для агентов искусственного интеллекта, основанного на декомпозиции реального физического эксперимента на ряд взаимосвязанных процессов, в том числе слабоформализованных и не имеющих четких аналитических или иных определений, кроме экспериментальных, и представленных в виде сети полносвязных программных модулей, отдельные блоки которой будут представлены компьютерными моделями, искусственными нейронными сетями, моделями машинного и глубокого обучения, а также классическими алгоритмами, реализующими полную цифровую копию процессов диагностики нанокатализаторов с применением рентгеновской абсорбционной спектроскопии на основе синхротронного излучения; 3. Программная реализация цифровой модели экспериментальной среды исследования катализаторов на основе наночастиц палладия с использованием мультипарадигмального языка программирования Python в качестве основного инструмента разработки. Подготовка подробной руководящей и сопроводительной документации к программному продукту. Размещение полученных результатов в публичном репозитории GitHub. В качестве маркеров правильных реакций среды и ее отдельных модулей, а также для корректировки внутренней системы эксперимента будут использованы наборы депонированных данных рентгеновской абсорбционной спектроскопии по диагностике нанокатализаторов палладия, полученные в ходе проведения исследования результаты которого опубликованы в работе 2 из пункта 2.9 настоящей заявки (Перечень публикаций руководителя проекта, опубликованных в период с 1 января 2017 года до даты подачи заявки, подтверждающий выполнение условия пункта 9 конкурсной документации). Актуальность решения обозначенной научной проблемы обусловлена необходимостью снижения временных и ресурсных затрат на достижение целевых значений качественных и количественных показателей нанокатализаторов с дальнейшим обеспечением их эффективного использования в технологическом развитии промышленного сектора экономики страны. Например, получится автоматизировать процесс максимизации получаемого вещества при проведении химической реакции в промышленных масштабах и т.д. Также среди предполагаемых результатов выполнения проекта можно выделить полученный научный опыт от проектирования и разработки сред для тренировки агентов глубокого обучения с подкреплением и развития методов искусственного интеллекта при реализации отдельных модулей системы эксперимента, который может быть экстраполирован на цифровизацию других предметных областей исследований. Научная новизна предлагаемого проекта заключается в создании компьютерной модели физической среды являющейся адекватной цифровой копией системы реального эксперимента по инструментальной диагностике катализаторов на основе наночастиц палладия, способной выступать в качестве окружения для тренировки агентов глубокого обучения с подкреплением. Кроме того, в процессе реализации проекта планируется решить ряд сопутствующих проблем, обладающих элементами научной новизны, в частности: 1. Представление и декомпозиция экспериментальной системы для выделения описательных структур физических, химических, технических и процедурных основ серий синхротронных исследований нанокатализаторов палладия с позиции комплексного подхода к определению пространства состояний и переходов реальной среды; 2. Разработка и оптимизация вычислительных алгоритмов, развитие численных, проекционно-сеточных методов и методов искусственного интеллекта для практической реализации программных модулей отдельных структур системы эксперимента и установления между ними аналитических зависимостей, позволяющих реконструировать физическую среду в цифровом пространстве; 3. Разработка автоматизированных методов оценки достоверности и совершенствования цифровой модели экспериментальной физической среды на основе дата-центричного подхода.

Ожидаемые результаты
При реализации предлагаемого проекта планируется достичь следующих основных научных и практических результатов: 1. Развитие численных методов и методов искусственного интеллекта в областях анализа, управления, поддержки принятия решений и прогнозирования процессов проведения инструментальных исследований наноматериалов; 2. Разработка методов оптимизации входных параметров проведения серий экспериментов по диагностике нанокатализаторов на основе синхротронных исследований материалов, нацеленных на получение требуемых качественных и количественных показателей проводимой реакции; 3. Разработка алгоритмов, описаний и определений вычислительных процедур, реализующих пространство состояний и переходов внутри модулей системы эксперимента; 4. Разработка автоматизированных методов оценки достоверности и совершенствования цифровой модели экспериментальной физической среды на основе дата-центричного подхода; 5. Формирование подхода к построению цифровой модели экспериментальной физической среды для решения задач обучения агентов искусственного интеллекта; 6. Программная реализация цифровой модели экспериментальной физической среды диагностики нанокатализаторов на основе наночастиц палладия для тренировки агентов глубокого обучения с подкреплением. Практическое использование предполагаемых результатов даст положительный экономический эффект в отраслях химической промышленности, использующих в своих производственно-технологических процессах катализаторы на основе наночастиц палладия. Это в первую очередь связано с ускорением процессов синтеза и диагностики нанокаталитических материалов и снижением ресурсных затрат на проведение трудоемких рутинных экспериментальных исследований, что окажет благоприятное влияние не только на стадии проведения научных исследований в области наук о материалах, но и при внедрении полученных результатов на производстве. Также выполнение предлагаемого проекта может оказать существенное влияние на развитие социальной сферы поддержки научных направлений в области проведения инструментальных исследований на основе синхротронного излучения, являющихся согласно постановлению правительства Российской Федерации №287 от 16 марта 2020 года "Об утверждении Федеральной научно-технической программы развития синхротронных и нейтронных исследований и исследовательской инфраструктуры на 2019 - 2027 годы" приоритетными направлениями. Предлагаемый подход при смене целей и задач среды обучения может быть также применимым для смежных областей исследований. В течение последних нескольких лет в мировом научном сообществе возникает множество работ посвященных вопросам глубокого обучения с подкреплением, как средства для решения проблем в области автоматизации производственных, технологических, социальных и экономических задач, повышению эффективности и быстродействия процессов принятия решений, планирования и прогнозирования в бизнесе и науке. Одной из ключевых составляющих успеха в применении агентов искусственного интеллекта на практике является полная и достоверная цифровая копия среды, позволяющая реализовать процесс обучения с подкреплением, перенося опыт взаимодействия с реальными объектами в виртуальное пространство. Подобная практика особо актуальна в случаях значительных ресурсных и финансовых издержек при реализации процесса обучения интеллектуальных агентов в реальной среде, что также может частично или полностью нарушать технику безопасности и вызывать опасные последствия для людей и дорогостоящего оборудования. Например, в работе [1] исследователи выделяют физиологически правдоподобные нейромеханические модели, позволяющие прогнозировать многие аспекты человеческих движений в задачах глубокого обучения с подкреплением. Исследование [2] посвящено вопросам моделирования среды глубокого обучения с подкреплением в рамках реализации интеллектуального управления сбором, хранением и распределением энергии на базовых электростанциях. Подобные подходы в целом оправданы ведь согласно [3] если полученная цифровая модель достаточно стабильна, наблюдается ее равномерное совершенствование и низкая дисперсия можно говорить о том, что обученные с ее помощью агенты будут действовать оптимально даже в условиях, которые они не наблюдали напрямую. Применение многоагентного подхода к реализации идей глубокого обучения с подкреплением позволяет в значительной мере расширить спектр применимости данной технологии при решении прикладных научных задач, так в работе [4], приведен подробный обзор и оценка моделей, алгоритмов и приложений многоагентного глубокого обучения с подкреплением. Некоторые существующие решения в области сред для обучения агентов искусственного интеллекта совершенствуются для достижения более высоких показателей достоверности и быстродействия на существующем оборудовании вычислительной техники, так согласно блогу Google Research, посвященному вопросам искусственного интеллекта по сообщениям старшего инженера-программиста Дэниела Фримана и штатного инженера-программиста Google Research Эрика Фрея от 15.07.2021г. им удалось создать новый механизм физического моделирования взаимодействия твердых тел, который предназначен как для эффективного запуска тысяч параллельных физических симуляций взаимодействия твердых тел совместно с алгоритмами машинного обучения на одном графическом ускорителе, так и для беспрепятственного масштабирования миллионов симуляций между модулями взаимосвязанных ускорителей. Однако существуют и другие направления исследований посвященных ускорению процесса обучения, например, в [5] предлагается внесение в протокол обучение квантовых каналов коммуникации гибридных агентов со средой. Ранее научными коллективами предпринимались попытки проведения физических экспериментов с применением технологии обучения с подкреплением [6], где авторами выделялись возможности интеллектуальных агентов по формированию долгосрочной стратегии управления экспериментом. В целом на данный момент времени для решения задач в предметных областях физических наук исследователи ориентируются на обучения с учителем и без, так, например, в книге [7] информации об обучении с подкреплением достаточно мало, хотя по тексту она и определена одним из перспективных направлений развития технологии. В работе [8] исследователи выделяют преимущества использования глубокого обучения с подкреплением при решении задач распределения ресурсов в неопределенных системных средах. Метод глубокого обучения с подкреплением хорошо зарекомендовал себя при решении многомерных задач, например в [9] авторы концентрируют внимание на применении латентных моделей изменений реализуя технологию передачи обучения в условиях неопределенности. На сегодняшний день существуют готовые решения для модельно ориентированного обучения интеллектуальных агентов, например компьютерное программное обеспечение MuZero, первая версия которого была разработана компанией DeepMind в 2019 году и посвященного исследованиям искусственного интеллекта, для освоения аркадных игр, без заранее предопределенных для агента правил. Подобные продукты становятся основой при проведении научных исследований, посвященных вопросам обучения с подкреплением, так в [10] c помощью обозначенного решения авторы оценивают роли планирования и обучения интеллектуальных агентов в виртуальном окружении, а также зависимость этих процессов между собой. В этом коротком обзоре собраны исследования затрагивающие задачи создания тренировочных сред и глубокого обучения с подкреплением на основе использования цифровых моделей, а также интерфейсного взаимодействия между агентом искусственного интеллекта и обучающем пространством, что позволяет оценить соответствие предполагаемых результатов проекта мировому уровню исследований. 1. Song, S.; Kidziński, Ł.; Peng, X.B.; Ong, C.; Hicks, J.; Levine, S.; Atkeson, C.G.; Delp, S.L. Deep Reinforcement Learning for Modeling Human Locomotion Control in Neuromechanical Simulation. J NeuroEngineering Rehabil 2021, 18, 126, doi:10.1186/s12984-021-00919-y. 2. Piovesan, N.; Miozzo, M.; Dini, P. Modeling the Environment in Deep Reinforcement Learning: The Case of Energy Harvesting Base Stations. In Proceedings of the ICASSP 2020 - 2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP); IEEE: Barcelona, Spain, May 2020; pp. 8996–9000, doi:10.1109/ICASSP40776.2020.9054646. 3. Andersen, P.-A.; Goodwin, M.; Granmo, O.-C. Towards Model-Based Reinforcement Learning for Industry-Near Environments. In Proceedings of the Artificial Intelligence XXXVI; Bramer, M., Petridis, M., Eds.; Springer International Publishing: Cham, 2019; pp. 36–49., doi:10.1007/978-3-030-34885-4_3 4. Ibrahim, A.M.; Yau, K.-L.A.; Chong, Y.-W.; Wu, C. Applications of Multi-Agent Deep Reinforcement Learning: Models and Algorithms. Applied Sciences 2021, 11, 10870, doi:10.3390/app112210870. 5. Saggio, V.; Asenbeck, B.E.; Hamann, A.; Strömberg, T.; Schiansky, P.; Dunjko, V.; Friis, N.; Harris, N.C.; Hochberg, M.; Englund, D.; et al. Experimental Quantum Speed-up in Reinforcement Learning Agents. Nature 2021, 591, 229–233, doi:10.1038/s41586-021-03242-7. 6. Denil, M.; Agrawal, P.; Kulkarni, T.D.; Erez, T.; Battaglia, P.; de Freitas, N. Learning to Perform Physics Experiments via Deep Reinforcement Learning. arXiv:1611.01843 [physics, stat] 2017. 7. Erdmann, M.; Glombitza, J.; Kasieczka, G.; Klemradt, U. Deep Learning for Physics Research; WORLD SCIENTIFIC, 2021; ISBN 9789811237454, doi:10.1142/12294 8. Gandhi, N.; Mishra, S. MODELLING RESOURCE ALLOCATION IN UNCERTAIN SYSTEM ENVIRONMENT THROUGH DEEP REINFORCEMENT LEARNING. 8. 9. Plaat, A.; Kosters, W.; Preuss, M. Deep Model-Based Reinforcement Learning for High-Dimensional Problems, a Survey. arXiv:2008.05598 [cs] 2020. 10. Hamrick, J.B.; Friesen, A.L.; Behbahani, F.; Guez, A.; Viola, F.; Witherspoon, S.; Anthony, T.; Buesing, L.; Velicˇkovic, P.; Weber, T. ON THE ROLE OF PLANNING IN MODEL-BASED DEEP REINFORCEMENT LEARNING. 2021, 37.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2022 году
Ключевой целью данного этапа реализации предлагаемого проекта являлась разработка физически достоверного графового представления цифровой модели экспериментальной среды диагностики нанокатализаторов на основе синхротронного излучения. Данное решение является методологической основой, формализующей сложную многомасштабную физико-химическую среду в терминах конечного количества классов, описывающих математическую структуру процессов эксперимента и взаимосвязанных типов объектов, а также отражающих основные инструкции для достоверной программной реализации цифровой модели в основе которой заложены принципы инструментального исследования рентгеновской абсорбционной спектроскопии (XAS) тестируемых образцов новых функциональных наноматериалов. Для достижения указанной цели проекта был решен ряд исследовательских задач и получены следующие результаты. На первом этапе выполнения проекта был проведен анализ доступных математических формализаций диагностического метода наночастиц на базе рентгеновской абсорбционной спектроскопии, который показал, отсутствие точных расчетных методов с допустимой вычислительной сложностью в XAS области тонкой структуры поглощения рентгеновских лучей вблизи края (XANES), связанной в первую очередь с наличием поверхностной энергии, а также квантовыми и наноразмерными эффектами. Однако данную физическую экспериментальную среду можно представить в виде системы с конечным числом состояний относительно входного вектора параметров и состоящей из конечного числа компонентов, заданных неявно и имеющих определенную структуру входных и выходных данных. Базируясь на данном предположении, была произведена функциональная декомпозиция экспериментальной системы диагностики нанокатализаторов, в результате чего были получены обобщенные иерархические представления компонентов системы, с дескрипцией физической и математической сущности каждого модуля в отдельности. На базе этих представлений была реализована метамодель графового представления физической экспериментальной среды, состоящая из графов отдельных компонентов системы. Для анализа и оптимизации данной метамодели были реализованы алгоритмы, включающие объединение узлов графов отдельных компонентов системы с сохранением ориентации ребер и преобразованием функциональной зависимости в вершине, также осуществляющие перебор в ширину для сортировки и слияния со множественным выводом. На основе данных алгоритмов формировались «прогоны» состояний экспериментальной системы для оптимизации структуры метаграфа на основе различных типов каталитических реакций и валидации полученной метамодели на реальных данных профилей спектров XAS. На основании полученного метаграфа была разработана UML-диаграмма компонентов системы, описывающая основные классы и являющаяся по сути инструкцией для программной реализации модели. Также в процессе исследования была разработана «упрощенная» цифровая модель системы, базирующаяся на использовании алгоритмов машинного обучения (две копии алгоритма случайного леса для двух областей спектра XAS), прогнозирующих значения последовательности коэффициента поглощения на разных уровнях излучаемой энергии. Данная модель показала слишком высокую величину среднеквадратичной ошибки предсказания. Основными вычислительными методами для моделирования отдельных компонентов системы были выбраны моделирование молекулярной динамики, кинетический метод Монте-Карло, методы расчета самосогласованного поля и расчеты теории функционала плотности. Для наиболее слабоформализованных представлений компонентов системы не имеющих доступных методов расчета с приемлемой вычислительной сложностью использовалось дискриминативное моделирование на примере разработки предиктивных моделей искусственных нейронных сетей. Для формирования обучающих выборок данных для этих моделей предварительно были использованы алгоритмы выделения наиболее информативных признаков в данных. Один из предлагаемых алгоритмов базируется на топологическом анализе данных и заключается в формировании персистентных диаграмм из спектральных профилей XAS с последующим построением персистентного ландшафта. Для извлечения ключевых векторов признаков используется кластерный анализ на основе алгоритма К-средних с использованием метода локтя для определения оптимального количества кластеров. Одной из особенностей обучения предлагаемых архитектур нейронных сетей является разработка авторского алгоритма оптимизации, основывающегося на стохастическом и онлайновом методах градиентного спуска. Такой подход позволил быстрее находить оптимальное решение на базе извлеченных признаков. Однако использование подобных моделей нейросетей в рамках их обобщающих возможностей не позволило достоверно извлекать точные прогнозы высоковариативных спектральных профилей и сформировал подход к решению данной задачи в формате определения вероятностного распределения возможных исходов. Для решения данной задачи была сформирована концепция, заключающаяся в создании глубокой генеративно-состязательной сети с гибридной архитектурой дискриминатора и использования в качестве меток для генерации последовательностей векторы входных параметров и условий эксперимента.

Публикации

1. Карташов О.О., Поляниченко Д.С., Саввас И.К., Белявский Г.И., Бутакова М.А. Artificial Intelligence Approach to Palladium Nanocatalysts Diagnostics Automation Lecture Notes in Networks and Systems, Springer International Publishing AG, Switzerland, - (год публикации - 2023)

2. - «Компьютерные науки когда-нибудь преподнесут большой сюрприз» Ростовский деловой портал «Город N», - (год публикации - )