Методы оценивания неопределенности предсказаний нейросетевых алгоритмов машинного обучения и их применение к задачам планирования эксперимента и оптимизации.

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 20-71-10135

НазваниеМетоды оценивания неопределенности предсказаний нейросетевых алгоритмов машинного обучения и их применение к задачам планирования эксперимента и оптимизации.

Руководитель Зайцев Алексей Алексеевич, Кандидат физико-математических наук

Организация финансирования, регион Автономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий» , г Москва

Конкурс №50 - Конкурс 2020 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые слова Оценивание неопределенности, машинное обучение, нейронные сети, байесовские методы, активное обучение, планирование эксперимента, байесовская оптимизация

Код ГРНТИ28.23.37

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Задачей данного проекта является разработка методов оценивания неопределенности предсказаний нейросетевых алгоритмов машинного обучения и разработка основанных на них процедур планирования эксперимента и байесовской оптимизации. Во многих областях современной науки и техники, в частности в индустриальном проектировании, моделировании химических соединений и материалов, системах управления промышленным производством и экономическими процессами и многих других, требуется построение моделей рассматриваемых систем, которые позволяют делать выводы об их свойствах и прогнозировать их поведение, причем важным является не только создание моделей, но и оценка неопределенности для них и оптимизация этих систем. Стандартным подходом, используемым при построении и изучении таких систем, является проведение натурных экспериментов для получения информации о функционировании систем и моделирование на основе “физики процессов”, в качестве которой в зависимости от конкретной прикладной области могут выступать непосредственно физические законы, а также экономические, биологические, химические или другие законы. В свою очередь в современной предсказательной аналитике используются так называемые метамодели (или суррогатные модели), которые «обучаются» по множеству прототипов входных и выходных данных (результатов натурных и/или вычислительных экспериментов, проведенных с различными объектами рассматриваемого класса) и фактически имитируют (заменяют) как источники получения данных, основанные на некоторой исходной модели, так и сами модели, созданные на основе изучения “физики процессов”. Процесс обучения метамоделей, как правило, строится на основе подходов машинного обучения. На практике построенные модели машинного обучения применяются в одном из нескольких основных сценариев: 1. Прогнозирование. Предсказание значений выходных параметров системы для новых конфигураций входных параметров, не входящих в обучающую выборку. 2. Детектирование аномалий. Определение аномального поведения системы, т.е. детектирование ситуаций, когда система начинает себя вести существенно отличным образом от стандартного поведения. 3. Оптимизация. Нахождение конфигурации входных параметров, при которых определенные характеристики системы принимают оптимальные значения. 4. Планирование эксперимента. Определение наборов входных параметров, измерение характеристик системы в которых может привести к дальнейшему улучшению модели системы. Во всех описанных выше задачах высокую роль играет возможность оценки неопределенности предсказаний модели. Для задачи прогнозирования оценка неопределенности необходима для детектирования тех точек, в которых предсказание модели ненадежно. В задаче детектирования аномалий оценка неопределенности необходима, чтобы различать между собой отклонения, связанные с высокой дисперсией предсказания, и аномальные отклонения среднего значения прогноза. В задаче оптимизации функций, вычисление которых дорого, оценка неопределенности позволяет балансировать между поиском оптимума в окрестности наилучшей известной точки и более широким исследованием пространства. Наконец, в задаче планирования эксперимента точки с высокой неопределенностью прогноза являются хорошими кандидатами на добавление в обучающую выборку. Отметим, что далеко не все модели машинного обучения обладают встроенными возможностями для оценки неопределенности их прогноза. Наиболее популярной моделью со “встроенной” оценкой неопределенности является модель регрессии на основе гауссовских процессов, в которой в качестве оценки неопределенности выступает апостериорная дисперсия гауссовского процесса. В настоящее время существует большое количество процедур оптимизации, адаптивного планирования эксперимента, определения аномалий и других, основанных на данной модели. Однако, существенным недостатком данной модели является ее высокая вычислительная сложность, что ограничивает ее применимость к задачам с большими объемами данных. Также данная модель изначально ограничена необходимостью задать параметрическое семейство ковариационных функций, выбор которого на практике затруднен необходимостью явного учета особенностей решаемой задачи. Предсказательные модели на основе современных нейронных сетей обладают значительно меньшей вычислительной сложностью на этапе обучения, а также позволяют относительно легко инкорпорировать в модель различные особенности решаемой задачи (например, трансляционную инвариантность в задаче распознавания изображений). Однако, методы оценки неопределенности для нейронных сетей начали активно разрабатываться только в последние годы и пока находятся на относительно раннем этапе развития, не давая во многих прикладных задачах достаточно точных оценок неопределенности предсказания. В данном проекте мы планируем разработать методологию оценки неопределенности для нейронных сетей и применить ее к разработке конкретных алгоритмов оптимизации и адаптивного планирования эксперимента, которые в свою очередь будут использованы для решения ряда важных прикладных задач. Отметим, что область применения данных методов не ограничивается задачами для систем, описанных выше, а естественным образом включает в себя другие области применения нейронных сетей, в частности обработку естественного языка и компьютерное зрение. Данный проект сфокусирован на решении следующих ключевых задачах: 1. Построение моделей на основе нейронных сетей, позволяющих вычислять оценку неопределенности прогноза. Ключевым методом при построении таких сетей будет байесовский подход к построению моделей. 2. Построение алгоритмов планирования эксперимента и активного обучения для моделей нейронных сетей на основе оценок неопределенности, построенных на предыдущем этапе. 3. Построение эффективных процедур оптимизации на основе байесовских нейронных сетей. 4. Применение полученных алгоритмов к решению задач обработки естественного языка, компьютерного зрения и задачам индустриального проектирования. Все описанные выше задачи обладают высокой степенью научной новизны и являются актуальными для современной практики машинного обучения и его приложений.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Фурсов И., Зайцев А., Ключников Н., Кравченко А., Бурнаев Е. Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world Lecture Notes in Computer Science, Springer, vol. 12602, pp. 356-368 (год публикации - 2021)
10.1007/978-3-030-72610-2_27

2. Шелманов А., Пузырев Д., Куприянова Л., Беляков Д., Ларионов Д., Хромов Н., Козлова О., Артемова Е., Дылов Д., Панченко А. Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (год публикации - 2021)

3. Шелманов А., Цымбалов Е., Пузырев Д., Федянин К., Панченко А. и Панов М. How Certain is Your Transformer? Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (год публикации - 2021)

4. Фин А., Котелевский Н., Дусе А., Дюрмус А., Мулин Э., Панов М. Monte Carlo Variational Auto-Encoders International Conference on Machine Learning (год публикации - 2021)

5. Фишков А., Панов М. Scalable computation of prediction intervals for neural networks via matrix sketching Proceedings of the 10th International Conference on Analysis of Images, Social Networks and Texts (Lecture Notes in Computer Science) (год публикации - 2021)

6. Новиков Г., Панов М., Оселедец И. Tensor-Train Density Estimation Proceedings of the 37th Conference on Uncertainty in Artificial Intelligence, Proceedings of Machine Learning Research, vol. 161, pp. 1321-1331 (год публикации - 2021)

7. Новиков Г., Панов М., Оселедец И. Dataset Reduction via Bias-Variance Minimization Proceedings of 2021 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), pp. 143-146 (год публикации - 2021)
10.1109/DCNA53427.2021.9587025

8. Кириллов Б., Савицкая Е., Панов М., Огурцов А., Шабалина С., Кунин Е., Северинов К. Uncertainty-aware and interpretable evaluation of Cas9–gRNA and Cas12a–gRNA specificity for fully matched and partially mismatched targets with Deep Kernel Learning Nucleic Acids Research, Volume 50, Issue 2, 25 January 2022, Page e11 (год публикации - 2022)
10.1093/nar/gkab1065

9. Кумбахар С., Пересецкий А., Щетинин Е. Зайцев А. Technical efficiency and inefficiency: Reliability of standard SFA models and a misspecification problem Econometrics and Statistics, У этого журнала нет томов, выпусков и страниц - только год (год публикации - 2021)
10.1016/j.ecosta.2021.12.006

10. Нестеров А., Ибрагимов Б., Умеренков Д., Шелманов А., Зубкова Г., Кох В. NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model with Logic Regularization 20th International Conference on Artificial Intelligence in Medicine (AIME), 2022 (год публикации - 2022)

11. Романенкова Е.Д., Степикин А.Л., Морозов М.А., Зайцев А.А. InDiD: Instant Disorder Detection via a Principled Neural Network Proceedings of the 30th ACM International Conference on Multimedia (MM ’22), October 10–14, 2022, Lisboa, Portugal. ACM, New York, NY, USA,, Proceedings of the 30th ACM International Conference on Multimedia (MM ’22), Pages 3152–3162, October 10–14, 2022, Lisboa, Portugal. ACM, New York, NY, USA, 11 pages. https://doi.org/10.1145/3503161.3548182 (год публикации - 2022)
10.1145/3503161.3548182

12. Котелевский Н., Артеменков А., Федядин К., Носков Ф., Фишков А., Шельманов А., Вязенцев А., Петюшко А., Панов М. Nonparametric Uncertainty Quantification for Single Deterministic Neural Network Advances in Neural Information Processing Systems 35 (год публикации - 2022)

13. Цвигун А., Саночкин Л., Ларинов Д., Кузьмин Г., Вашенцев А., Лазичный И., Хромов Н., Киреев Д., Рубашевский А., Шахматова О., Дылов Д., Галицкий И., Шелманов А. ALToolbox: A Set of Tools for Active Learning Annotation of Natural Language Texts EMNLP (год публикации - 2022)

14. Рубашевский А., Котова Д., Панов М. Scalable Batch Acquisition for Deep Bayesian Active Learning Proceedings of the 2023 SIAM International Conference on Data Mining, Proceedings of the 2023 SIAM International Conference on Data Mining, pages 739 - 747 (год публикации - 2023)
10.1137/1.9781611977653.ch83

15. Котелевский Н., Воно М., Дюрмус А., Мулин Э. FedPop: A Bayesian Approach for Personalised Federated Learning Advances in Neural Information Processing Systems 35 (NeurIPS 2022), Advances in Neural Information Processing Systems 35 (2022): 8687-8701 (год публикации - 2022)

Публикации