Нейробайесовские методы в задачах машинного обучения, масштабируемой оптимизации и компьютерного зрения

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 17-71-20072

НазваниеНейробайесовские методы в задачах машинного обучения, масштабируемой оптимизации и компьютерного зрения

Руководитель Ветров Дмитрий Петрович, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное автономное образовательное учреждение высшего образования "Национальный исследовательский университет "Высшая школа экономики" , г Москва

Конкурс №24 - Конкурс 2017 года по мероприятию «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые слова глубинное обучение, байесовские методы, большие данные, стохастическая оптимизация, генеративные модели, машинное обучение

Код ГРНТИ28.23.37

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Проект направлен на разработку методов машинного обучения, сочетающих две наиболее успешные на сегодняшний день парадигмы – вероятностное (Байесовское) моделирование и глубинное (глубокое) обучение. В рамках первого направления удалось существеннно расширить круг задач, решающийся с помощью методов машинного обучения. В частности, на вероятностных принципах работают наиболее успешные алгоритмы сегментации изображений, коллаборативной фильтрации, тематического моделирования, и пр. К достоинствам Байесовского подхода при построении моделей обработки данных относятся: (1) возможность построения сложных моделей из простых, благодаря использованию результата Байесовского вывода (апостериорного распределения на скрытые переменные) в одной модели, в качестве априорного распределения в другой модели и т.д.; (2) возможность обрабатывать данные «на лету», обновляя апостериорные распределения без сохранения самих данных, поступающих в потоковом режиме; (3) возможность работать с неполными и зашумленными разметками обучающей выборки. К недостаткам Байесовского подхода можно отнести необходимость, за редким исключением т.н. сопряженных распределений, проводить вычислительно трудоемкий и не слишком точный приближенный Байесовский вывод. В рамках второго направления удалось добиться настоящей революции в области машинного обучения в течение последних 5 лет. Глубинные нейронные сети оказались превосходным инструментом для решения стандартных задач машинного обучения по большим объемам данных. В настоящее время в мире активно ведутся исследования по их адаптации под более сложные задачи обучения, например, построения генеративных моделей. В работах 2013-15гг впервые появляются работы, в которых делается попытка объединить два этих подхода и использовать нейронные сети для выполнения приближенного Байесовского вывода в сложных моделях обработки данных. Основной идеей является переход к т.н. вариационной нижней оценке (evidence lower bound) и ее оптимизация по весам нейронной сети. Первые результаты показывают, что такая технология существенно точнее существующих аналогов и гораздо лучше описывает распределение данных, что, потенциально, позволяет использовать такие нейронные сети для генерации объектов, создание которых традиционно считалось атрибутом высшей нервной деятельности (например, рисование картин, подделка почерка, сочинение текста, описывающего картину, перевод с одного языка на другой и др.). В настоящее время конвергенция нейросетевого и Байесовского подходов стала одним из трендов развития современных методов машинного обучения. Актуальность этого направления подтверждается шквалом работ в 2015-17гг и все более интересными результатами, полученными на стыке этих направлений (механизм внимания, вариационные автокодировщики, вариационный дропаут, нормализационные потоки и др.). Целью настоящего проекта является дальнейшая разработка математического аппарата и алгоритмических средств для комбинированного нейро-байесовского подхода к машинному обучению, который бы позволил проводить настройку параметров и вероятностный вывод более эффективно и, соответственно, расширил бы область применимости этого подхода. В ходе проекта предполагается существенно использовать уникальный задел, созданный в научной группе сразу в нескольких областях: Байесовском моделировании, глубинном обучении, стохастической оптимизации. Значительная часть исследований будет опираться на результаты 2015-17гг, полученные в мире. В рамках развития математического аппарата предполагается разработка новых математических моделей, позволяющих более экономно расходовать ресурсы компьютера при использовании нейронных сетей. Это крайне актуальное направление связано с трудностями, которые возникают при попытке перенести современные нейросетевые архитектуры на мобильные устройства, а также при необходимости вести обработку данных, поступающих в режиме реального времени. Основными ограничительными факторами являются требования по памяти, требования по скорости обучения и требования по скорости обработки новых объектов. Первую проблему предполагается решить на основе технологии вариационного дропаута, представляющей собой особый вид байесовской регуляризации нейронной сети. В процессе вариационного вывода апостериорное распределение большинства весов нейросети (до 99.9%) вырождается в дельта-функцию в нуле, что эквивалентно исключению таких весов из модели. При этом точность работы сети на валидации не снижается. Фактически, разработанная в 2017г участниками проекта технология обеспечивает устранение избыточности современных нейросетевых архитектур. Это открывает широкие возможности для их более компактного представления, требующего в десятки раз меньше памяти. Для решения второй проблемы предполагается использовать специальным образом обученную отдельную нейросеть, которая способна подобрать параметры для обучения базовой нейронной сети, путем учета специфики возникающего функционала качества. В случае успеха, такой подход может стать доминирующим в глубинном обучении, т.к. даже наиболее продвинутые методы стохастической оптимизации, разработанные в 2015-16гг и используемые для обучения нейронных сетей в настоящее время, очень мало учитывают специфику конкретной задачи и конкретной настраиваемой под нее нейросетевой архитектуры. Результаты, полученные как в научной группе, так и зарубежными коллегами в течение последних 6 месяцев, позволяют сделать вывод о принципиальной возможности такого подхода. Третью задачу, являющуюся в краткосрочной перспективе наиболее востребованной в индустрии, планируется решить разработкой технологии группового вариационного дропаута, обеспечивающего удаление не отдельных весов, а нейронов и отдельных фильтров в сверточных слоях сверточных нейросетей; а также технологии пространственно-адаптивного времени вычислений, которую предполагается сформулировать в виде задачи байесовского вывода в модели с дискретными латентными переменными. Помимо этого, в ходе проекта планируется разработать новые, альтернативные классическим вариационным (то есть, использующие отличные от evidence lower bound (ELBO) нижние оценки), модели приближенного байесовского вывода, версию вариационного дропаута для рекуррентных сетей, байесовскую модель для адаптации уже обученной нейронной сети на новые данные и новые задачи, масштабируемую модель гауссовских процессов в задачах машинного обучения. Разработанные в ходе проекта технологии предполаагется применить для улучшения качества нескольких генеративных нейросетевых моделей, а также для генерирования синтетических объектов, призванных расширить объем обучающей выборки в задачах компьютерного зрения.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Лобачева Е.М., Чиркова Н.А., Ветров Д.П. Bayesian Sparsification of Recurrent Neural Networks Workshop on Learning to Generate Natural Language. 1. International Conference on Machine Learning (год публикации - 2017)

2. Измайлов П.А., Новиков А.В., Кропотов Д.А. Scalable Gaussian Processes with Billions of Inducing Inputs via Tensor Train Decomposition Proceedings of Machine Learning Research, Volume 84: International Conference on Artificial Intelligence and Statistics, 2018, pp. 726 - 735 (год публикации - 2018)

3. Молчанов Д.А., Ашуха А.П., Ветров Д.П. Variational Dropout Sparsifies Deep Neural Networks Proceedings of Machine Learning Research, Volume 70: Proceedings of the 34th International Conference on Machine Learning, 2017, pp. 2498-2507 (год публикации - 2017)

4. Бартунов С.О., Ветров Д.П. Few-shot Generative Modelling with Generative Matching Networks Proceedings of Machine Learning Research, Volume 84: International Conference on Artificial Intelligence and Statistics, 2018, pp. 670-678 (год публикации - 2018)

5. Кузминых Д., Полыковский Д., Кадурин А., Жебрак А., Басков И., Николенко С., Шаяхметов Р., Жаворонков А. 3D Molecular Representations Based on the Wave Transform for Convolutional Neural Networks Molecular Pharmaceutics (год публикации - 2018)
10.1021/acs.molpharmaceut.7b01134

6. Гадецкий А.В., Якубовский И.А., Ветров Д.П. Conditional Generators of Words Definitions 56th Annual Meeting of the Association for Computational Linguistics (год публикации - 2018)

7. Шахуро В.И., Конушин А.С. Синтез обучающих выборок для классификации дорожных знаков с помощью нейросетей Компьютерная оптика, Т. 42, № 1. – С. 105-112 (год публикации - 2018)
10.18287/2412-6179-2018-42-1-105-112

8. Новиков А.В., Трофимов М.И., Оселедец И.В. Exponential Machines Bulletin of the polish academy of sciences (год публикации - 2018)

9. Никишин Е.С., Измайлов П.А., Ативараткун Б., Подоприхин Д.А., Гарипов Т.И., Швечиков П.Д., Ветров Д.П., Гордон Уилсон А. Improving Stability in Deep Reinforcement Learning with Weight Averaging Workshop on Uncertainty in Deep Learning, Conference on Uncertainty in Artificial Intelligence (год публикации - 2018)

10. Измайлов П.А., Подоприхин Д.А., Гарипов Т.И., Ветров Д.П., Гордон Уилсон А. Averaging Weights Leads to Wider Optima and Better Generalization Proceeding of the Conference on Uncertainty in Artificial Intelligence, 2018, Pp. 876-885 (год публикации - 2018)

11. Фигурнов М.В., Соболев А.А., Ветров Д.П. Probabilistic adaptive computation time Bulletin of the Polish Academy of Sciences:Technical Sciences, Том 66, номер 6, сс. 811-820 (год публикации - 2018)
10.24425/bpas.2018.125928

12. Кемаев Ю.Ю., Полыковский Д.А., Ветров Д.П. ReSet: Learning Recurrent Dynamic Routing in ResNet-like Neural Networks Proceedings of Machine Learning Research, Volume 95: Asian Conference on Machine Learning, 2018, pp. 422-437 (год публикации - 2018)

13. Полыковский Д.А., Соловьев Д., Николенко С.И. Concorde: Morphological Agreement in Conversational Models Proceedings of Machine Learning Research, Volume 95: Asian Conference on Machine Learning, 2018, pp. 407-421 (год публикации - 2018)

14. Соболев А.А., Ветров Д.П. Importance Weighted Hierarchical Variational Inference Advances in Neural Information Processing Systems 32, pp. 601-613 (год публикации - 2019)

15. Кузнецов М.Д., Полыковский Д.А.,Ветров Д.П., Жебрак А. A Prior of a Googol Gaussians: a Tensor Ring Induced Prior for Generative Models Advances in Neural Information Processing Systems 32, pp. 4104-4114 (год публикации - 2019)

16. Аланов А., Кочуров М., Волконский Д., Яшков Д., Бурнаев Е., Ветров Д. User-controllable Multi-texture Synthesis with Generative Adversarial Networks Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - Volume 4: VISAPP, 214-221, 2020, Valletta, Malta, Proceedings of the 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications, Volume 4, pages 214-221 (год публикации - 2020)
10.5220/0008924502140221

17. Полыковский Д.А,, Ветров Д.П. Deterministic Decoding for Discrete Data in Variational Autoencoders AISTATS-2020, Proceedings (год публикации - 2020)

18. Молчанов Д.А., Харитонов В.Д.,Соболев А.А., Ветров Д.П. Doubly Semi-Implicit Variational Inference Proceedings of Machine Learning Research, Volume 89: The 22nd International Conference on Artificial Intelligence and Statistics (AISTATS 2019), Proceedings of Machine Learning Research, Volume 89: The 22nd International Conference on Artificial Intelligence and Statistics (AISTATS 2019). PMLR, 2019. P. 2593-2602. (год публикации - 2019)

19. Фаизов Б.В, Шахуро В.И., Санжаров В.В., Конушин А.С. Классификация редких дорожных знаков Компьютерная оптика, Т. 44, № 2, С. 236-243 (год публикации - 2020)
10.18287/2412-6179-CO-601

20. Оганесян В.В, Волохова А.К., Ветров Д.П, Stochasticity in Neural ODEs: An Empirical Study ICLR 2020 Workshop on Integration of Deep Neural Models and Differential Equations (год публикации - 2020)

21. Неклюдов К. О., Молчанов Д. А., Ашуха А. П., Ветров Д. П. Structured Bayesian Pruning via Log-Normal Multiplicative Noise Advances in Neural Information Processing Systems 30, 2017, pp. 6778-6787 (год публикации - 2017)

Публикации

8. Новиков А.В., Трофимов М.И., Оселедец И.В. Exponential Machines Bulletin of the polish academy of sciences (год публикации - 2018)

17. Полыковский Д.А,, Ветров Д.П. Deterministic Decoding for Discrete Data in Variational Autoencoders AISTATS-2020, Proceedings (год публикации - 2020)

Публикации

8. Новиков А.В., Трофимов М.И., Оселедец И.В. Exponential Machines Bulletin of the polish academy of sciences (год публикации - 2018)

17. Полыковский Д.А,, Ветров Д.П. Deterministic Decoding for Discrete Data in Variational Autoencoders AISTATS-2020, Proceedings (год публикации - 2020)