Аннотация результатов, полученных в 2020 году
A. Байесовские методы обучения нейронных сетей и оценивание неопределенности A.1. Были проведены исследования по построению моделей вариационных автокодировщиков на основе совмещения вариационного вывода и MCMC. Результатами исследования в области объединения MCMC методов и вариационного вывода стали два алгоритма -- L-MCVAE (основанный на Sequential Importance Sampling) и A-MCVAE (основанный на Annealed Importance Sampling). Проведенные эксперименты на датасетах с изображениями различной сложности показали устойчивые результаты -- с увеличением числа промежуточных распределений, нижняя оценка на логарифм правдоподобия становится лучше, увеличивая качество генерируемых данных. Результатом данного исследования является статья “Monte Carlo Variational Auto-Encoders”, принятая к публикации на конференции ICML 2021 (индексируется в Scopus). A.2.1. Были проведены исследования по сравнению вариационного вывод для всех слоев нейронной сети (FB) и вариационного вывода для последнего слоя нейронной сети.Результатами исследования в области сравнения FB и LLB стали наблюдения, подкрепленные экспериментами, которые показывают, что LLB не способен детектировать неопределенность ни одного из двух типов (aleatoric и epistemic), в то время как FB способен. Однако в случае последнего принципиальным оказывается выбор функции активации, а также стандартного отклонения априорного распределения.В целом было показано, что байесовские нейронные сети крайне чувствительны к целому ряду гиперпараметров, таких как архитектура модели, функция активация, априорное распределение и способ инициализации параметров. Исследования оптимального выбора данных гиперпараметров выглядят ключевыми для построения процедур построения байесовских нейронных сетей высокого качества. А.2.2. Был разработан алгоритм выбора параметров априорного гауссовского распределения для параметров последнего слоя байесовских нейронных сетей. Алгоритм основан на алгоритме RVM для байевской регрессии. Результирующая процедура была дополнена выбором параметра температуры априорного распределения по алгоритму SafeBayes. Результатом применения разработанного подхода для выбора априорного распределения стало заметное повышение качества байесовской нейронной сети на целом ряде задач, таких как классификация изображений (MNIST/CIFAR) и стандартные регрессионные задачи. A.3. Разработана программная система для экспериментальных исследований методов оценки неопределенности в задачах регрессии и классификации. Проведены экспериментальные исследования различных оценок неопределенности в задачах классификации изображений и различных регрессионных задачах. А.4 Результатами исследования в области статистических методов построения доверительных интервалов для нейронных сетей стал новый алгоритм (основанных на быстром малоранговом приближении матриц). В результате экспериментов на регрессионных датасетах из набора UCI, метод показал сопоставимые результаты с существующими методами а также позволил работать с большими датасетами и числом параметров модели, что было недоступно для некоторых существующих методов. По результатам исследования готовится статья. B. Планирование эксперимента и активное обучение B.1.1. Был разработан новый критерий построения оптимального плана эксперимента для нелинейных моделей регрессии и классификации. Для разработанного метода на основе построенного математического обоснования были доказаны теоремы об асимптотическом поведении. Были произведены численные эксперименты на модельных данных, а также на популярном датасете картинок с рукописными цифрами (MNIST), которые показали перспективность данного подхода. B.1.2. Был разработан новый алгоритм поиска плана эксперимента, близкого к D-оптимальному, для моделей с многомерным выходом. Результаты были апробированы на задачах в прикладных исследованиях химических процессов, где дизайн эксперимента для определенных моделей привлекает всё большее внимание. Была показана точность и скорость работы модифицированного алгоритма. Другое направления работы было связано с применением метода D-optimality к выбору точек из континуального набора. В этом случае показано, что разработанный метод получает точки, сопоставимые по точности аппроксимации с точками Феке и точками Лебега. По результатам работы была подготовлена публикация Gradient Descent-based D-optimal Design for the Least-Squares Polynomial Approximation, которая в настоящий момент проходит рецензирование в журнале Computer Methods in Applied Mechanics and Engineering. B.2. Проведен аналитический обзор методов активного обучения и нейросетевых архитектур, применяемых в задачах извлечения информации из текстов. Данный обзор был использован при написании публикаций (см. ниже). B.3. Разработана программная система для экспериментальных исследований методов активного обучения. Проведены экспериментальные исследования различных оценок неопределенности в активном обучении на задачах извлечения информации из текстов, выявлены наиболее перспективные методы. B.4. Проведены ретроспективные эксперименты стратегий активного обучения с разными методами оценки неопределенности и нейросетевыми моделями. Показано, что разметка с помощью активного обучения позволяет добиваться значительных улучшений качества по сравнению с разметкой случайно выбранных примеров для всех моделей и для всех корпусов. B.5.1. Предложен новый метод для ускорения проведения итерации активного обучения за счет использования дистиллированных моделей. Эффективность дистиллированных моделей в активном обучении может объясняться сходством оценок неопределенности для дистиллированной модели и исходной модели. Результаты опубликованы в статье “Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates” (https://www.aclweb.org/anthology/2021.eacl-main.145/) на конференции EACL-2021 (CORE рейтинг A, индексируется в Scopus). B.5.2. Предложен новый вычислительно эффективный метод для оценки неопределенности нейронных сетей на основе архитектуры трансформер. Проведены экспериментальные исследования метода и показана его эффективность на задачах анализа текстов. По результатам исследований опубликована статья “How Certain is Your Transformer?” (https://www.aclweb.org/anthology/2021.eacl-main.157/) на конференции EACL-2021 (CORE рейтинг A, индексируется в Scopus). C. Байесовская оптимизация С1. Результатом исследований стал алгоритм адверсальных атак и защит от них для моделей обработки последовательных данных. Разработанные подходы показали эффективность своей работы на широком наборе задач, связанных с обработкой текста, данных банковских транзакций и медицинского страхования. Были выработаны критерии качества для оценки робастности таких моделей машинного обучения, выбран набор гиперпараметров, сильнее всего влияющих на качество и робастность работы модели. Показано, что оптимизация гиперпараметров моделей обработки последовательных данных и моделей для атаки на такие модели может быть эффективно проведена существующими методами из открытых библиотек с достаточно высоким качеством. Опубликована статья “Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world” (https://link.springer.com/chapter/10.1007/978-3-030-72610-2_27) в трудах конференции Анализ Изображений, Сетей и Текстов (индексируется в Scopus), которая была удостоена приза, как лучшая исследовательская работа на конференции. С2. Другим результатом работы по проекту стало исследование возможности создания ансамблей из моделей глубоких нейронных сетей. Было показано, что современные результаты в этой области воспроизводятся на широком наборе данных и архитектур нейронных сетей. Прирост качества является небольшим, но статистически значимым. Мы показали, что прирост наблюдается в том числе и для нейронных сетей небольшой размера. Однако, существует переход в качественном поведении нейронных сетей при увеличении их сложности. Для полносвязных нейронных сетей с небольшим количеством нейронов и слоев локальные минимумы функции потерь являются изолированными, в то время как для глубоких нейронных сетей с большим числом слоев, в том числе сверточных, локальные минимумы функции потерь соединены просто устроенными траекториями, вдоль которых функция потерь остается низкой. Таким образом, для нейронный сетей малого размера подходы на основе семплирования для более эффективного создания ансамблей менее эффективны. В таком случае естественным подходом для создания ансамблей будет запуск обучения для разных инициализация вектора параметров нейронной сети. Это отличие позволит далее создать процедуры Байесовской оптимизации для эффективного создания ансамблей нейронных сетей разной сложности. Также в рамках проведенных работ, однако, было показано, что использование методов на основе бустинга для ансамблирования глубоких нейронных сетей не является эффективной стратегией, позволяющей повысить качество общей модели.

Аннотация результатов, полученных в 2021 году
A. Байесовские методы обучения нейронных сетей и оценивание неопределенности A.1.1 Были проведены исследования для постороения алгоритма оценки неопределенности, применимого к любой предобученной нейронной сети. Полученный алгоритм применим как к современным глубоким свёртночным нейронным сетям, так и к большим наборам данных (таких, как ImageNet). Предложенный подход представляет из себя метод пост-обработки, поэтому не требует внесения никаких изменений в тренировочный процесс. Однако, стоит отметить, что для моделей типа ResNet, использующих при тренировке спектральную нормализацию, достигается наилучший результат. Метод описан в препринте [1] и был представлен на воркшопе [2]. Дополненная версия статьи подана на конференцию ICML 2022. [1] Kotelevskii, N. et al. (2022). NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks. arXiv:2202.03101. [2] Kotelevskii, N. et al. NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks. In ICML 2021 Workshop on Distribution-Free Uncertainty Quantification. A.1.2. Другим важным результатом работы над оценкой неопределенности в моделях машинного обучения и математической статистики стал анализ влияния неопределенности на значения целевой переменной, а именно технической эффективности предприятий. Результатом исследования стало построение теоретической оценки негативного влияния неопределенности на эффективность предприятий. Результаты были опубликованы: Kumbhakar, S. et al. (2021). “Technical efficiency and inefficiency: Reliability of standard SFA models and a misspecification problem.” Econometrics and Statistics (Q2 Scopus). A.2. Было проведено исследование, в котором изучался выбор априорного распределения в задаче персонализированного федеративного обучения. Среди исследуемых подходов рассматривались: 1) одномодальное распределение Гаусса в приближении среднего поля, 2) смесь таких Гауссиан и 3) энергетическая модель (energy-based model). В результате мы получили, что в задачах классификации (на наборах данных CIFAR-10 и CIFAR-100) более сложные априорные распределения (2 и 3) не приносят ощутимых улучшений, зато, напротив, делают процесс обучения более сложным и менее стабильным. По результатам исследования готовится к подаче публикация на конференцию NeurIPS 2022. A.3. Был разработан алгоритм оценки функции плотности распределения, основанный на малоранговых тензорных разложениях. Отличительной особенностью метода является возможность аналитически интегрировать функцию плотности, и как следствие получать маргинальные, кумулятивные распределения, считать математические ожидания аналитически. По результатам работы опубликована статья: на конференции G. Novikov et al. Tensor-train density estimation // Proceedings of UAI, PMLR 161:1321-1331, 2021 (уровень А по рейтингу CORE). A.4. Был предложен новый эффективный метод аппроксимации апостериорного распределения Байесовских нейронных сетей. Метод основывается на идеях алгоритма MultiSWAG, однако использует ряд существенных модификаций. Предложенное решение заняло второе место в соревновании “Approximate Inference in Bayesian Deep Learning” NeurIPS 2021 и было презентовано в соответствующей секции конференции. A.5 Был предложен новый метод оценки эффективности гидовой РНК для эксперимента на базе CRISPR-Cas технологии. Впервые была разработана методика применения оценки неопределенности предсказания эффективности для улучшения экспериментального дизайна в редактировании ДНК. Результатом работы стала статья, опубликованная в журнале: Kirillov, B. et al. (2022). Uncertainty-aware and interpretable evaluation of Cas9–gRNA and Cas12a–gRNA specificity for fully matched and partially mismatched targets with Deep Kernel Learning. Nucleic acids research, 50(2), e11-e11 (Q1 WoS и Scopus) B. Планирование эксперимента и активное обучение B.1. Была выдвинута гипотеза о связи параметров функции чувствительности и точности полученных точек оптимального дизайна. Исследована возможность оптимизации итераций при поиске оптимального дизайна и свойствами данной функции. Произведена оптимизация (по времени и числу итераций) алгоритма поиска подматрицы максимального объёма в блочном случае (BMaxVol). Готовится к подаче статья по данной части работы. B.2. Был разработан подход к оценке неопределенности нейросетевых моделей анализа текстов, который не требует больших накладных расходов на дополнительные вычисления и потребляемую память и при этом потенциально применим для активного обучения. Кроме того разработаны две новые модификации вычислительно эффективных методов оценки неопределенности, которые в задачах текстовой классификации и извлечения информации позволяют выполнять детектирование ошибок модели более качественно, чем другие методы. Проведенное исследование методов оценки неопределенности позволило повысить качество решения задачи медицинской диагностики и было принято к публикации в трудах конференции AIME (индексируется в Scopus): Al. Nesterov at el. NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model with Logic Regularization. B.3. Был разработан метод активного обучения, который позволяет использовать разные типы моделей на этапе выбора данных и этапе обучения итоговой модели-преемника на размеченных входе активного обучения данных без существенной потери качества модели-преемника. Разработанный метод позволяет существенно сократить время выполнения итерации активного обучения и требования к памяти. C. Байесовская оптимизация С.1. Был реализован ряд базовых алгоритмов байесовской оптимизации, которые позволят в будущем проводить эффективное сравнение разработанных подходов и новых, предложенных на основе специфики области. Полученные эмпирические результаты позволяют более эффективно искать оптимальные гиперпараметры для моделей рекурентных нейронных сетей. Однако, проведенное исследование показало, что для ограниченных наборов доступных данных в области обработки последовательностей событий и превосходство существующих моделей над полученными в результате экспериментов, а также прикладной характер работы снижают вероятность опубликования полученных результатов в рамках работы над проектом. С.2. Были получены важные результаты в задаче эффективного построения ансамблей глубоких нейронных сетей. В частности, разработанные метод позволяет осуществить стекинг моделей, использую ту же выборку, что и используемая для обучения. Мы планируем подать их на конференцию International Conference on Artificial Intelligence and Pattern Recognition 2022, труды которой индексируются в Scopus. С.3. Был разработан метод, который эффективно решает задачу обнаружения разладки для слабоструктурированных данных для выборок небольшого размера. Метод позволяет балансировать число ложных тревог и задержку детектирования - две критичных метрик для прикладных задач обнаружения разладок. Работа [1] по результатам исследования сейчас проходит рецензирование на конференции ACM Multimedia. Препринт С.3 [1] Romanenkova, E. et al. (2021). InDiD: Instant Disorder Detection via Representation Learning. arXiv:2106.02602. Публикации на основе работ, проведенных в предыдущий год проекта. Отдельно отметим, что в течение данного года были приняты в труды конференций, индексируемых в Scopus, две работы, основные исследования по которым были проведены на предыдущем году проекта (2020-2021) [1,2]. [1] Al. Fishkov, M. Panov “Scalable computation of prediction intervals for neural networks via matrix sketching”, Proceedings of AIST, 2021. [2] G. Novikov et al. "Dataset Reduction via Bias-Variance Minimization," 2021 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), 2021, pp. 143-146.

Аннотация результатов, полученных в 2022 году
A.1. Был разработан предложен фреймворк, позволяющий создать алгоритм алгоритмов для байесовского персонализированного федеративного обучения. Предложенный фреймворк позволяет получить персонализированные оценки неопределённости для каждого клиента в отдельности. Дополнительно исследовалась устойчивость предложенного метода к гетерогенному распределению данных между клиентами. Полученные результате свидетельствуют об устойчивости подхода в этом случае. В результате проведённых экспериментов, были показаны state-of-the-art результаты в ряде задач, написана статья, которая, в результате, была принята на конференцию NeurIPS 2022 [1]. A.2. Разработан алгоритм, позволяющий строить доверительные множества для моделей машинного обучения. Данный метод основан на известном методе конформных предикторов и позволяет совмещать несколько мер неконформности для уменьшения среднего размера доверительного множества. Эксперименты показали, что такой подход в некоторых случаях позволяет уменьшить средний размер доверительных множеств. Планируется подготовка публикации. A.3. Дополнительно в рамках данного года работы по проекту было проведено экспериментальное исследование работы метода NUQ, разработанного на предыдущем году реализации проекта на задачах классификации текстов. Методы оценивались на двух задачах: обнаружение выбросов в данных и классификация с возможностью отказа от предсказания. Эксперименты показали высокую эффективность метода NUQ по сравнению с другими методами оценки неопределенности. Результатом работы стала публикация в трудах конференции NeurIPS [2]. Публикации по части A. [1] Kotelevskii, N., Vono, M., Durmus, A., & Moulines, E. (2022). Fedpop: A bayesian approach for personalised federated learning. Advances in Neural Information Processing Systems, 35, 8687-8701. [2] Nikita Kotelevskii, Aleksandr Artemenkov, Kirill Fedyanin, Fedor Noskov, Alexander Fishkov, Artem Shelmanov, Artem Vazhentsev, Aleksandr Petiushko, Maxim Panov (2022) Nonparametric Uncertainty Quantification for Single Deterministic Neural Network. Advances in Neural Information Processing Systems 35. B.1. Разработан гибридный метод оценки неопределенности нейронных сетей, который совмещает методы детектирования выбросов/объектов вне целевого домена с методами детектирования объектов, лежащих на границах классов. B.2. Разработаны рекомендации по созданию компактных дистиллированных моделей, пригодных для выбора примеров в активном обучении, которые являются информативными для обучения более крупной модели-учителя. B.3. Были проведены исследования для построения алгоритма активного обучения Large BatchBALD (а также его стохастического расширения Power Large BatchBALD), который выбирает примеры для обучения нейронной сети учитывая как их информативность, так и их разнообразие. Данный алгоритм реализован как аппроксимация одного из наиболее успешных на сегодняшний день алгоритмов активного обучения BatchBALD. Используя выражение функции приобретения BatchBALD через аналогичную функцию BALD и обобщенную взаимную информацию позволяет получить сравнимое качество работы алгоритма, при этом значительно ускоряя вычислительный процесс. Предложенный алгоритм был опубликован и представлен на конференции SIAM SDM 2023 [1]. B.4. Мы впервые показали, что активное обучение может использоваться для повышения качества адверсального дообучения. Идея подхода заключается в использовании оценки робастности представления - чем менее робастно представление, тем с большей вероятностью объект будет использоваться для адверсального дообучения. Публикации по части B. [1] Rubashevskii, A., Kotova, D., & Panov, M. (2023) Scalable Batch Acquisition for Deep Bayesian Active Learning. Proceedings of the 2023 SIAM International Conference on Data Mining, 2023. C. Разладка - момент изменения распределения входных данных в последовательности. Необходимо быстро детектировать разладку, при этом у алгоритма должно быть мало число ложных срабатываний. Мы разработали подход для обнаружения разладок в сложноструктурированных данных с помощью глубоких нейронных сетей. Преимущество полученного подхода – наличие методов обнаружения разладок, как требующих точную разметку данных, так и методов для обучения без размеченных данных. Кроме того, в случае наличия размеченных данных он явно минимизирует задержку детектирования и максимизирует среднее время до ложной тревоги. Разработанный подход может быть использованы для любых последовательных данных: получены результаты для многомерных временных рядов, последовательностей изображений и видео данных. Работа представлена на конференции ACM Multimedia 2022 [2]. Публикации по части С [1] Romanenkova E. et al. InDiD: Instant Disorder Detection via a Principled Neural Network //Proceedings of the 30th ACM International Conference on Multimedia. – 2022. – С. 3152-3162.