КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 20-71-10135

НазваниеМетоды оценивания неопределенности предсказаний нейросетевых алгоритмов машинного обучения и их применение к задачам планирования эксперимента и оптимизации.

РуководительПанов Максим Евгеньевич, Кандидат физико-математических наук

Организация финансирования, регионАвтономная некоммерческая образовательная организация высшего образования «Сколковский институт науки и технологий», г Москва

Срок выполнения при поддержке РНФ 07.2020 - 06.2023 

КонкурсКонкурс 2020 года «Проведение исследований научными группами под руководством молодых ученых» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-202 - Интеллектуальный анализ данных и распознавание образов

Ключевые словаОценивание неопределенности, машинное обучение, нейронные сети, байесовские методы, активное обучение, планирование эксперимента, байесовская оптимизация

Код ГРНТИ28.23.37


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Задачей данного проекта является разработка методов оценивания неопределенности предсказаний нейросетевых алгоритмов машинного обучения и разработка основанных на них процедур планирования эксперимента и байесовской оптимизации. Во многих областях современной науки и техники, в частности в индустриальном проектировании, моделировании химических соединений и материалов, системах управления промышленным производством и экономическими процессами и многих других, требуется построение моделей рассматриваемых систем, которые позволяют делать выводы об их свойствах и прогнозировать их поведение, причем важным является не только создание моделей, но и оценка неопределенности для них и оптимизация этих систем. Стандартным подходом, используемым при построении и изучении таких систем, является проведение натурных экспериментов для получения информации о функционировании систем и моделирование на основе “физики процессов”, в качестве которой в зависимости от конкретной прикладной области могут выступать непосредственно физические законы, а также экономические, биологические, химические или другие законы. В свою очередь в современной предсказательной аналитике используются так называемые метамодели (или суррогатные модели), которые «обучаются» по множеству прототипов входных и выходных данных (результатов натурных и/или вычислительных экспериментов, проведенных с различными объектами рассматриваемого класса) и фактически имитируют (заменяют) как источники получения данных, основанные на некоторой исходной модели, так и сами модели, созданные на основе изучения “физики процессов”. Процесс обучения метамоделей, как правило, строится на основе подходов машинного обучения. На практике построенные модели машинного обучения применяются в одном из нескольких основных сценариев: 1. Прогнозирование. Предсказание значений выходных параметров системы для новых конфигураций входных параметров, не входящих в обучающую выборку. 2. Детектирование аномалий. Определение аномального поведения системы, т.е. детектирование ситуаций, когда система начинает себя вести существенно отличным образом от стандартного поведения. 3. Оптимизация. Нахождение конфигурации входных параметров, при которых определенные характеристики системы принимают оптимальные значения. 4. Планирование эксперимента. Определение наборов входных параметров, измерение характеристик системы в которых может привести к дальнейшему улучшению модели системы. Во всех описанных выше задачах высокую роль играет возможность оценки неопределенности предсказаний модели. Для задачи прогнозирования оценка неопределенности необходима для детектирования тех точек, в которых предсказание модели ненадежно. В задаче детектирования аномалий оценка неопределенности необходима, чтобы различать между собой отклонения, связанные с высокой дисперсией предсказания, и аномальные отклонения среднего значения прогноза. В задаче оптимизации функций, вычисление которых дорого, оценка неопределенности позволяет балансировать между поиском оптимума в окрестности наилучшей известной точки и более широким исследованием пространства. Наконец, в задаче планирования эксперимента точки с высокой неопределенностью прогноза являются хорошими кандидатами на добавление в обучающую выборку. Отметим, что далеко не все модели машинного обучения обладают встроенными возможностями для оценки неопределенности их прогноза. Наиболее популярной моделью со “встроенной” оценкой неопределенности является модель регрессии на основе гауссовских процессов, в которой в качестве оценки неопределенности выступает апостериорная дисперсия гауссовского процесса. В настоящее время существует большое количество процедур оптимизации, адаптивного планирования эксперимента, определения аномалий и других, основанных на данной модели. Однако, существенным недостатком данной модели является ее высокая вычислительная сложность, что ограничивает ее применимость к задачам с большими объемами данных. Также данная модель изначально ограничена необходимостью задать параметрическое семейство ковариационных функций, выбор которого на практике затруднен необходимостью явного учета особенностей решаемой задачи. Предсказательные модели на основе современных нейронных сетей обладают значительно меньшей вычислительной сложностью на этапе обучения, а также позволяют относительно легко инкорпорировать в модель различные особенности решаемой задачи (например, трансляционную инвариантность в задаче распознавания изображений). Однако, методы оценки неопределенности для нейронных сетей начали активно разрабатываться только в последние годы и пока находятся на относительно раннем этапе развития, не давая во многих прикладных задачах достаточно точных оценок неопределенности предсказания. В данном проекте мы планируем разработать методологию оценки неопределенности для нейронных сетей и применить ее к разработке конкретных алгоритмов оптимизации и адаптивного планирования эксперимента, которые в свою очередь будут использованы для решения ряда важных прикладных задач. Отметим, что область применения данных методов не ограничивается задачами для систем, описанных выше, а естественным образом включает в себя другие области применения нейронных сетей, в частности обработку естественного языка и компьютерное зрение. Данный проект сфокусирован на решении следующих ключевых задачах: 1. Построение моделей на основе нейронных сетей, позволяющих вычислять оценку неопределенности прогноза. Ключевым методом при построении таких сетей будет байесовский подход к построению моделей. 2. Построение алгоритмов планирования эксперимента и активного обучения для моделей нейронных сетей на основе оценок неопределенности, построенных на предыдущем этапе. 3. Построение эффективных процедур оптимизации на основе байесовских нейронных сетей. 4. Применение полученных алгоритмов к решению задач обработки естественного языка, компьютерного зрения и задачам индустриального проектирования. Все описанные выше задачи обладают высокой степенью научной новизны и являются актуальными для современной практики машинного обучения и его приложений.

Ожидаемые результаты
Проект направлен на создание единого подхода к широкому кругу задач, возникающих при необходимости учитывать возможные ошибки и неопределенность предсказания алгоритмов машинного обучения на конкретных объектах. Разработка такого подхода актуальна, т.к. наиболее точные оценки неопределенности получаются в тех случаях, когда их получение заранее заложено в модель на этапе обучения. Также такие модели позволяют естественным образом решать задачи адаптивного планирования эксперимента (или активного обучения), и задачи байесовской оптимизации. Фокус проекта на нейросетевых алгоритмах машинного обучения, которые широко применяются во многих важных прикладных задачах, обуславливает значимость проводимых исследований с точки зрения приложений. При этом в настоящий момент момент алгоритмы оценивания неопределенности для нейронных сетей относительно слабо развиты, а их дальнейшая разработка требует создания новых методов вариационного вывода, численной линейной алгебры, и стохастических методов, что позволяет говорить о потенциале проекта с научной точки зрения. Более конкретно, настоящий проект направлен на получение следующих фундаментальных и прикладных результатов: Исследование байесовские методов обучения нейронных сетей и оценивания неопределенности. В частности будут построены новые методы обучения байесовских нейронных сетей на основе современных методов вариационного вывода и методов цепей Монте Карло, а также получаемые с помощью них оценки неопределенности предсказания нейронных сетей, границы их применимости. Разработанные методы позволят значительно увеличить качество построенных моделей и, главное, качество соответствующих оценок неопределенности. Будет разработан ряд подходов к планированию экспериментов для моделей на основе нейронных сетей. В частности, будет разработан метод планирования эксперимента для нейронных сетей на основе информационных критериев, которые в настоящий момент как правило применяются для планирования эксперимента в линейных моделях. Также будет исследована применимость ранее предложенных методов оценки неопределенности для активного обучения с применением глубоких предобученных нейросетевых моделей. Разработанные методы планирования эксперимента и активного обучения будут применены к актуальным задачам обработки текстов на естественном языке и компьютерного зрения. На основе методов оценки неопределенности для нейронных сетей будут разработаны новые подходы к байесовской оптимизации. С использованием разработанных критериев будут созданы эффективные методы построения ансамблей моделей машинного обучения, в том числе стекинга моделей. В дальнейшем планируется использовать модели на основе нейронных сетей для байесовской оптимизации, в том числе вероятностные оценки неопределенности для них и байесовские нейронные сети. Буду разработаны подходы для использования данных разной точности в процессе байесовской оптимизации, для оптимизации в пространствах со сложной структурой входа и сквозного (end2end) обучения и оптимизации. Разработанные методы байесовской оптимизации будут применены для решения важных прикладных задач подбора гиперпараметров моделей машинного обучения и оптимизации сложных объектов, описанных с помощью сложноструктурированной информации, такой как графы. Отметим, что планируемые результаты работы напрямую соответствуют направлению Н1 Стратегии НТР РФ в области разработки алгоритмов машинного обучения и искусственного интеллекта. Результаты, полученные по проекту, будут опубликованы в серии статей (не менее 10 за весь период работы) в ведущих отечественных и международных журналах из списков WoS и Scopus и трудах ведущих российских и международных конференциях. Все эти результаты будут соответствовать передовому уровню современных мировых исследований.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2020 году
A. Байесовские методы обучения нейронных сетей и оценивание неопределенности A.1. Были проведены исследования по построению моделей вариационных автокодировщиков на основе совмещения вариационного вывода и MCMC. Результатами исследования в области объединения MCMC методов и вариационного вывода стали два алгоритма -- L-MCVAE (основанный на Sequential Importance Sampling) и A-MCVAE (основанный на Annealed Importance Sampling). Проведенные эксперименты на датасетах с изображениями различной сложности показали устойчивые результаты -- с увеличением числа промежуточных распределений, нижняя оценка на логарифм правдоподобия становится лучше, увеличивая качество генерируемых данных. Результатом данного исследования является статья “Monte Carlo Variational Auto-Encoders”, принятая к публикации на конференции ICML 2021 (индексируется в Scopus). A.2.1. Были проведены исследования по сравнению вариационного вывод для всех слоев нейронной сети (FB) и вариационного вывода для последнего слоя нейронной сети.Результатами исследования в области сравнения FB и LLB стали наблюдения, подкрепленные экспериментами, которые показывают, что LLB не способен детектировать неопределенность ни одного из двух типов (aleatoric и epistemic), в то время как FB способен. Однако в случае последнего принципиальным оказывается выбор функции активации, а также стандартного отклонения априорного распределения.В целом было показано, что байесовские нейронные сети крайне чувствительны к целому ряду гиперпараметров, таких как архитектура модели, функция активация, априорное распределение и способ инициализации параметров. Исследования оптимального выбора данных гиперпараметров выглядят ключевыми для построения процедур построения байесовских нейронных сетей высокого качества. А.2.2. Был разработан алгоритм выбора параметров априорного гауссовского распределения для параметров последнего слоя байесовских нейронных сетей. Алгоритм основан на алгоритме RVM для байевской регрессии. Результирующая процедура была дополнена выбором параметра температуры априорного распределения по алгоритму SafeBayes. Результатом применения разработанного подхода для выбора априорного распределения стало заметное повышение качества байесовской нейронной сети на целом ряде задач, таких как классификация изображений (MNIST/CIFAR) и стандартные регрессионные задачи. A.3. Разработана программная система для экспериментальных исследований методов оценки неопределенности в задачах регрессии и классификации. Проведены экспериментальные исследования различных оценок неопределенности в задачах классификации изображений и различных регрессионных задачах. А.4 Результатами исследования в области статистических методов построения доверительных интервалов для нейронных сетей стал новый алгоритм (основанных на быстром малоранговом приближении матриц). В результате экспериментов на регрессионных датасетах из набора UCI, метод показал сопоставимые результаты с существующими методами а также позволил работать с большими датасетами и числом параметров модели, что было недоступно для некоторых существующих методов. По результатам исследования готовится статья. B. Планирование эксперимента и активное обучение B.1.1. Был разработан новый критерий построения оптимального плана эксперимента для нелинейных моделей регрессии и классификации. Для разработанного метода на основе построенного математического обоснования были доказаны теоремы об асимптотическом поведении. Были произведены численные эксперименты на модельных данных, а также на популярном датасете картинок с рукописными цифрами (MNIST), которые показали перспективность данного подхода. B.1.2. Был разработан новый алгоритм поиска плана эксперимента, близкого к D-оптимальному, для моделей с многомерным выходом. Результаты были апробированы на задачах в прикладных исследованиях химических процессов, где дизайн эксперимента для определенных моделей привлекает всё большее внимание. Была показана точность и скорость работы модифицированного алгоритма. Другое направления работы было связано с применением метода D-optimality к выбору точек из континуального набора. В этом случае показано, что разработанный метод получает точки, сопоставимые по точности аппроксимации с точками Феке и точками Лебега. По результатам работы была подготовлена публикация Gradient Descent-based D-optimal Design for the Least-Squares Polynomial Approximation, которая в настоящий момент проходит рецензирование в журнале Computer Methods in Applied Mechanics and Engineering. B.2. Проведен аналитический обзор методов активного обучения и нейросетевых архитектур, применяемых в задачах извлечения информации из текстов. Данный обзор был использован при написании публикаций (см. ниже). B.3. Разработана программная система для экспериментальных исследований методов активного обучения. Проведены экспериментальные исследования различных оценок неопределенности в активном обучении на задачах извлечения информации из текстов, выявлены наиболее перспективные методы. B.4. Проведены ретроспективные эксперименты стратегий активного обучения с разными методами оценки неопределенности и нейросетевыми моделями. Показано, что разметка с помощью активного обучения позволяет добиваться значительных улучшений качества по сравнению с разметкой случайно выбранных примеров для всех моделей и для всех корпусов. B.5.1. Предложен новый метод для ускорения проведения итерации активного обучения за счет использования дистиллированных моделей. Эффективность дистиллированных моделей в активном обучении может объясняться сходством оценок неопределенности для дистиллированной модели и исходной модели. Результаты опубликованы в статье “Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates” (https://www.aclweb.org/anthology/2021.eacl-main.145/) на конференции EACL-2021 (CORE рейтинг A, индексируется в Scopus). B.5.2. Предложен новый вычислительно эффективный метод для оценки неопределенности нейронных сетей на основе архитектуры трансформер. Проведены экспериментальные исследования метода и показана его эффективность на задачах анализа текстов. По результатам исследований опубликована статья “How Certain is Your Transformer?” (https://www.aclweb.org/anthology/2021.eacl-main.157/) на конференции EACL-2021 (CORE рейтинг A, индексируется в Scopus). C. Байесовская оптимизация С1. Результатом исследований стал алгоритм адверсальных атак и защит от них для моделей обработки последовательных данных. Разработанные подходы показали эффективность своей работы на широком наборе задач, связанных с обработкой текста, данных банковских транзакций и медицинского страхования. Были выработаны критерии качества для оценки робастности таких моделей машинного обучения, выбран набор гиперпараметров, сильнее всего влияющих на качество и робастность работы модели. Показано, что оптимизация гиперпараметров моделей обработки последовательных данных и моделей для атаки на такие модели может быть эффективно проведена существующими методами из открытых библиотек с достаточно высоким качеством. Опубликована статья “Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world” (https://link.springer.com/chapter/10.1007/978-3-030-72610-2_27) в трудах конференции Анализ Изображений, Сетей и Текстов (индексируется в Scopus), которая была удостоена приза, как лучшая исследовательская работа на конференции. С2. Другим результатом работы по проекту стало исследование возможности создания ансамблей из моделей глубоких нейронных сетей. Было показано, что современные результаты в этой области воспроизводятся на широком наборе данных и архитектур нейронных сетей. Прирост качества является небольшим, но статистически значимым. Мы показали, что прирост наблюдается в том числе и для нейронных сетей небольшой размера. Однако, существует переход в качественном поведении нейронных сетей при увеличении их сложности. Для полносвязных нейронных сетей с небольшим количеством нейронов и слоев локальные минимумы функции потерь являются изолированными, в то время как для глубоких нейронных сетей с большим числом слоев, в том числе сверточных, локальные минимумы функции потерь соединены просто устроенными траекториями, вдоль которых функция потерь остается низкой. Таким образом, для нейронный сетей малого размера подходы на основе семплирования для более эффективного создания ансамблей менее эффективны. В таком случае естественным подходом для создания ансамблей будет запуск обучения для разных инициализация вектора параметров нейронной сети. Это отличие позволит далее создать процедуры Байесовской оптимизации для эффективного создания ансамблей нейронных сетей разной сложности. Также в рамках проведенных работ, однако, было показано, что использование методов на основе бустинга для ансамблирования глубоких нейронных сетей не является эффективной стратегией, позволяющей повысить качество общей модели.

 

Публикации

1. Фин А., Котелевский Н., Дусе А., Дюрмус А., Мулин Э., Панов М. Monte Carlo Variational Auto-Encoders International Conference on Machine Learning, - (год публикации - 2021).

2. Фурсов И., Зайцев А., Ключников Н., Кравченко А., Бурнаев Е. Gradient-based adversarial attacks on categorical sequence models via traversing an embedded world Lecture Notes in Computer Science, Springer, vol. 12602, pp. 356-368 (год публикации - 2021).

3. Шелманов А., Пузырев Д., Куприянова Л., Беляков Д., Ларионов Д., Хромов Н., Козлова О., Артемова Е., Дылов Д., Панченко А. Active Learning for Sequence Tagging with Deep Pre-trained Models and Bayesian Uncertainty Estimates Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics (год публикации - 2021).

4. Шелманов А., Цымбалов Е., Пузырев Д., Федянин К., Панченко А. и Панов М. How Certain is Your Transformer? Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics, - (год публикации - 2021).


Аннотация результатов, полученных в 2021 году
A. Байесовские методы обучения нейронных сетей и оценивание неопределенности A.1.1 Были проведены исследования для постороения алгоритма оценки неопределенности, применимого к любой предобученной нейронной сети. Полученный алгоритм применим как к современным глубоким свёртночным нейронным сетям, так и к большим наборам данных (таких, как ImageNet). Предложенный подход представляет из себя метод пост-обработки, поэтому не требует внесения никаких изменений в тренировочный процесс. Однако, стоит отметить, что для моделей типа ResNet, использующих при тренировке спектральную нормализацию, достигается наилучший результат. Метод описан в препринте [1] и был представлен на воркшопе [2]. Дополненная версия статьи подана на конференцию ICML 2022. [1] Kotelevskii, N. et al. (2022). NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks. arXiv:2202.03101. [2] Kotelevskii, N. et al. NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks. In ICML 2021 Workshop on Distribution-Free Uncertainty Quantification. A.1.2. Другим важным результатом работы над оценкой неопределенности в моделях машинного обучения и математической статистики стал анализ влияния неопределенности на значения целевой переменной, а именно технической эффективности предприятий. Результатом исследования стало построение теоретической оценки негативного влияния неопределенности на эффективность предприятий. Результаты были опубликованы: Kumbhakar, S. et al. (2021). “Technical efficiency and inefficiency: Reliability of standard SFA models and a misspecification problem.” Econometrics and Statistics (Q2 Scopus). A.2. Было проведено исследование, в котором изучался выбор априорного распределения в задаче персонализированного федеративного обучения. Среди исследуемых подходов рассматривались: 1) одномодальное распределение Гаусса в приближении среднего поля, 2) смесь таких Гауссиан и 3) энергетическая модель (energy-based model). В результате мы получили, что в задачах классификации (на наборах данных CIFAR-10 и CIFAR-100) более сложные априорные распределения (2 и 3) не приносят ощутимых улучшений, зато, напротив, делают процесс обучения более сложным и менее стабильным. По результатам исследования готовится к подаче публикация на конференцию NeurIPS 2022. A.3. Был разработан алгоритм оценки функции плотности распределения, основанный на малоранговых тензорных разложениях. Отличительной особенностью метода является возможность аналитически интегрировать функцию плотности, и как следствие получать маргинальные, кумулятивные распределения, считать математические ожидания аналитически. По результатам работы опубликована статья: на конференции G. Novikov et al. Tensor-train density estimation // Proceedings of UAI, PMLR 161:1321-1331, 2021 (уровень А по рейтингу CORE). A.4. Был предложен новый эффективный метод аппроксимации апостериорного распределения Байесовских нейронных сетей. Метод основывается на идеях алгоритма MultiSWAG, однако использует ряд существенных модификаций. Предложенное решение заняло второе место в соревновании “Approximate Inference in Bayesian Deep Learning” NeurIPS 2021 и было презентовано в соответствующей секции конференции. A.5 Был предложен новый метод оценки эффективности гидовой РНК для эксперимента на базе CRISPR-Cas технологии. Впервые была разработана методика применения оценки неопределенности предсказания эффективности для улучшения экспериментального дизайна в редактировании ДНК. Результатом работы стала статья, опубликованная в журнале: Kirillov, B. et al. (2022). Uncertainty-aware and interpretable evaluation of Cas9–gRNA and Cas12a–gRNA specificity for fully matched and partially mismatched targets with Deep Kernel Learning. Nucleic acids research, 50(2), e11-e11 (Q1 WoS и Scopus) B. Планирование эксперимента и активное обучение B.1. Была выдвинута гипотеза о связи параметров функции чувствительности и точности полученных точек оптимального дизайна. Исследована возможность оптимизации итераций при поиске оптимального дизайна и свойствами данной функции. Произведена оптимизация (по времени и числу итераций) алгоритма поиска подматрицы максимального объёма в блочном случае (BMaxVol). Готовится к подаче статья по данной части работы. B.2. Был разработан подход к оценке неопределенности нейросетевых моделей анализа текстов, который не требует больших накладных расходов на дополнительные вычисления и потребляемую память и при этом потенциально применим для активного обучения. Кроме того разработаны две новые модификации вычислительно эффективных методов оценки неопределенности, которые в задачах текстовой классификации и извлечения информации позволяют выполнять детектирование ошибок модели более качественно, чем другие методы. Проведенное исследование методов оценки неопределенности позволило повысить качество решения задачи медицинской диагностики и было принято к публикации в трудах конференции AIME (индексируется в Scopus): Al. Nesterov at el. NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model with Logic Regularization. B.3. Был разработан метод активного обучения, который позволяет использовать разные типы моделей на этапе выбора данных и этапе обучения итоговой модели-преемника на размеченных входе активного обучения данных без существенной потери качества модели-преемника. Разработанный метод позволяет существенно сократить время выполнения итерации активного обучения и требования к памяти. C. Байесовская оптимизация С.1. Был реализован ряд базовых алгоритмов байесовской оптимизации, которые позволят в будущем проводить эффективное сравнение разработанных подходов и новых, предложенных на основе специфики области. Полученные эмпирические результаты позволяют более эффективно искать оптимальные гиперпараметры для моделей рекурентных нейронных сетей. Однако, проведенное исследование показало, что для ограниченных наборов доступных данных в области обработки последовательностей событий и превосходство существующих моделей над полученными в результате экспериментов, а также прикладной характер работы снижают вероятность опубликования полученных результатов в рамках работы над проектом. С.2. Были получены важные результаты в задаче эффективного построения ансамблей глубоких нейронных сетей. В частности, разработанные метод позволяет осуществить стекинг моделей, использую ту же выборку, что и используемая для обучения. Мы планируем подать их на конференцию International Conference on Artificial Intelligence and Pattern Recognition 2022, труды которой индексируются в Scopus. С.3. Был разработан метод, который эффективно решает задачу обнаружения разладки для слабоструктурированных данных для выборок небольшого размера. Метод позволяет балансировать число ложных тревог и задержку детектирования - две критичных метрик для прикладных задач обнаружения разладок. Работа [1] по результатам исследования сейчас проходит рецензирование на конференции ACM Multimedia. Препринт С.3 [1] Romanenkova, E. et al. (2021). InDiD: Instant Disorder Detection via Representation Learning. arXiv:2106.02602. Публикации на основе работ, проведенных в предыдущий год проекта. Отдельно отметим, что в течение данного года были приняты в труды конференций, индексируемых в Scopus, две работы, основные исследования по которым были проведены на предыдущем году проекта (2020-2021) [1,2]. [1] Al. Fishkov, M. Panov “Scalable computation of prediction intervals for neural networks via matrix sketching”, Proceedings of AIST, 2021. [2] G. Novikov et al. "Dataset Reduction via Bias-Variance Minimization," 2021 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), 2021, pp. 143-146.

 

Публикации

1. Кириллов Б., Савицкая Е., Панов М., Огурцов А., Шабалина С., Кунин Е., Северинов К. Uncertainty-aware and interpretable evaluation of Cas9–gRNA and Cas12a–gRNA specificity for fully matched and partially mismatched targets with Deep Kernel Learning Nucleic Acids Research, Volume 50, Issue 2, 25 January 2022, Page e11 (год публикации - 2022).

2. Кумбахар С., Пересецкий А., Щетинин Е. Зайцев А. Technical efficiency and inefficiency: Reliability of standard SFA models and a misspecification problem Econometrics and Statistics, У этого журнала нет томов, выпусков и страниц - только год (год публикации - 2021).

3. Нестеров А., Ибрагимов Б., Умеренков Д., Шелманов А., Зубкова Г., Кох В. NeuralSympCheck: A Symptom Checking and Disease Diagnostic Neural Model with Logic Regularization 20th International Conference on Artificial Intelligence in Medicine (AIME), 2022, - (год публикации - 2022).

4. Новиков Г., Панов М., Оселедец И. Tensor-Train Density Estimation Proceedings of the 37th Conference on Uncertainty in Artificial Intelligence, Proceedings of Machine Learning Research, vol. 161, pp. 1321-1331 (год публикации - 2021).

5. Новиков Г., Панов М., Оселедец И. Dataset Reduction via Bias-Variance Minimization Proceedings of 2021 5th Scientific School Dynamics of Complex Networks and their Applications (DCNA), pp. 143-146 (год публикации - 2021).

6. Фишков А., Панов М. Scalable computation of prediction intervals for neural networks via matrix sketching Proceedings of the 10th International Conference on Analysis of Images, Social Networks and Texts (Lecture Notes in Computer Science), - (год публикации - 2021).