КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ

---

Номер 23-72-01094

НазваниеВлияние шума на аппаратные искусственные нейронные сети

РуководительСеменова Надежда Игоревна, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского", Саратовская обл

Период выполнения при поддержке РНФ

07.2023 - 06.2025

Конкурс№84 - Конкурс 2023 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными.

Область знания, основной код классификатора 02 - Физика и науки о космосе, 02-403 - Радиофизика, статистическая радиофизика

Ключевые словаСинхронизация, хаос, ансамбли, сети, нейронные сети, машинное обучение, искусственные нейронные сети, глубокие нейронные сети, сверточные нейронные сети, рекуррентные нейронные сети, шум, влияние шума, уменьшение шума, нелинейная динамика

Код ГРНТИ29.35.03, 29.35.17, 28.23.37

---

 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

---

Аннотация
Актуальность. За последние несколько лет искусственные нейронные сети (ИНС) нашли свое применение в решении многих задач от распознавания образов до предсказания климатических явлений. С точки зрения вычислений, моделирование ИНС является очень ресурсоемкой задачей. Несмотря на существование высокомощных вычислительных кластеров с возможностью распараллеливания вычислений, моделирование нейронной сети на цифровом оборудовании является узким горлышком в масштабировании сети, скорости получения, обработки информации и энергоэффективности. В последние годы все больше исследователей в области нейронных сетей заинтересованы в создании аппаратных сетей, в которых нейроны и связь между ними представляют собой реальное устройство, способное обучаться и решать задачи. Это сопровождается экспоненциальным ростом количества работ с аппаратными ИНС, в основе которых лежат лазеры, мемристоры, спин-трансферные осцилляторы и т.д. [11–13]. На данный момент существует не только множество топологий сетей, эффективных для тех или иных задач, но и множество алгоритмов обучения. К настоящему времени нейронные сети достигают сверхчеловеческой производительности в вычислительных задачах, ранее считавшихся неразрешимыми компьютерами [6]. В зависимости от структуры связей внутри них выделяют несколько типов ИНС. В данном Проекте будут рассмотрены три типа, основанных на принципиально разных характерах связи: 1 – глубокие нейронные сети прямого распространения (deep neural networks, feedforward neural networks), 2 – рекуррентные нейронные сети (recurrent neural networks), 3 – сверточные нейронные сети (convolutional neural networks). Глубокие ИНС, как правило, имеют многослойную структуру. В них входной сигнал преобразуется, проходя через сеть и множество скрытых слоев, формируя выходной сигнал. Такие сети часто применяют в компьютерном зрении, распознавании речи и машинном переводе. Рекуррентные сети обладают свойством памяти, благодаря чему могут обрабатывать серии событий во времени или предсказывать их. Часть нейронов рекуррентной сети обладают запаздывающей обратной связью, что позволяет решать задачи с привязкой ко времени. К таким задачам относится обнаружения движения, синтез музыки, финансовое прогнозирование и т.д.[52]. Наличие временнóго запаздывания сильно усложняет решение задач накопления шумов и их подавления. Сверточные нейронные сети являются особым случаем глубоких нейронных сетей, когда внутрення многослойная топология сети заключается в чередовании свёрточных слоев (convolution layers) и субдискретизирующих слоев (pooling layers). Благодаря своей особой структуре сверточные сети добились впечатляющих успехов во многих областях, включая компьютерное зрение и обработку естественного языка. За последние несколько лет такие сети привлекли большое внимание как с точки зрения промышленности, так и в научных кругах [53]. Особый тип связи и наличие слоев с чередующейся топологией позволяет взглянуть на вопросы шумового воздействия и накопления шума с принципиально новой стороны. Научная новизна. Тема исследования влияния шумов на ансамбли осцилляторов не нова [24,25]. Однако установление фундаментальных особенностей распространения шумов в нейронных сетях как в процессе обучения, так и в процессе работы является принципиально новым направлением. Как правило, встречаются работы по обработке нейронной сетью зашумленного входного сигнала [5]. Однако в случае реализации аппаратных моделей нейронных сетей в эксперименте шумы могут быть внутренними, то есть находиться как внутри нейрона, так и внутри связи. Объединение методов машинного обучения и нелинейной динамики позволит глобально взглянуть на поставленные задачи. С точки зрения машинного обучения будет рассматриваться и улучшаться работа алгоритмов обучения. А с точки зрения нелинейной динамики функционирование полученной сети будет улучшаться, опираясь на статистические особенности и временную динамику сети как ансамбля сложно связанных систем. Список источников приведен в п. 4.12.

Ожидаемые результаты
Изучение влияния шумов различных типов в рамках машинного обучения направлено на определение свойств шумовых воздействий, которые могут накапливаться и аккумулироваться нейронной сетью, или, наоборот, подавляться. В связи с этим возникает ряд вопросов, касающихся влияния конкретных особенностей и характеристик шумового воздействия на процесс обучения и функционирование нейронных сетей. Практическая значимость подобных задач объясняется необходимостью создания искусственных нейронных сетей, обладающих устойчивостью к стохастическим возмущениям. Вопросы влияния шума особенно важны в контексте разработки реальных экспериментальных прототипов обучаемых искусственных нейронных сетей, которые всегда подвержены воздействию как внутренних источников шума, так и внешним случайным воздействиям. Данный проект объединяет в себе проблематику и методологию двух направлений науки: нелинейная динамика и машинное обучение нейронных сетей. Сформированные за последние десятилетия математический аппарат и базовые методы нелинейной динамики такие, как статистический анализ, бифуркационный анализ, методы оценки временнóй динамики и др., могут быть применены в контексте изучения нейронных сетей и машинного обучения, что позволит взглянуть на данные проблемы с принципиально другой стороны. Возможность практического использования. На данный момент одним из основных направлений в области нейронных сетей и машинного обучения является создание реальных работающих установок, основанных на принципах работы нейронных сетей. Однако в экспериментах всегда присутствуют шумы различной природы, поэтому исследование их влияния является актуальной задачей, решение которой поможет улучшить эффективность обучения при наличии шума. Практическая ценность результатов может проявиться в случае массового перевода нейросетевых вычислений с программной на аппаратные реализации. Так как аппаратная реализация нейронных сетей является очень новым направлением, на практике они пока что используются редко, поэтому проект является перспективной проработкой особенностей для будущих технологий. Таким образом, в рамках данного Проекта предлагаются новые технологии построения искусственных нейронных сетей и усовершенствование технологий обучения зашумленных сетей. Все запланированные результаты будут соответствовать мировому уровню, что будет подтверждено, в частности, их публикацией в виде серии статей в ведущих зарубежных и российских научных журналах.

---

 

ОТЧЁТНЫЕ МАТЕРИАЛЫ

---