Влияние шума на аппаратные искусственные нейронные сети

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 23-72-01094

НазваниеВлияние шума на аппаратные искусственные нейронные сети

Руководитель Семенова Надежда Игоревна, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Саратовский национальный исследовательский государственный университет имени Н.Г. Чернышевского" , Саратовская обл

Конкурс №84 - Конкурс 2023 года «Проведение инициативных исследований молодыми учеными» Президентской программы исследовательских проектов, реализуемых ведущими учеными, в том числе молодыми учеными

Область знания, основной код классификатора 02 - Физика и науки о космосе; 02-403 - Радиофизика, статистическая радиофизика

Ключевые слова Синхронизация, хаос, ансамбли, сети, нейронные сети, машинное обучение, искусственные нейронные сети, глубокие нейронные сети, сверточные нейронные сети, рекуррентные нейронные сети, шум, влияние шума, уменьшение шума, нелинейная динамика

Код ГРНТИ29.35.03, 29.35.17, 28.23.37

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
Актуальность. За последние несколько лет искусственные нейронные сети (ИНС) нашли свое применение в решении многих задач от распознавания образов до предсказания климатических явлений. С точки зрения вычислений, моделирование ИНС является очень ресурсоемкой задачей. Несмотря на существование высокомощных вычислительных кластеров с возможностью распараллеливания вычислений, моделирование нейронной сети на цифровом оборудовании является узким горлышком в масштабировании сети, скорости получения, обработки информации и энергоэффективности. В последние годы все больше исследователей в области нейронных сетей заинтересованы в создании аппаратных сетей, в которых нейроны и связь между ними представляют собой реальное устройство, способное обучаться и решать задачи. Это сопровождается экспоненциальным ростом количества работ с аппаратными ИНС, в основе которых лежат лазеры, мемристоры, спин-трансферные осцилляторы и т.д. [11–13]. На данный момент существует не только множество топологий сетей, эффективных для тех или иных задач, но и множество алгоритмов обучения. К настоящему времени нейронные сети достигают сверхчеловеческой производительности в вычислительных задачах, ранее считавшихся неразрешимыми компьютерами [6]. В зависимости от структуры связей внутри них выделяют несколько типов ИНС. В данном Проекте будут рассмотрены три типа, основанных на принципиально разных характерах связи: 1 – глубокие нейронные сети прямого распространения (deep neural networks, feedforward neural networks), 2 – рекуррентные нейронные сети (recurrent neural networks), 3 – сверточные нейронные сети (convolutional neural networks). Глубокие ИНС, как правило, имеют многослойную структуру. В них входной сигнал преобразуется, проходя через сеть и множество скрытых слоев, формируя выходной сигнал. Такие сети часто применяют в компьютерном зрении, распознавании речи и машинном переводе. Рекуррентные сети обладают свойством памяти, благодаря чему могут обрабатывать серии событий во времени или предсказывать их. Часть нейронов рекуррентной сети обладают запаздывающей обратной связью, что позволяет решать задачи с привязкой ко времени. К таким задачам относится обнаружения движения, синтез музыки, финансовое прогнозирование и т.д.[52]. Наличие временнóго запаздывания сильно усложняет решение задач накопления шумов и их подавления. Сверточные нейронные сети являются особым случаем глубоких нейронных сетей, когда внутрення многослойная топология сети заключается в чередовании свёрточных слоев (convolution layers) и субдискретизирующих слоев (pooling layers). Благодаря своей особой структуре сверточные сети добились впечатляющих успехов во многих областях, включая компьютерное зрение и обработку естественного языка. За последние несколько лет такие сети привлекли большое внимание как с точки зрения промышленности, так и в научных кругах [53]. Особый тип связи и наличие слоев с чередующейся топологией позволяет взглянуть на вопросы шумового воздействия и накопления шума с принципиально новой стороны. Научная новизна. Тема исследования влияния шумов на ансамбли осцилляторов не нова [24,25]. Однако установление фундаментальных особенностей распространения шумов в нейронных сетях как в процессе обучения, так и в процессе работы является принципиально новым направлением. Как правило, встречаются работы по обработке нейронной сетью зашумленного входного сигнала [5]. Однако в случае реализации аппаратных моделей нейронных сетей в эксперименте шумы могут быть внутренними, то есть находиться как внутри нейрона, так и внутри связи. Объединение методов машинного обучения и нелинейной динамики позволит глобально взглянуть на поставленные задачи. С точки зрения машинного обучения будет рассматриваться и улучшаться работа алгоритмов обучения. А с точки зрения нелинейной динамики функционирование полученной сети будет улучшаться, опираясь на статистические особенности и временную динамику сети как ансамбля сложно связанных систем. Список источников приведен в п. 4.12.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Москвитин В., Семенова Н. How noise impacts on trained echo-state neural network 2023 7th Scientific School Dynamics of Complex Networks and their Applications (DCNA), Pp. 195-198 (год публикации - 2023)
10.1109/DCNA59899.2023.10290542

2. Семенова Н., Брюннер Д. Impact of white noise in artificial neural networks trained for classification: Performance and noise mitigation strategies Chaos, Vol. 34, P. 051101 (8 страниц) (год публикации - 2024)
10.1063/5.0206807

3. Колесников И.Д., Семенова Н.И. Влияние внутреннего шума на процесс обучения глубокой нейронной сети Тезисы докладов XXI научной школы "Нелинейные волны - 2024", Нижний Новгород, ИПФ РАН, 2024, с. 123-124 (год публикации - 2024)

4. Семенова Н.И., Колесников И.Д., Максимов Д.А. Влияние внутреннего шума на работу искусственных нейронных сетей. Глубокие, рекуррентные и свёрточные нейронные сети Тезисы докладов XXI научной школы "Нелинейные волны - 2024", Нижний Новгород, ИПФ РАН, 2024, с. 234-235 (год публикации - 2024)

5. Колесников И., Максимов Д., Семенова Н. How internal noise impacts simplified deep neural network during training 2024 8th Scientific School Dynamics of Complex Networks and their Applications (DCNA), pp. 128-130 (год публикации - 2024)
10.1109/DCNA63495.2024.10718635

6. Семенова Н.И. Impact of white Gaussian internal noise on echo state neural networks European Physical Journal - Special Topics (год публикации - 2025)

Аннотация результатов, полученных в 2025 году
В рамках выполнения данного проекта во втором году было рассмотрено, как внутренние шумы могут влиять на работу трех типов нейронных сетей: глубокая сеть прямого распространения, рекуррентная эхо-сеть и свёрточная сеть. Были рассмотрены следующие типы шумового воздействия: аддитивный коррелированный шум, аддитивный некоррелированный шум, мультипликативный коррелированный шум, мультипликативный некоррелированный шум. В качестве источника шума был рассмотрен источник белого гауссовского шума с нулевым средним. Статистические свойства шумового воздействия задавались при помощи интенсивности шумового воздействия. В предыдущем году выполнения проекта в нашей статье [https://doi.org/10.1063/5.0206807] были предложены следующие стратегии уменьшения шумового воздействия: нейроны-призраки (ghost neurons), позволяющие уменьшить коррелированный аддитивный шум, и концепция пулов для уменьшения некоррелированного шума. Обе стратегии могут быть успешно применены как в рамках одного слоя глубокой нейронной сети, так и в рамках резервуара рекуррентной сети. В статье [1] нами было показано, что наиболее уязвимым для внутренних шумов является именно резервуар нейронной сети, а не выходной слой, поэтому все стратегии уменьшения шума рекомендуется применять в первую очередь в резервуаре. Использование шума в процессе обучения уже является одной из стратегий уменьшения уязвимости сети к шуму [2,3]. Глубокие сети, обученные с шумом, работают лучше для той же интенсивности внутреннего шума, которая использовалась во время обучения, но иногда даже для больших. В рекуррентной сети влияние некоррелированного аддитивного шума может быть значительно уменьшено, если шум добавляется во время обучения. Даже самозамкнутые эхо-сети работают немного лучше. Коррелированный шум более критичен для рекуррентных сетей. Были рассмотрены следующие типы шумового воздействия: аддитивное коррелированное, аддитивное некоррелированное, мультипликативное коррелированное и мультипликативное некоррелированное. Исходя из этого можно дать следующую общую рекомендацию по реализации аппаратных нейронных сетей. Как правило, включение шума в процесс обучения повышает устойчивость нейронных сетей в будущем. Поэтому, если и обучение сети, и настройка связей происходят физически, это автоматически делает сеть более устойчивой к внутренним шумам. Если же сеть обучается на компьютере, а связи позже реализуются в физической установке, мы рекомендуем обучать сеть с внутренним шумом. Результаты отражены в работах [2,3]. В предыдущем году выполнения данного проекта была предложена аналитическая оценка-предсказание влияния шума на обученные глубокие сети и рекуррентные сети и был проведен анализ работы сетей в зависимости от типа и интенсивности шумового воздействия. В этом году аналогичная оценка была предложена для сверточных сетей. Было показано, что аддитивные шумы (как коррелированный, так и некоррелированный) в сверточной сети накапливаются сильнее, чем в сети без свёрточного слоя. Зависимости точности работы сети от интенсивности мультипликативного коррелированного шума выглядят одинаково для сетей со свёрточным слоем и без, а аналогичные зависимости для мультипликативного некоррелированного шума выглядят гораздо лучше для сети со свёрточным слоем. Использование слоя субдискретизации после слоя свёртки позволяет несколько улучшить работу сети и ее устойчивость к внутренним шумам. Так, использование MeanPooling и MaxPooling позволяет существенно поднять точность при наличии аддитивного шума в свёрточном слое. Что же касается мультипликативного шума, то здесь ситуация не такая однозначная. Использование MeanPooling приводит примерно к тому же результату, что и отсутствие слоя субдискретизации. Для мультипликативного коррелированного шума сеть с MaxPooling обладает изначально большей точностью, а скорость спадания точности при увеличении интенсивности шума примерно такая же, как для сети с MeanPooling или для сети без слоя субдискретизации. Что же касается мультипликативного некоррелированного шума, использование MaxPooling в этом случае делает сеть менее устойчивой к шуму. Эти результаты отражены в статье [4]. Для всех типов шумового воздействия была предложена аналитическая оценка-предсказание влияния шума на обученную сверточную нейронную сеть. Было показано, что наряду с интенсивностью шумового воздействия важны среднее и среднее квадратическое значения матрицы связи, которая следует за зашумленным слоем свертки. Наличие слоя субдискретизации (pooling layer) после сверточного слоя значительно снижает влияние шума, однако использование MaxPooling не рекомендуется в сетях с любым мультипликативным шумом. Перечисленные результаты были отражены в работе [5] [1] N. Semenova “Impact of white Gaussian internal noise on echo state neural networks” // European Physical Journal – Special Topics (принята к публикации). https://arxiv.org/abs/2405.07670 [2] I. Kolesnikov, D. Maksimov and N. Semenova, "How internal noise impacts simplified deep neural network during training" // IEEE Xplore «2024 8th Scientific School Dynamics of Complex Networks and their Applications (DCNA), 2024, pp. 128-130, doi: 10.1109/DCNA63495.2024.10718635. [3] I.D. Kolesnikov, N. Semenova "Internal noise in feedforward and echo state networks helps with learning" (10 страниц) – На момент подписания отчета (13 мая) статья проходит второй этап рецензирования в журнале “Chaos” https://arxiv.org/abs/2504.13778 [4] Семенова Н.И. «Влияние внутреннего шума на точность работы свёрточной нейронной сети» – На момент подписания отчета (13 мая) статья проходит четвертый этап рецензирования в журнале «Известия высших учебных заведений: прикладная нелинейная динамика». [5] I.D. Kolesnikov, N. Semenova “Impact of internal noise on convolutional neural networks” (8 страниц) – На момент подписания отчета (13 мая) статья проходит второй этап рецензирования в журнале “Chaos”. http://arxiv.org/abs/2505.06611

Публикации

6. Семенова Н.И. Impact of white Gaussian internal noise on echo state neural networks European Physical Journal - Special Topics (год публикации - 2025)

Возможность практического использования результатов
Тематика проекта носит в первую очередь фундаментальный характер. На данный момент результаты не были внедрены в практическую деятельность. В дальнейшем планируется применить полученные результаты в аналоговых нейронных сетях, реализованных в оптическом эксперименте.