КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 24-21-00386
НазваниеИсследование процессов посменного применения машины экстремального обучения (как режима функционирования) и глубокого обучения (как режима сна) для создания инкрементных методов обучения искусственных нейронных сетей
РуководительОрлов Алексей Александрович, Доктор технических наук
Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых", Владимирская обл
| Период выполнения при поддержке РНФ | 2024 г. - 2025 г. |
Конкурс№89 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами».
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-726 - Системы и технологии интеллектуального анализа данных и распознавания образов
Ключевые словаинкрементное машинное обучение, онлайновое машинное обучение, искусственные нейронные сети, машина экстремального обучения
Код ГРНТИ28.23.37
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
Проект направлен на исследование процессов посменного (поочередного с повторением) применения машины экстремального обучения для корректировки весов только выходного слоя сети (режима функционирования) и обратного распространения ошибки (глубокого обучения) для корректировки всех весов сети (режима сна) с целью решения фундаментальной научной проблемы создания высокоэффективных инкрементных (в том числе онлайновых) методов обучения (с учителем) искусственных нейронных сетей. Актуальность обозначенной проблемы связана с необходимостью проведения исследований в области интеллектуального анализа для решения большего множества прикладных задач повышенной сложности, в которых требуются высокоточные и быстродействующие инкрементные методы обучения искусственных нейронных сетей, работающие в условиях малого объема обучающей выборки, а также адаптирующиеся в реальном масштабе времени под изменения внешних условий на этапе функционирования. Иначе говоря, на практике возникает задача "мгновенного" и одновременно точного реагирования на каждый обучающий пример, т.е. после обучения на одном примере сеть сразу должна с заданной точностью его повторить (выдавать ответ, соответствующий обучающему примеру). Итерационные методы обучения нейросетей (включая популярные методы обучения как обучение с подкреплением, состязательные модели) имеют плавную сходимость, поэтому не позволяют достичь такого эффекта. Исключение составляет машина экстремального обучения, в которой возможно также последовательное обучение. Но машина экстремального обучения обладает недостатками, связанными с отсутствием глубокого обучения, что ограничивает ее использование на практике. Существуют довольно новые методы быстрого обучения, в которых в качестве обучающей выборки применяются мета-примеры. Но эти методы требуют генерации специальных синтетических данных, отличаются малой изученностью и слабой пригодностью на практике, в связи с чем данные методы пока подвергаются критике.
В основе проекта лежит идея создания высокоэффективных инкрементных нейросетей, использующая совокупность следующих взаимосвязанных принципов:
- нейросеть (в качестве нейросети рассматривается многослойный персептрон) может находиться в двух режимах (в режиме функционирования и режиме сна);
- в режиме функционирования сеть выдает выходные данные (ответы) на входные данные (запросы) для решения поставленной задачи интеллектуального анализа или дообучается в случае наличия обучающих примеров;
- обучение выполняется последовательно по одному примеру или последовательно пакетами примеров;
- обучение в режиме функционирования построено на основе машины экстремального обучения, в котором происходит корректировка весов только выходного слоя нейронов сети;
- для реализации инкрементного обучения в машине экстремального обучения применяется мемоизация и рекуррентное вычисление матриц системы нормальных уравнений линейной регрессии;
- в случае переобучения (возникновения больших по модулю значений весовых коэффициентов на выходном слое) сеть переходит в режим сна;
- в режиме сна выполняется передача части значений весов выходного слоя на нижние слои нейронов сети (веса с выходного слоя "растекаются" на нижние слои с помощью метода обратного распространения ошибки);
- для обучения сети в режиме сна используются ответы, которые выдает та же сеть на сгенерированные случайным образом запросы (иначе говоря, сеть заново обучает сама себя, но уже другим методом);
- дополнительно применяется фаза сна (часть режима сна), в которой выполняется уменьшение (по модулю) значений весов нейронов путем деления одного нейрона на два (система которых эквивалентна разделенному нейрону);
- режимы функционирования и сна поочередно сменяют друг друга, длительность и момент смены которых зависят от значений весовых коэффициентов в нейронах сети.
Ожидаемые результаты
В ходе выполнения проекта планируется получить следующие результаты:
1. Методы и алгоритмы последовательного и пакетного обучения нейросети, основанные на машине экстремального обучения и мемоизации матриц системы нормальных уравнений линейной регрессии, позволяющие сети "мгновенно" (за одну итерацию вычислений) и точно реагировать на каждый обучающий пример.
2. Методы и алгоритмы обучения нейросети в режиме сна, основанные на передаче части значений весов на нижние слои нейронов рекуррентно без сохранения значений весовых коэффициентов, вычисленных в режиме функционирования.
3. Метод деления нейронов, основанный на сохранении суммы весов разделенных нейронов, что не повлияет на выход сети (но сохранение суммы нарушится на следующих итерациях обучения, что будет улучшать работу сети), позволяющий снизить значения весов нейронов и адаптировать структуру сети под решаемую ей задачу.
4. Методы определения длительности и моментов смены режима работы нейросети, основанные на анализе значений весовых коэффициентов нейронов и позволяющие оптимизировать процессы обучения и функционирования сети.
Данные результаты обеспечат развитие новой тематики в области разработки инкрементных методов обучения искусственных нейронных сетей для решения большего разнообразия прикладных задач.
ОТЧЁТНЫЕ МАТЕРИАЛЫ