Аннотация результатов, полученных в 2024 году
За первый год реализации проекта получены следующие результаты: 1. Методы и алгоритмы последовательного и пакетного обучения нейросети, основанные на машине экстремального обучения и мемоизации матриц системы нормальных уравнений линейной регрессии. Разработаны методы и алгоритмы инкрементного последовательного и пакетного обучения нейронных сетей на основе машины экстремального обучения, которые включают механизм мемоизации матриц системы нормальных уравнений линейной регрессии, позволяющий сократить время обучения по сравнению с классическими методами до 300 раз. Получены результаты исследования влияния ключевых параметров на работу алгоритма посменного инкрементного обучения в контексте нейронных сетей. Проведенные эксперименты позволили определить влияние числа нейронов в скрытом слое, типов функций активации и значений весовых коэффициентов на производительность алгоритма. Результаты подчеркивают значимость этих параметров в формировании обучающих возможностей и общей эффективности алгоритма посменного инкрементного обучения в контексте нейронных сетей. 2. Методы и алгоритмы обучения нейросети в режиме сна, основанные на передаче части значений весов на нижние слои нейронов. Разработан алгоритм посменного инкрементного обучения, адаптированный для нейронной сети к новым данным и задачам без полного переобучения. Алгоритм включает два основных состояния: состояние функционирования и состояние сна. В состоянии функционирования нейронная сеть либо генерирует выходные данные на основе входных, либо проходит инкрементное обучение на новых примерах. Обучение в этом состоянии основано на использовании машины экстремального обучения. Машина экстремального обучения настраивает только веса выходного слоя, что позволяет модели быстро адаптироваться к новым данным, сохраняя неизменной общую структуру сети. Когда модель нейросети начинает демонстрировать признаки переобучения или когда веса выходного слоя становятся слишком большими, она переходит в состояние сна. В этом состоянии применяется метод обратного распространения ошибки для глобальной оптимизации всех весов сети. Это помогает предотвратить переобучение и улучшить общую производительность модели. Кроме обратного распространения ошибки, машина экстремального обучения используется для инкрементного обучения на псевдопримерах, что эффективно проводит консолидацию знаний о предыдущих задачах и улучшает адаптацию к новым данным. Псевдопримеры позволяют нейронной сети сохранять и адаптировать свои знания, избегая катастрофического забывания. Они способствуют улучшению способности модели к обобщению и повышению качества обучения. Проведено исследование методов генерации псевдопримеров для обучения нейронных сетей в рамках разработанного алгоритма посменного инкрементного обучения, которое показало эффективность методов, основанных на вариационных автокодировщиках, и методов GANs, обеспечивших наивысшую точность по метрике F1 Micro и значительно улучшающих сбалансированность предсказаний. 3. Результаты экспериментального исследования разработанных методов и алгоритмов. Выполнено исследование разработанных методов и алгоритмов на примере решения задачи распознавания активности человека и задачи классификации изображений маркировки на металлических поверхностях промышленных изделий. Показано, что разработанный метод посменного инкрементного обучения нейронной сети, основанный на использовании инкрементной машины экстремального обучения и метода обратного распространения ошибки, обеспечивает точность инкрементного обучения до 96% по метрике F1-micro на данных о физической активности человека. Результаты исследования разработанного метода на примере решения задачи классификации символов маркировки показали возможность дообучения модели нейросети в процессе функционирования. При этом наибольшую оценку точности (до 95%) при дообучении нейросети показала модель VGG16.

Аннотация результатов, полученных в 2025 году
За второй год реализации проекта получены следующие результаты: 1. Метод деления нейронов с сохранением суммы весов для адаптивной архитектуры нейронной сети. Разработан и исследован принципиально новый алгоритм динамической структурной адаптации нейронных сетей, направленный на преодоление проблемы переобучения при обучении на малых выборках. Алгоритм автоматически идентифицирует «проблемные» нейроны, склонные к излишней специализации, на основе двух формализованных метрик: степени обученности (отражает величину последних изменений весов) и упругости (характеризует стабильность выхода). При превышении пороговых значений выбранный нейрон делится на два новых, при этом их веса инициализируются с соблюдением принципа консервации знания: суммарный взвешенный вход для следующего слоя остаётся неизменным. Это обеспечивает минимальный сбой в работе сети на уже изученных данных при увеличении её вычислительной мощности. Эксперименты на синтетических последовательных задачах подтвердили, что предложенный метод позволяет повысить общую точность модели и улучшить баланс между способностью усваивать новое и сохранять старое знание по сравнению с сетями фиксированной архитектуры. 2. Усовершенствованный метод управления режимами «функционирования» и «сна» в инкрементном обучении. Проведена глубокая доработка и формализация алгоритма посменного инкрементного обучения, предложенного в первом году проекта. Разработан и апробирован комплексный критерий «усталости» сети, который определяет оптимальный момент для перехода из фазы активного обучения в фазу консолидации знаний («сон»). Критерий основан на анализе не только нормы весов, но и динамики ошибки на валидационных данных и стабильности предсказаний сети. Это позволяет более точно предсказывать приближение состояния переобучения. Кроме того, экспериментально определены оптимальные параметры фазы «сна»: длительность и методы генерации псевдопримеров, используемых для дообучения. Установлено, что короткая, но интенсивная фаза сна с использованием псевдопримеров, сгенерированных на основе предыдущих состояний сети, наиболее эффективна для закрепления знаний без потери пластичности. 3. Комплексная система для прикладной задачи идентификации объектов с инкрементальным обучением и её экспериментальная верификация. Теоретические разработки проекта были успешно применены для создания интеллектуальной системы автоматической идентификации железнодорожных колёс по маркировке в видеопотоке. Разработанный программный комплекс реализует полный конвейер обработки: обнаружение колеса, локализацию маркировки, сегментацию и классификацию символов. Ключевой особенностью системы является интеграция механизма инкрементного посменного обучения в этап классификации, что позволяет системе адаптироваться к появлению новых типов маркировки прямо в процессе эксплуатации, без остановки производства и полного переобучения. В ходе масштабных экспериментальных исследований определены оптимальные стратегии трансферного и инкрементного обучения для современных нейросетевых архитектур (YOLOv11). Установлено, что заморозка определённых слоёв (4-23) в сочетании с оптимизатором SGD и малым темпом обучения обеспечивает дообучение на новых типах символов с минимальной деградацией точности на старых (потеря всего ~1%). Проведённый сравнительный анализ показал, что разработанный гибридный подход превосходит классические методы полного переобучения по эффективности использования ресурсов и конкурирует с современными методами непрерывного обучения (такими как iCaRL и EWC) по итоговой точности, особенно в условиях ограниченной памяти.