КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 23-19-00664

НазваниеВзаимная адаптация пользователей и интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических): методика, алгоритмы, программная реализация.

РуководительТуровский Ярослав Александрович, Доктор технических наук

Организация финансирования, регион федеральное государственное бюджетное учреждение науки Институт проблем управления им. В. А. Трапезникова Российской академии наук, г Москва

Период выполнения при поддержке РНФ 2023 г. - 2025 г. 

Конкурс№80 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами».

Область знания, основной код классификатора 09 - Инженерные науки, 09-607 - Теория человеко-машинных систем управления

Ключевые словаэргатические системы, интерфейс мозг-компьютер, окулографический интерфейс, миографический интерфейс, обучение

Код ГРНТИ28.29.57


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Актуальность проблемы взаимодействия, адаптации и взаимного обучения «операторской» и «технической» частей эргатической системы проистекает из постоянно усложняющейся структуры подобных систем, появлением наряду с достаточно простыми «передаточными функциями» внутри систем, процедур на порядок более сложных, включающих в себя элементы машинного обучения, искусственного интеллекта, и, обеспечивающего таким образом, процедуру принятия решения и выполнения указанного решения «технической» частью этой системы в зависимости от целого ряда факторов включая не только команды оператора, но и его состояние, состояние самой системы, параметры окружающей среды и т.д.. При этом следует отметить и расширение возможностей оператора для генерации команд. Помимо традиционных подходов в управлении с использованием механических движений верхними и нижними конечностями интерес представляют перспективные направления такие как голосовое управление, интерфейсы мозг-компьютер, миографические, окулографические, эмоционально-зависимые интерфейсы, системы контроля состояния оператора, выходящие за пределы лабораторий и получающие всё более широкое распространение. Таким образом, актуальной представляется как теоретическая разработка так и практическая реализация на её основе моделей, методов и алгоритмов оценки взаимной адаптации/обучения в процессе работы «операторского» и «технического» компонентов эргатической системы, для оценки возможностей повышения эффективности её функционирования. Целью проекта является оценка процесса взаимной адаптация в ходе управления пользователей и интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических) и разработка о основе этой оценки технических решений повышающих эффективность управления эргатическими системами Основными результатами работы будут являться 1. Модели, методы и алгоритмы алгоритмов оценки динамики генерируемых в ходе работы в рамках эргатической системы оператором сигналов и паттернов команд. Эмпирические данные об изменениях состояния оператора при работе с интерфейсами мозг-компьютер, окулографическими, миографическими с точки зрения обучения работе в эргатической системе после этапа «тренировочного» обучения 2. Модели, методы и алгоритмы изменения параметров функционирования устройства-эффектора при самообучении управляющих технических систем, в рамках машинного обучения, обеспечивающие максимальную из набора исследуемых вариантов скорость обучения в рамках машинного обучения. Модели, методы и алгоритмы тестирования диагностики программно-аппаратной части системы состояния оператора, выделения канала/группы генерируемых оператором сигналов, по котором можно будет определять вероятную оценку оператором работы системы. Эмпирическая база данных по управлению указанными интерфейсами эргатических систем различного профиля. 3. Разработанные методы и алгоритмы, в сочетании с эмпирическими данными, позволяющие произвести оценку, исходя из состояния оператора, и особенностей архитектуры «технической части» эргатической системы возможности детекции успешного распознавания как ошибок операторской деятельности, так и реакции оператора на некорректную работу системы. Данные о динамики самообучения эргатических систем различных архитектур для я интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических)

Ожидаемые результаты
1. Модели, методы и алгоритмы алгоритмов оценки динамики генерируемых в ходе работы в рамках эргатической системы оператором сигналов и паттернов команд. Эмпирические данные об изменениях состояния оператора при работе с интерфейсами мозг-компьютер, окулографическими, миографическими с точки зрения обучения работе в эргатической системе после этапа «тренировочного» обучения 2. Модели, методы и алгоритмы изменения параметров функционирования устройства-эффектора при самообучении управляющих технических систем, в рамках машинного обучения, обеспечивающие максимальную из набора исследуемых вариантов скорость обучения в рамках машинного обучения. Модели, методы и алгоритмы тестирования диагностики программно-аппаратной части системы состояния оператора, выделения канала/группы генерируемых оператором сигналов, по котором можно будет определять вероятную оценку оператором работы системы. Эмпирическая база данных по управлению указанными интерфейсами эргатических систем различного профиля. 3. Разработанные методы и алгоритмы, в сочетании с эмпирическими данными, позволяющие произвести оценку, исходя из состояния оператора, и особенностей архитектуры «технической части» эргатической системы возможности детекции успешного распознавания как ошибок операторской деятельности, так и реакции оператора на некорректную работу системы. Данные о динамики самообучения эргатических систем различных архитектур для я интерфейсов человек- компьютер(мозг-компьютер, окулографических, миографических) 4. Программный и/или программно-аппаратный комплекс, позволяющий осуществлять мониторинг состояния оператора в аспекте динамики его обучения в ходе управления эргатической системой. 5. Теоретические подходы и математические модели обеспечивающие модификацию алгоритмов машинного обучения «технической» части эргатической системы в ходе её непосредственной работы с оператором, с целью увеличения эффективности(скорости, точности, эргономичности) работы эргатической системы. 6. Методы и алгоритмы определения и возможной модификации взаимного адаптационного потенциала «операторской» и «технической» части эргатических систем. 7. Результаты тестирования информационных эргатических систем взаимной адаптации на робототехнических устройствах и их моделях демонстрирующие возможности дальнейшего развития проекта, особенности работы с динамически-обучающимся оператором разных схем, алгоритмов и парадигм машинного обучения.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2023 году
В рамках первого года работы над проектом проведена серия экспериментов, ставящая в рамках целей проекта задачу сбора данных о работе оператора в рамках эргатической системы. Использовались следующие интерфейсы: мозг-компьютер (нейрокомпьютерный), окулографический, миографический. В качестве контрольных данных были получены результаты управления устройствами на основе управления движениями верхней конечности или головы. Полученные результаты позволили, на основе имеющегося задела создать линейку тренажеров, которые будут использованы для дальнейшего исследования взаимной адаптации оператора и технической части эргатической системы. Проведен эксперимент по выявлению индивидуально – типологических особенностей распознавания пользователем реальных и модельных сигналов электроэнцефалограммы в рамках задач, связанных с конструированием тренажеров эргатических систем. Ключевым тестом было прохождение теста в виде разработанного авторами оригинального программного обеспечения с целью выявления способности отличить реальную энцефалограмму от изображения сгенерированного программой. Анализ корреляционых зависимостей, показал, что испытуемые, давшие лучшие результаты на этапе обучения, улучшают свои показатели на этапе эксперимента без обратной связи. Испытуемые с аудиальной ведущей перцептивной системой дают худшие результаты на этапе эксперимента без обратной связи, чем испытуемые с ведущими визуальной и кинестетической перцептивными системами. Испытуемые с более высоким уровнем тревожности выдают более низкие показатели в ходе прохождения эксперимента на обоих этапах. На основе полученных данным методами деревьев классификации и ИНС разработан алгоритм предсказания эффективности работы пользователя в задачах требующих выделения особенностей состояния управляемой системы. Полученные результаты будут применены для конструирования тренажеров, обеспечивающих контроль и коррекцию взаимной адаптации оператора и технической части эргатической системы. Проведен эксперимент для изучения влияния различных параметров (частота дискретизации, пороги фильтрации, порядки фильтров) на точность классификации как реакции оператора, так и электроэнцефалограмм полученных в ходе генерации команд управления. Выявлено, что порядок фильтра Баттерворта, как одного из наиболее распространённых в анализе после 6-го значительно влияет на точность моделей. Были разработаны и оптимизированы различные модели машинного обучения, включая логистическую регрессию, случайный лес, XGBoost и LSTM, для эффективной классификации данных ЭЭГ. Эти модели показали значительную точность в классификации, особенно LSTM, Разработана и изучена модель работы эргатической системы в которой предлагается разбить работу с системой на два этапа: обучение оператора и классификатора, а затем работу оператора с классификатором, в ходе которой параметры классификатора меняются. Поскольку состояние оператора изменяется в процессе работы, это приводит к снижению точности распознавания системой. При этом, реакции оператора на успешное или неуспешное детектирование программно-аппаратным комплексом эргатической системы генерируемых им команд может непосредственно в ходе работы (а не только обучения) служить информацией для коррекции алгоритмов обработки биомедицинских сигналов оператора, несущих команды управления. В ходе работы проведено моделирование метода совместного обучения оператора в виде изменения генерируемых им паттернов с использованием данных о его психофизиологическом состоянии в процессе работы с эргатической системой, которая так же в рамках взаимной адаптации меняет параметры своей работы. Экспериментальные результаты показывают, что некоторые классификаторы требуют обучения нового классификатора значительно реже, чем другие, к таковым можно отнести метод случайного леса и построение ансамблей классификаторов ADABoost. |Иные деревья решений часто обновляются без существенного изменения решающей поверхности.

 

Публикации

1. Вольф Д., Туровский Я, Исхакова А., Мещеряков Р Evaluation of EEG Data for Zonal Affiliation of Brain Waves by Leads in a Robot Control Task Springer, ICR 2023: Interactive Collaborative Robotics pp 103–115 (год публикации - 2023) https://doi.org/10.1007/978-3-031-43111-1_10

2. Вольф Д., Туровский Я, Мещеряков Р., Исхакова А. Human identification by dynamics of changes in brain frequencies using artificial neural networks Springer, SPECOM 2023. Lecture Notes in Computer Science, vol 14338. Springer, pp 271–284. (год публикации - 2023) https://doi.org/10.1007/978-3-031-48309-7_23

3. Вольф Д.А., Мещеряков Р.В., Искахова А.О. Интерактивный четвероногий робот класса фелидов с блоком нейронной обработки "Новые технологии", № 10, Том 24, с 542-550 (год публикации - 2023) https://doi.org/10.17587/mau.24.542-550

4. Туровский Я. А., Борзунов С.В., Алексеев В.Ю. Информационная система оценки подготовки оператора к условиям управления эргатической системой в условиях отсутствия обратной связи Программная инженерия., Программная инженерия. 2023. Том 14, № 9. С. 460—468. (год публикации - 2023) https://doi.org/10.17587/prin.14.460-468

5. Туровский Я.А., .Алексеев В.Ю, Токарев Р.А. «Сенсорные особенности операторов в задачах управления эргатическими системами при отсутствии зрительной обратной связи» ООО “ИКЦ “АКАДЕМКНИГА”, - (год публикации - 2024)

6. Туровский Я.А., Тищенко В.А., Киселев Е.А., Устименко Т.А., Адоньева А.А. Индивидуально – типологические особенности распознавания реальных и модельных сигналов электроэнцефалограммы Брянский государственный технический университет (Брянск), 2023. № 4(22). С. 405-412 . (год публикации - 2023) https://doi.org/0.30987/2658-4026-2023-4-405-412

7. Вольф Д., Исхакова А. On the Task of Dividing EEG Data by Brain Zones for Application in Robot Control IEEE, ICR 2023: Interactive Collaborative Robotics pp 103–115 (год публикации - 2023) https://doi.org/10.1109/MLSD58227.2023.10304059

8. - ПОЛЕТ СИЛОЙ МЫСЛИ: ДОБРО ПОЖАЛОВАТЬ В НЕЙРОПИЛОТЫ Информация взята с портала «Научная Россия» (https://scientificrussia.ru/) «Научная Россия» - электронное периодическое издание, - (год публикации - )