Аннотация результатов, полученных в 2018 году
Наибольшее внимание в 2018 году было уделено адаптации методов глубокого обучения к задаче автоматического распознавания по ЭЭГ и МЭГ фиксаций взгляда, используемых для отдачи команды компьютеру. В частности, были адаптированы к задачам интерфейса глаз-мозг-компьютер (ИГМК) и протестированы на записанных в парадигме ИГМК данных (МЭГ и частично ЭЭГ) искусственные нейронные сети с глубокой архитектурой, а также методика подбора гиперпараметров таких сетей. При использовании в классификации ЭЭГ, записанной в парадигме ИГМК, искусственной нейронной сети EEGNet (Lawhern et el., 2016, 2018) с оптимизированными гиперпараметрами получено улучшение показателя качества классификации ROC AUC на тестовой выборке, не использовавшейся ни в обучении, ни в оптимизации гиперпараметров, до 0,79 ± 0,08 (средн. ± ст.откл.), что на 16 % превосходило значение для ранее применявшегося классификатора sLDA на той же выборке (13 испытуемых). Этот результат показал наличие в ЭЭГ, сопровождающей фиксации взгляда, используемые для управления, значительно большего объема информации, полезной для классификации, чем показывали предыдущие результаты, а также то, что значительно бОльшее число «управляющих» фиксаций может быть успешно классифицированно (априори нельзя было исключить, что в части таких фиксаций «маркеры управления» вообще отсутствуют). Результат также показал особую важность углубленной настройки гиперпараметров сети. Такая настройка будет использоваться и в дальнейшей работе по проекту. Существенно то, что улучшения удалось достичь еще без использования МЭГ, что, во-первых, может иметь большое прикладное значение, а во-вторых, дополняет возможности повышения точности классификации, которые могут обеспечить совместное использование МЭГ и ЭЭГ, а также оперантное обусловливание. Впервые проведена регистрация МЭГ и ЭЭГ, синхронизированных с регистрацией движений глаз, во время выполнения испытуемыми (n=23) игровых задач, требовавших управления компьютером с помощью фиксаций взгляда. Впервые выявлены различия в МЭГ перед фиксациями взгляда, используемыми для намеренной подачи команды компьютеру, и спонтанными фиксациями взгляда. Различия были наиболее выражены над фронтальной корой, как в медиальных, так и в дорзолатеральных регионах левого полушария. Значение этого результата состоит в том, что на его основе может стать возможным значительно повышение точности классификации в ИГМК, а также сверхранняя детекция намерения (еще до начала управляющей фиксации взгляда), на основе которой можно попытаться создать особо быстрый ИГМК. Кроме того, был выполнен ряд других работ, прежде всего методического характера, подготавливающих запуск ИГМК на основе МЭГ+ЭЭГ в режиме, приближенном к реальному времени (онлайн-режим), а также нацеленных на повышение точности его работы.

Аннотация результатов, полученных в 2019 году
В 2019 году в проекте был получен ряд принципиально новых результатов о различиях вызванного магнитного ответа мозга (ВМО) между спонтанными фиксациями взгляда и фиксациями, используемыми для «глазоуправления» – подачи команд компьютеру с помощью взгляда. ВМО, синхронизированный по фазе с моментом начала фиксации, был наиболее выражен на интервале [100 300] мс после начала фиксации и локализован преимущественно в левом полушарии коры головного мозга. Максимум эффекта затрагивал (i) лобные сенсоры, расположенные над задними отделами лобной доли, соответствующие расположению фронтальных глазодвигательных полей; (ii) теменно-височные сенсоры над надкраевой извилиной, входящей в мозговую систему произвольного контроля внимания; (iii) в меньшей степени, крайние затылочно-височные сенсоры над затылочно-височной извилиной, где локализованы зоны вентрального зрительного потока. Активация передних глазодвигательный полей и вентральных теменных зон системы произвольного внимания ранее наблюдалась (в фМРТ) в условиях, требующих произвольного торможения перемещения взгляда к внешнему стимулу (Matsuda et al. 2004; Tu et al. 2006; Ettinger et al, 2008), однако мы впервые показали, что активация этих же зон коры возникает при намеренной остановке взгляда с целью управления в отсутствие какого-либо внешнего сигнала. Более того, характерный «нейронный отпечаток» управляющей фиксации появляется в ВМО через 150-250 мс после ее начала, и это позволяет рассчитывать на использование ВМО для настройки и обучения алгоритмов распознавания управляющих фиксаций в интерфейсах глаз-мозг-компьютер (ИГМК). Существенно, что перечисленные эффекты не были связаны ни с корректирующими фиксационными движениями глаз, ни с планированием последующей саккады. В более широком плане эти результаты впервые дают ключ к механизмам мозга, участвующих в обеспечении намеренного управления взглядом в ситуации, когда это управление полностью произвольно, а не является откликом на зрительные стимулы или модуляцией таких откликов. Эффективность статистического анализа данных МЭГ была значительно усилена благодаря разработке нового метода для работы с такими данными на основе смешанных линейных моделей с использованием скользящего референтного интервала (бейзлайна). На возможность создания дополнительных модификаций исходной идеи ИГМК указывают высокая точность классификации, полученная на данных МЭГ при расширении интервала анализа данных в область после подачи обратной связи в ответ на фиксацию взгляда (ROC AUC в среднем по группе была равна 0,91) и при усреднении значений на выходе классификатора ЭЭГ по последовательным намеренным и спонтанным прослеживаниям объекта (ROC AUC 0,83 при усреднении прослеживаний десяти объектов). Эти модификации имеют ограниченное значение, поскольку позволяют определять тип фиксации взгляда с запозданием, однако они могут представлять интерес для разработки на их основе нейроадаптивных технологий, где могли бы, по-видимому, использоваться для оценки уровня ожидания обратной связи. На этапе 2019 года в рамках проекта был также изучен широкий спектр возможностей повышения точности классификации в ИГМК путем подбора, в том числе автоматизированного, гиперпараметров искусственных нейронных сетей для классификации ЭЭГ и МЭГ сигналов. При этом был подтвержден и уточнен выбор методик, сделанный на предыдущем этапе. Проведен также ряд дополнительных экспериментальных исследований, позволивших уточнить другие вопросы, связанные с разработкой технологии ИГМК.

Аннотация результатов, полученных в 2020 году
В записях магнитоэнцефалограммы (МЭГ), сделанных на предыдущих этапах работы, были выявлены осцилляторные феномены, различающие спонтанные фиксации взгляда и фиксации, намеренно используемые для отдачи команд компьютеру. Наиболее выраженной была реакция десинхронизации в тета-диапазоне (3..7 Гц), начинающаяся в ~200-250 мс после начала фиксации и нарастающая к моменту подачи обратной связи. Эта реакция была характерна как для спонтанных, так и для намеренных фиксаций, однако для намеренных она оказалась значимо сильнее. Реакция была статистически значима для большинства сенсоров и имела фокус в теменно-затылочной области. Второй по выраженности была синхронизация в альфа-диапазоне в интервале -100...200 мс, имеющая кластер значимых сенсоров в фронто-центральных областях правого полушария. Результаты классификации МЭГ после удаления частот выше 7 Гц значимо не отличались от более широкополосного сигнала (0...45 Гц). Остаётся неясным, использует ли нейросетевой классификатор преимущественно компоненты индуцированного или вызванного ответа (на предыдущем этапе мы показали, что статистически различающие намеренные и спонтанные фиксации компоненты МЭГ, связанные с фиксациями по фазе, в основном представляют собой медленные изменения амплитуды сигнала). Тем не менее, полученные результаты позволяют уточнить организацию предобработки МЭГ в интерфейсе глаз-мозг-компьютер (Vasilyev et al., in prep.). Метод разделения компонентов сигнала на основе деконволюции, разработанной для анализа ЭЭГ, зарегистрированной на фоне естественных движений глаз (Dimigen, Ehinger, 2000), был адаптирован к МЭГ, зарегистрированной при осуществлении “глазоуправления”. Он позволил успешно избавиться от компонентов ответа, связанных с движениями глаз, и подтвердил наличие связанного с намеренным удержанием медленного компонента МЭГ, развивающегося с ~200 мс после начала первичной фиксации. Показана общность формы и топографии ответов, возникающих при первичном выборе и его подтверждении с помощью задержки взгляда на специальной позиции на экране (Vasilyev et al., in prep.). Еще один метод был разработан для уточнения интерпретации весов сверточной нейронной сети LF-CNN (Zubarev et al., 2019) для прояснения того, какие сенсоры и моменты времени вносят основной вклад в классификацию. С его помощью подтверждено отсутствие существенного вклада артефактов окулографического происхождения в классификацию намеренных и спонтанных фиксаций по данным МЭГ (Ovchinnikova et al., under review). Была показана возможность улучшения точности классификации намеренных и спонтанных фиксаций взгляда в задаче “глазоуправления” за счет использования для обучения классификатора данных повторных сессий регистрации МЭГ, проводимых в разные дни. При использовании сверточной нейронной сети LF-CNN (Zubarev et al., 2019) показатель точности классификации ROC AUC вырос в среднем по группе из 5 человек с 0.64 (обучение на данных того же дня, когда получали данные для тестовой выборки) до 0.72 (обучение на 3-4 дополнительных сессиях). Поскольку эти результаты получены на небольшой группе (5 человек, из них классификация улучшилась у 4 человек), результаты носят предварительный характер, но уже представляется высоко вероятным, что МЭГ несет существенно больше полезной для интерфейса глаз-мозг-компьютер (ИГМК) информации, чем можно было судить по ранее полученным результатам классификации. Кроме того, эти результаты показывают, что обучение классификатора на записях дополнительных сессий, проводимых до онлайн-экспериментов, может стать полезным дополнением к методике. Детальное сравнение глазодвигательной активности при удержании взгляда спонтанно и с целью управления показало, что при намеренном удержания взгляда доводящая саккада приводит взгляд в центр целевого объекта (фовеация), после чего микросаккадические движения подавляются, тогда как при спонтанных фиксациях доведения в центр не происходит и саккады малой амплитуды возникают регулярно. Эти результаты будут использоваться нами для улучшения классификации намеренных и спонтанных фиксаций взгляда. Разработана методика, позволяющая анализировать BOLD-сигнал, связанный с близко расположенными глазодвигательными “событиями”. При ее применении к данным фМРТ эксперимента, в котором испытуемые играли в томографе в специально разработанную игру с помощью задержек взгляда, показано, что наиболее быстрые реакции могут быть зарегистрированы уже через 2-3 секунды. Как показал анализ фазово-амплитудных зависимостей BOLD ответов, фиксация взгляда, подтверждающая выбор, оказалась источником наиболее выраженного сигнала в фМРТ (аналогично результатам анализа данных МЭГ). Выявлены области мозга, для которых характерна активация в задаче “глазоуправления”. BOLD-ответы, связанные с “глазоуправлением”, существенно различались по фазе (времени появления и времени их пика относительно события) в различных отделах головного мозга. Фазы ответа отличались как в большую, так и в меньшую сторону относительно канонической гемодинамической функции в диапазоне задержек от -3 до +2 секунд, и при этом были гомогенны и реперезентативны для конкретных топографических кластеров. Доказана неслучайность отдельных топографических кластеров и их высокая специфичность к генерации ответов с заданной и отличной от канонической гемодинамической функцией фазой. Показана высокая эргономичность простого (не требующего использования технологий распознавания речи) голосового подтверждения выбора экранных объектов с помощью взгляда в случае его “конгруэнтности” контексту основной задачи, выполняемой пользователем (Zhao et al., 2020). Однако в случае, когда подтверждение выполнялось с помощью частично иррелевантного задаче слова (“ты”), результаты были хуже (значимо, p=0.0008, для удобства и незначимо, p=0.33, для времени выбора), чем при подтверждении произнесением номера объекта (задача предполагала последовательный выбор объектов в порядке их номеров и в обратном порядке). Поскольку обеспечить полностью “конгруэнтное” подтверждение выбора, осуществляемого с помощью взгляда, зачастую сложно или невозможно, эти результаты подтверждают высокую перспективность использования для подтверждения пассивных интерфейсов мозг-компьютер (при которых вопрос о конгруэнтности снимается отсутствием необходимости в дополнительных действиях пользователя) -- разработке этой технологии посвящен и наш проект. На данном этапе выполнения проекта также была завершена подготовка публикаций по результатам, полученным на предыдущих этапах: Dubynin et al. (under review), Ovchinnikova et al. (under review), Zhao et al. (under review). Нам пришлось существенно скорректировать планы работы по проекту, поскольку выяснилось, что медленное продвижение в сторону повышения точности классификации могло не позволить добиться ее нужного уровня в экспериментах до завершения 2020 года, а в этом случае проведение новых экспериментов не имело смысла. Основной причиной медленного продвижения был недостаток знаний о работе мозга и даже об особенностях самой глазодвигательной активности при “глазоуправлении” -- в литературе практически отсутствуют какие-либо исследования этих вопросов, не считая работы Shishkin et al. (2016), выполненной в рамках нашего предыдущего проекта, поддерживавшегося РНФ. В связи с этим, а также с учетом невозможности полноценного выполнения программы экспериментов с участием испытуемых в условиях эпидемии ковида, большинство запланированных экспериментальных исследований было заменено углубленными исследованиями данных, полученных в ранее проводившихся экспериментах, в том числе с разработкой новых методических решений. Результаты, полученные благодаря этим исследованиям, выявили дополнительные возможности для создания высокоэффективного классификатора фиксаций взгляда, который может оказаться полезным не только в составе интерфейсов глаз-мозг-компьютер (ИГМК), но и в других системах взаимодействия человека и машины.