КАРТОЧКА ПРОЕКТА,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

 

ОБЩИЕ СВЕДЕНИЯ


Номер 18-19-00593

НазваниеВысокоинтуитивное человеко-машинное взаимодействие с использованием маркеров ожидания и намерения: нейрофизиологические и нейроинженерные основы

РуководительШишкин Сергей Львович, Кандидат биологических наук

Организация финансирования, регионфедеральное государственное бюджетное образовательное учреждение высшего образования "Московский государственный психолого-педагогический университет", г Москва

Года выполнения при поддержке РНФ 2018 - 2020 

КонкурсКонкурс 2018 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами»

Область знания, основной код классификатора 09 - Инженерные науки, 05-106 - Нейробиология

Ключевые словачеловеко-машинные интерфейсы, интерфейс мозг-компьютер, нейроинтерфейсы, интерфейс мозг-машина, намерение, внимание, управление с помощью движений глаз, движения глаз, айтрекинг, видеоокулография, эргономика, психофизиология, ЭЭГ, МЭГ, интерфейсы глаз-мозг-компьютер

Код ГРНТИ15.21.35


СтатусУспешно завершен


 

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ


Аннотация
Выявление и реализация намерений человека на основе анализа сигналов мозгового происхождения лежит в основе интенсивно разрабатываемой в настоящее время технологии интерфейсов мозг-компьютер (ИМК). Однако существующие ИМК чувствительны не к самому намерению, а либо к активации моторной системы, связанной с попытками его реализации, либо к нейрофизиологическим феноменам, сопровождающим дополнительные умственные действия, опосредующие выражение намерения. Создание интерфейса, который бы как можно более непосредственно выявлял корреляты намерения в нейрофизиологических сигналах, представляет особый интерес, поскольку можно предположить, что такой новый интерфейс будет обладать новыми уникальными свойствами. Проверка этого предположения может быть проведена лишь экспериментальным путем, после создания достаточно эффективной действующей модели такого интерфейса. Именно это и предполагается сделать в данном проекте. Проект продолжит цикл исследований, ранее начатый в рамках проекта РНФ 14-28-00234 (2014-2016), в котором выявлен нейрофизиологический “маркер” произвольных действий, осуществляемых с помощью задержек взгляда, и разработан простейший вариант гибридного интерфейса глаз-мозг-компьютер (ИГМК), срабатывающего при сочетании задержки взгляда и положительного ответа классификатора электроэнцефалограммы (ЭЭГ). В новом проекте этот ИГМК будет значительно усилен благодаря использованию сочетания сигналов ЭЭГ и магнитоэнцефалограммы (МЭГ) и целого ряда дополнительных методических усовершенствований. Тем самым характеристики ИГМК будут выведены на уровень, на котором уже будет возможно проведение экспериментов для проверки возможности качественного усиления человеко-машинного взаимодействия. Помимо новизны самого по себе разрабатываемого ИГМК, новизной будут отличаться и многие методические решения, лежащие в его основе. В частности, впервые будет реализована классификация синхронно регистрируемых МЭГ и ЭЭГ в реальном времени, а также управление на основе сочетания взгляда и МЭГ. Предполагается также получение новых фундаментальных данных о динамике формирования намерения.

Ожидаемые результаты
В проекте будет разработана и реализована в действующей модели принципиально новая разновидность человеко-машинных интерфейсов, существенно превосходящая по своим возможностям современные человеко-машинные интерфейсы. Новый интерфейс глаз-мозг-компьютер (ИГМК) будет обеспечивать управление с помощь коротких задержек взгляда, связь которых с намерением отдать команду будет распознаваться «на лету» высокоэффективными статистическими классификаторами, чувствительными к маркерам намерения и ожидания в электроэнцефалограмме (ЭЭГ) и магнитоэнцефалограмме (МЭГ). Предполагается, что при использовании разработанного в проекте ИГМК оператор сможет отдавать команды компьютеру не только без физических, но и без умственных усилий – максимально легко и интуитивно, что позволит улучшить результативность использования компьютера для решения определенных видов интеллектуальных задач. Экспериментальная проверка этой гипотезы и является основной целью разработки мощного ИГМК. В случае ее подтверждения будет сделан вывод о перспективности дальнейшей разработки ИГМК такого типа с созданием их более практичных (дешевых, компактных, удобных и т.п.) реализаций для широкого круга пользователей, в том числе на основе регистрации лишь ЭЭГ и направления взгляда. Поскольку ИГМК будет обеспечивать реализацию намерений без активации моторной системы и без создания дополнительных когнитивных нагрузок, он также может оказаться полезен больным и инвалидам с различными моторными нарушениями. Большинство из задач, решаемых в проекте с целью разработки ИГМК, будут иметь также самостоятельное фундаментальное и прикладное значение: в проекте будет осуществлен поиск новых маркеров намерения и ожидания в ЭЭГ и МЭГ, разработаны новые методики классификации состояний с разной готовностью совершения действия, созданы высокоэффективные детекторы состояния ожидания (и, возможно, также наличия намерения) по ЭЭГ+МЭГ, разработана методика оперантного обусловливания амплитуды маркера (маркеров) ожидания и намерения, получены данные о динамике формирования намерения и о механизмах этого процесса.


 

ОТЧЁТНЫЕ МАТЕРИАЛЫ


Аннотация результатов, полученных в 2018 году
Наибольшее внимание в 2018 году было уделено адаптации методов глубокого обучения к задаче автоматического распознавания по ЭЭГ и МЭГ фиксаций взгляда, используемых для отдачи команды компьютеру. В частности, были адаптированы к задачам интерфейса глаз-мозг-компьютер (ИГМК) и протестированы на записанных в парадигме ИГМК данных (МЭГ и частично ЭЭГ) искусственные нейронные сети с глубокой архитектурой, а также методика подбора гиперпараметров таких сетей. При использовании в классификации ЭЭГ, записанной в парадигме ИГМК, искусственной нейронной сети EEGNet (Lawhern et el., 2016, 2018) с оптимизированными гиперпараметрами получено улучшение показателя качества классификации ROC AUC на тестовой выборке, не использовавшейся ни в обучении, ни в оптимизации гиперпараметров, до 0,79 ± 0,08 (средн. ± ст.откл.), что на 16 % превосходило значение для ранее применявшегося классификатора sLDA на той же выборке (13 испытуемых). Этот результат показал наличие в ЭЭГ, сопровождающей фиксации взгляда, используемые для управления, значительно большего объема информации, полезной для классификации, чем показывали предыдущие результаты, а также то, что значительно бОльшее число «управляющих» фиксаций может быть успешно классифицированно (априори нельзя было исключить, что в части таких фиксаций «маркеры управления» вообще отсутствуют). Результат также показал особую важность углубленной настройки гиперпараметров сети. Такая настройка будет использоваться и в дальнейшей работе по проекту. Существенно то, что улучшения удалось достичь еще без использования МЭГ, что, во-первых, может иметь большое прикладное значение, а во-вторых, дополняет возможности повышения точности классификации, которые могут обеспечить совместное использование МЭГ и ЭЭГ, а также оперантное обусловливание. Впервые проведена регистрация МЭГ и ЭЭГ, синхронизированных с регистрацией движений глаз, во время выполнения испытуемыми (n=23) игровых задач, требовавших управления компьютером с помощью фиксаций взгляда. Впервые выявлены различия в МЭГ перед фиксациями взгляда, используемыми для намеренной подачи команды компьютеру, и спонтанными фиксациями взгляда. Различия были наиболее выражены над фронтальной корой, как в медиальных, так и в дорзолатеральных регионах левого полушария. Значение этого результата состоит в том, что на его основе может стать возможным значительно повышение точности классификации в ИГМК, а также сверхранняя детекция намерения (еще до начала управляющей фиксации взгляда), на основе которой можно попытаться создать особо быстрый ИГМК. Кроме того, был выполнен ряд других работ, прежде всего методического характера, подготавливающих запуск ИГМК на основе МЭГ+ЭЭГ в режиме, приближенном к реальному времени (онлайн-режим), а также нацеленных на повышение точности его работы.

 

Публикации

1. Дубынин И.А., Яшин А.С., Шишкин С.Л. Психофизиологические индикаторы чувства авторства действия Труды VIII Международной конференции по когнитивной науке (18-21 октября 2018 г., Светлогорск, Россия), С. 352-354 (год публикации - 2018).

2. Исаченко А.В., Чжао Д.Г., Мельничук Е.В., Дубынин И.А., Величковский Б.М., Шишкин С.Л. The pursuing gaze beats mouse in non-pop-out target selection Proc. of the 2018 IEEE Int. Conf. on Systems, Man, and Cybernetics (SMC2018), - (год публикации - 2018).

3. Козырский Б.Л., Овчинникова А.О., Москаленко А.Д., Величковский Б.М., Шишкин С.Л. Classification of the gaze fixations in the eye-brain-computer interface paradigm with a compact convolutional neural network Postproceedings of the 9th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2018, Volume 145, Pages 293-299 (год публикации - 2018).

4. Козырский Б.Л., Овчинникова А.О., Шишкин С.Л. Classifying short EEG epochs with a compact convolutional neural network Opera Medica et Physiologica, Vol. 4, Suppl. S1, p. 104 (год публикации - 2018).

5. Козырский Б.Л., Овчинникова А.О., Шишкин С.Л. Estimating similarity between individual EEG datasets using a convolutional neural network Proc. of the 2018 IEEE Int. Conf. on Systems, Man, and Cybernetics (SMC2018), - (год публикации - 2018).

6. Москаленко А.Д., Козырский Б.Л., Шишкин С.Л. Space-time-frequency features and the convolutional-LSTM neural network for classifying EEG signals in an eye-brain-computer interface Opera Medica et Physiologica, Vol. 4, Suppl. S1, p. 101 (год публикации - 2018).

7. Чжао Д.Г., Исаченко А.В., Мельничук Е.В., Козырский Б.Л., Шишкин С.Л. EEG potentials related to moving object selection with gaze: a possible basis for more flexible eye-brain-computer interfaces Opera Medica et Physiologica, Vol. 4, Suppl. S1, pp. 109-110 (год публикации - 2018).

8. Шишкин С.Л., Дубынин И.А., Величковский Б.М. Consciousness and volition as obstacles and as goals in human-machine interaction Opera Medica et Physiologica, Vol. 4, Suppl. S1, pp. 108-109 (год публикации - 2018).

9. Шишкин С.Л., Дубынин И.А., Величковский Б.М. The importance of considering consciousness and volition in brain augmentation through brain-computer interfacing Frontiers Spotlight Conference «Limitless! Augmentation of Brain Function» (19-21 Sept. 2018, SwissTech Convention Center, Lausanne, Switzerland), p. 43 (год публикации - 2018).


Аннотация результатов, полученных в 2019 году
В 2019 году в проекте был получен ряд принципиально новых результатов о различиях вызванного магнитного ответа мозга (ВМО) между спонтанными фиксациями взгляда и фиксациями, используемыми для «глазоуправления» – подачи команд компьютеру с помощью взгляда. ВМО, синхронизированный по фазе с моментом начала фиксации, был наиболее выражен на интервале [100 300] мс после начала фиксации и локализован преимущественно в левом полушарии коры головного мозга. Максимум эффекта затрагивал (i) лобные сенсоры, расположенные над задними отделами лобной доли, соответствующие расположению фронтальных глазодвигательных полей; (ii) теменно-височные сенсоры над надкраевой извилиной, входящей в мозговую систему произвольного контроля внимания; (iii) в меньшей степени, крайние затылочно-височные сенсоры над затылочно-височной извилиной, где локализованы зоны вентрального зрительного потока. Активация передних глазодвигательный полей и вентральных теменных зон системы произвольного внимания ранее наблюдалась (в фМРТ) в условиях, требующих произвольного торможения перемещения взгляда к внешнему стимулу (Matsuda et al. 2004; Tu et al. 2006; Ettinger et al, 2008), однако мы впервые показали, что активация этих же зон коры возникает при намеренной остановке взгляда с целью управления в отсутствие какого-либо внешнего сигнала. Более того, характерный «нейронный отпечаток» управляющей фиксации появляется в ВМО через 150-250 мс после ее начала, и это позволяет рассчитывать на использование ВМО для настройки и обучения алгоритмов распознавания управляющих фиксаций в интерфейсах глаз-мозг-компьютер (ИГМК). Существенно, что перечисленные эффекты не были связаны ни с корректирующими фиксационными движениями глаз, ни с планированием последующей саккады. В более широком плане эти результаты впервые дают ключ к механизмам мозга, участвующих в обеспечении намеренного управления взглядом в ситуации, когда это управление полностью произвольно, а не является откликом на зрительные стимулы или модуляцией таких откликов. Эффективность статистического анализа данных МЭГ была значительно усилена благодаря разработке нового метода для работы с такими данными на основе смешанных линейных моделей с использованием скользящего референтного интервала (бейзлайна). На возможность создания дополнительных модификаций исходной идеи ИГМК указывают высокая точность классификации, полученная на данных МЭГ при расширении интервала анализа данных в область после подачи обратной связи в ответ на фиксацию взгляда (ROC AUC в среднем по группе была равна 0,91) и при усреднении значений на выходе классификатора ЭЭГ по последовательным намеренным и спонтанным прослеживаниям объекта (ROC AUC 0,83 при усреднении прослеживаний десяти объектов). Эти модификации имеют ограниченное значение, поскольку позволяют определять тип фиксации взгляда с запозданием, однако они могут представлять интерес для разработки на их основе нейроадаптивных технологий, где могли бы, по-видимому, использоваться для оценки уровня ожидания обратной связи. На этапе 2019 года в рамках проекта был также изучен широкий спектр возможностей повышения точности классификации в ИГМК путем подбора, в том числе автоматизированного, гиперпараметров искусственных нейронных сетей для классификации ЭЭГ и МЭГ сигналов. При этом был подтвержден и уточнен выбор методик, сделанный на предыдущем этапе. Проведен также ряд дополнительных экспериментальных исследований, позволивших уточнить другие вопросы, связанные с разработкой технологии ИГМК.

 

Публикации

1. - Подумать только: компьютер научится считывать мысли человека Известия, 6 февраля 2019, 00:01 (год публикации - ).

2. Велихов Е.П., Котов А.А., Лекторский В.А., Величковский Б.М. Междисциплинарные исследования сознания: 30 лет спустя Вопросы философии, № 12. С. 5–17. (год публикации - 2018).

3. Чжао Д.Г., Васильев А.Н., Козырский Б.Л., Исаченко А.В., Мельничук Е.В., Величковский Б.М., Шишкин С.Л. ЭЭГ во время выбора подвижных объектов прослеживающими движениями глаз Когнитивная наука в Москве: новые исследования. Материалы конференции 19 июня 2019 г. Под ред. Е.В. Печенковой, М.В. Фаликман. – М.: ООО «Буки Веди», ИППиП, 648-653 (год публикации - 2019).

4. Чжао Д.Г., Васильев А.Н., Козырский Б.Л., Исаченко А.В., Мельничук Е.В., Величковский Б.М., Шишкин С.Л. An expectation-based EEG marker for the selection of moving objects with gaze Proc. 8th Graz Brain-Computer Interface Conference 2019. Verlag der Technischen Universität Graz, - (год публикации - 2019).

5. Чжао Д.Г., Васильев А.Н., Козырский Б.Л., Мельничук Е.В., Исаченко А.В., Величковский Б.М., Шишкин С.Л. An EEG marker of the intentional smooth pursuit in human-machine interaction Journal of Eye Movement Research, Vol. 12, No. 7, P. 395 (год публикации - 2019).

6. Шишкин С.Л., Васильев А.Н., Нуждин Ю.О., Дубынин И.А., Свирин Е.П., Буторина А.В., Чжао Д.Г., Козырский Б.Л., Малахов Д.Г., Ушаков В.Л, Осадчий А.Е., Строганова Т.А., Величковский Б.М. Contrasting gaze-based interaction vs. spontaneous gaze behavior: EEG, MEG and fMRI studies Journal of Eye Movement Research, Vol 12 No 7 P 155 (год публикации - 2019).


Аннотация результатов, полученных в 2020 году
В записях магнитоэнцефалограммы (МЭГ), сделанных на предыдущих этапах работы, были выявлены осцилляторные феномены, различающие спонтанные фиксации взгляда и фиксации, намеренно используемые для отдачи команд компьютеру. Наиболее выраженной была реакция десинхронизации в тета-диапазоне (3..7 Гц), начинающаяся в ~200-250 мс после начала фиксации и нарастающая к моменту подачи обратной связи. Эта реакция была характерна как для спонтанных, так и для намеренных фиксаций, однако для намеренных она оказалась значимо сильнее. Реакция была статистически значима для большинства сенсоров и имела фокус в теменно-затылочной области. Второй по выраженности была синхронизация в альфа-диапазоне в интервале -100...200 мс, имеющая кластер значимых сенсоров в фронто-центральных областях правого полушария. Результаты классификации МЭГ после удаления частот выше 7 Гц значимо не отличались от более широкополосного сигнала (0...45 Гц). Остаётся неясным, использует ли нейросетевой классификатор преимущественно компоненты индуцированного или вызванного ответа (на предыдущем этапе мы показали, что статистически различающие намеренные и спонтанные фиксации компоненты МЭГ, связанные с фиксациями по фазе, в основном представляют собой медленные изменения амплитуды сигнала). Тем не менее, полученные результаты позволяют уточнить организацию предобработки МЭГ в интерфейсе глаз-мозг-компьютер (Vasilyev et al., in prep.). Метод разделения компонентов сигнала на основе деконволюции, разработанной для анализа ЭЭГ, зарегистрированной на фоне естественных движений глаз (Dimigen, Ehinger, 2000), был адаптирован к МЭГ, зарегистрированной при осуществлении “глазоуправления”. Он позволил успешно избавиться от компонентов ответа, связанных с движениями глаз, и подтвердил наличие связанного с намеренным удержанием медленного компонента МЭГ, развивающегося с ~200 мс после начала первичной фиксации. Показана общность формы и топографии ответов, возникающих при первичном выборе и его подтверждении с помощью задержки взгляда на специальной позиции на экране (Vasilyev et al., in prep.). Еще один метод был разработан для уточнения интерпретации весов сверточной нейронной сети LF-CNN (Zubarev et al., 2019) для прояснения того, какие сенсоры и моменты времени вносят основной вклад в классификацию. С его помощью подтверждено отсутствие существенного вклада артефактов окулографического происхождения в классификацию намеренных и спонтанных фиксаций по данным МЭГ (Ovchinnikova et al., under review). Была показана возможность улучшения точности классификации намеренных и спонтанных фиксаций взгляда в задаче “глазоуправления” за счет использования для обучения классификатора данных повторных сессий регистрации МЭГ, проводимых в разные дни. При использовании сверточной нейронной сети LF-CNN (Zubarev et al., 2019) показатель точности классификации ROC AUC вырос в среднем по группе из 5 человек с 0.64 (обучение на данных того же дня, когда получали данные для тестовой выборки) до 0.72 (обучение на 3-4 дополнительных сессиях). Поскольку эти результаты получены на небольшой группе (5 человек, из них классификация улучшилась у 4 человек), результаты носят предварительный характер, но уже представляется высоко вероятным, что МЭГ несет существенно больше полезной для интерфейса глаз-мозг-компьютер (ИГМК) информации, чем можно было судить по ранее полученным результатам классификации. Кроме того, эти результаты показывают, что обучение классификатора на записях дополнительных сессий, проводимых до онлайн-экспериментов, может стать полезным дополнением к методике. Детальное сравнение глазодвигательной активности при удержании взгляда спонтанно и с целью управления показало, что при намеренном удержания взгляда доводящая саккада приводит взгляд в центр целевого объекта (фовеация), после чего микросаккадические движения подавляются, тогда как при спонтанных фиксациях доведения в центр не происходит и саккады малой амплитуды возникают регулярно. Эти результаты будут использоваться нами для улучшения классификации намеренных и спонтанных фиксаций взгляда. Разработана методика, позволяющая анализировать BOLD-сигнал, связанный с близко расположенными глазодвигательными “событиями”. При ее применении к данным фМРТ эксперимента, в котором испытуемые играли в томографе в специально разработанную игру с помощью задержек взгляда, показано, что наиболее быстрые реакции могут быть зарегистрированы уже через 2-3 секунды. Как показал анализ фазово-амплитудных зависимостей BOLD ответов, фиксация взгляда, подтверждающая выбор, оказалась источником наиболее выраженного сигнала в фМРТ (аналогично результатам анализа данных МЭГ). Выявлены области мозга, для которых характерна активация в задаче “глазоуправления”. BOLD-ответы, связанные с “глазоуправлением”, существенно различались по фазе (времени появления и времени их пика относительно события) в различных отделах головного мозга. Фазы ответа отличались как в большую, так и в меньшую сторону относительно канонической гемодинамической функции в диапазоне задержек от -3 до +2 секунд, и при этом были гомогенны и реперезентативны для конкретных топографических кластеров. Доказана неслучайность отдельных топографических кластеров и их высокая специфичность к генерации ответов с заданной и отличной от канонической гемодинамической функцией фазой. Показана высокая эргономичность простого (не требующего использования технологий распознавания речи) голосового подтверждения выбора экранных объектов с помощью взгляда в случае его “конгруэнтности” контексту основной задачи, выполняемой пользователем (Zhao et al., 2020). Однако в случае, когда подтверждение выполнялось с помощью частично иррелевантного задаче слова (“ты”), результаты были хуже (значимо, p=0.0008, для удобства и незначимо, p=0.33, для времени выбора), чем при подтверждении произнесением номера объекта (задача предполагала последовательный выбор объектов в порядке их номеров и в обратном порядке). Поскольку обеспечить полностью “конгруэнтное” подтверждение выбора, осуществляемого с помощью взгляда, зачастую сложно или невозможно, эти результаты подтверждают высокую перспективность использования для подтверждения пассивных интерфейсов мозг-компьютер (при которых вопрос о конгруэнтности снимается отсутствием необходимости в дополнительных действиях пользователя) -- разработке этой технологии посвящен и наш проект. На данном этапе выполнения проекта также была завершена подготовка публикаций по результатам, полученным на предыдущих этапах: Dubynin et al. (under review), Ovchinnikova et al. (under review), Zhao et al. (under review). Нам пришлось существенно скорректировать планы работы по проекту, поскольку выяснилось, что медленное продвижение в сторону повышения точности классификации могло не позволить добиться ее нужного уровня в экспериментах до завершения 2020 года, а в этом случае проведение новых экспериментов не имело смысла. Основной причиной медленного продвижения был недостаток знаний о работе мозга и даже об особенностях самой глазодвигательной активности при “глазоуправлении” -- в литературе практически отсутствуют какие-либо исследования этих вопросов, не считая работы Shishkin et al. (2016), выполненной в рамках нашего предыдущего проекта, поддерживавшегося РНФ. В связи с этим, а также с учетом невозможности полноценного выполнения программы экспериментов с участием испытуемых в условиях эпидемии ковида, большинство запланированных экспериментальных исследований было заменено углубленными исследованиями данных, полученных в ранее проводившихся экспериментах, в том числе с разработкой новых методических решений. Результаты, полученные благодаря этим исследованиям, выявили дополнительные возможности для создания высокоэффективного классификатора фиксаций взгляда, который может оказаться полезным не только в составе интерфейсов глаз-мозг-компьютер (ИГМК), но и в других системах взаимодействия человека и машины.

 

Публикации

1. Дубынин И.А., Яшин А.С. Изучение субъективных оценок расстояния при совершении хватательного движения CAICS 2020: National Congress on Cognitive Research, Artificial Intelligence and Neuroinformatics, - (год публикации - 2021).

2. Овчинникова А.О., Васильев А.Н., Зубарев И.П., Козырский Б.Л., Шишкин С.Л. Single-trial MEG classification for the detection of the intentional eye dwells CAICS 2020: National Congress on Cognitive Research, Artificial Intelligence and Neuroinformatics, - (год публикации - 2021).

3. Овчинникова А.О., Васильев А.Н., Зубарев И.П., Козырский Б.Л., Шишкин С.Л. Detection of intentional eye fixations by convolutional neural networks applied to fixation-related magnetoencephalogram Brain-Computer Interface: Science and Practice (Samara, Russia), - (год публикации - 2020).

4. Чжао Д.Г., Кариков Н.Д., Мельничук Е.В., Величковский Б.М., Шишкин С.Л. Voice as a Mouse Click: Usability and Effectiveness of Simplified Hands-Free Gaze-Voice Selection Applied Sciences, 10(24), 8791 (12 pages) (год публикации - 2020).

5. Шишкин С.Л. Applying the EEG/MEG correlates of intention and anticipation for the enhancement of gaze-based interaction and building new neuroadaptive technologies Международный форум "COGNITIVE NEUROSCIENCE – 2020" (Екатеринбург), - (год публикации - 2021).

6. Шишкин С.Л. Consciousness sets limits to brain-computer interfaces Brain-Computer Interface: Science and Practice (Samara, Russia), - (год публикации - 2020).

7. Шишкин С.Л., Васильев А.Н., Буторина А.В., Дубынин И.А., Свирин Е.П., Осадчий А.Е., Величковский Б.М., Строганова Т.А. Studying the magnetoencephalogram in players of a gaze-controlled game for the development of new human-machine interfaces CAICS 2020: National Congress on Cognitive Research, Artificial Intelligence and Neuroinformatics, - (год публикации - 2021).

8. Шишкин С.Л., Васильев А.Н., Овчинникова А.О., Зубарев И.П., Буторина А.В., Козырский Б.Л., Нуждин Ю.О., Дубынин И.А., Свирин Е.П., Осадчий А.Е., Величковский Б.М., Строганова Т.А. MEG features for fast detection of intentional eye-gaze dwells in an eye-brain-computer interface International BCI Meeting 2020, - (год публикации - 2021).