- Если нейроинтерфейсы применимы в различных областях, с чем связан Ваш интерес именно к медицине?
- Конечно, нейроинтерфейсные технологии можно применять в разных сферах, ведь это возможность напрямую от мозга управлять внешними устройствами. Но не стоит забывать о целесообразности. Мало кто захочет, вернувшись домой после работы, надеть шапочку с ЭЭГ-электродами, знакомыми нам из поликлиники, запустить приложение в смартфоне, провести калибровку, а затем несколько раз вызвать намерение, вместо того чтобы включить телевизор обычным пультом, а чайник – вручную.
Пока никто в мире не смог расшифровать более сложные мыслительные намерения, чем движения рук и ног, подобрать коды к сигналам мозга, хотя исследования в этом направлении идут более 30 лет. Разговоры об использовании нейроинтерфейсов для управления устройствами умного дома или автомобилем тоже остаются на уровне фантазий о будущем, так как поймать готовность к конкретному действию со 100% точностью - пока нерешенная проблема и задача нейроинтерфейсных технологий.
Нейроинтерфейсы применимы в компьютерных играх, но и здесь есть сложности: не избежать 10-15% ошибок алгоритма в распознавании намерений человека нажать ту или иную кнопку, и задержка реакции составит несколько секунд.
Реабилитационная медицина, напротив, та область, где нейроинтерфейсные разработки востребованы, поскольку они меняют качество жизни пациентов, а недостаточная точность и скорость срабатывания здесь вполне приемлемы. В рамках предыдущих проектов мы оптимизировали технологию «мысленного» набора букв на экране компьютера до точности 95%. Скорость набора не более 10 букв в минуту, конечно, несопоставима с набором текста здоровым человеком, но для пациента это шанс на коммуникацию при полной обездвиженности.
- Как же ученым удается поймать и расшифровать мысль?
- Расшифровать мысли ученые не могут ни в нашей, ни в любой другой лаборатории мира. Образно говоря, это как услышать разговор двух человек, подвесив микрофон над стадионом, собравшим 20 миллиардов – столько нервных клеток находится в коре головного мозга, при этом в каждой паре свой код общения.
Для наших целей достаточно работать с намерением — его можно точно детектировать по энцефалограмме. Если мысль – это работа всего мозга, то намерение к конкретному действию, скажем, махнуть рукой, будет сосредоточено в ограниченной области коры. В зоне проекции руки оно и проявляется в ЭЭГ в виде уменьшения мю-ритма. Этот эффект в нейроинтерфейсе преобразуется в команду для внешнего устройства: задумал движение руки – телевизор включился.
Введя сенсоры в мозг хирургическим путем, можно поймать более тонкие намерения, как пошевелить пальцами, тогда получится уже пять команд. Однако внутричерепная операция опасна осложнениями, вплоть до отторжения электродов, поэтому мы используем неинвазивный подход, в наших проектах датчики расположены на шлеме.
Источник: Стас Любаускас, пресс-служба РНФ
- Какие из разработок Вашей лаборатории уже внедрены в клинику?
- Для замещения речи у постинсультных пациентов мы разработали и с помощью инвесторов выпустили 500 комплексов «НейроЧат». Внешне процесс выглядит просто: на голову пациента надевается шлем с ЭЭГ-электродами, а перед ним ставится экран компьютера, на котором изображены необходимые для коммуникации символы и пиктограммы (их можно подобрать индивидуально, по запросу пациента). Достаточно нескольких секунд, чтобы алгоритмы «угадали», какую букву задумал пациент – и тут же вывели ее на экран. В среднем пользователю хватает одного дня, чтобы приспособиться к мысленному набору.
Когда я говорю «угадали» и «тут же вывели», имеется в виду работа целого конвейера алгоритмов. Сначала система 6-7 минут учится разделять реакции ЭЭГ на целевые и не целевые буквы. Величина реакции — это миллионные доли вольта, поэтому так важно, чтобы аппаратура имела низкий уровень собственных шумов и высокое быстродействие. Наш алгоритм в непрерывно регистрируемой ЭЭГ схватывает и проверяет каждую реакцию: похожа ли она на ту самую, когда человек заинтересован в букве или не похожа. Как только найдет похожую – печатает нужную букву. Оказалось, что реакции различаются между собой не по всей своей продолжительности, а только в области 300 мс от начала подсветки буквы. Именно в эти 300 миллисекунд в мозгу происходит оценка значимости события. Данный подход получил название: технологии нейроинтерфейсов на волне П300, так как в реакциях на нужную букву появляется позитивная волна.
- Реабилитационные нейроинтерфейсные технологии, над которыми Вы сейчас работаете в Сколтехе в рамках гранта, построены на тех же принципах?
- В рамках текущего проекта по гранту мы используем не только свои исследовательские находки, но и прежние наработки нашей лаборатории.
Идея тренажеров для восстановления движений у постинсультных пациентов основана на известном свойстве пластичности мозга – способности неповрежденных нервных клеток устанавливать новые связи и брать на себя функции погибших. Нужно только помочь нервным клеткам объединиться в такой комбинации, что позволит заново управлять, к примеру, рукой. Этому объединению клеток способствует многократное мысленное представление нужного движения. Проблема в том, что человек не может много раз воображать одно и то же.
Попробуйте представить сжимание кисти в кулак 5-10 раз подряд, если этому не помогает какой-нибудь сигнал об удачной или неудачной попытке яркого воображения. Скорее всего, проявится утомление, снижение мотивации к этому действию, и в какой-то момент мысленный образ движения становится не действенным для целей реабилитации.
Источник: Стас Любаускас, пресс-служба РНФ
Чтоб сделать результат каждой попытки наглядным для пациента, нейрофизиологи использовали специальную метку в ЭЭГ – подавление мю-ритма с противоположной воображаемой руке стороны. Эта метка регистрируется и превращается в команду, например, для срабатывания экзоскелета, приводящего в движение руку. Представление движения превращается в реальное действие! Так работает нейроинтерфейсный тренажер для восстановления двигательной функции. Новый вызов для нас состоял в том, что у всех людей по-разному развито воображение: только 30% процентов здоровых испытуемых смогли сразу представить образ ярко, чтобы получить метку в ЭЭГ, еще 35% удается обучить в процессе. Сейчас мы ищем подходы, как обучить технологии оставшиеся 35%.
Желание создать эффективный реабилитационный комплекс для большинства пациентов привело нас к совершенно новой идее: объединить нейроинтерфейсы на основе воображения движения и на волне П300, а также перевести мысленный тренинг в виртуальное пространство. Пациенту не нужно будет многократно представлять одно и то же движение целиком, но понадобится провести виртуальную руку на экране от одной мигающей точки к другой по предписанной доктором траектории. Например, в несколько этапов переместить руку и схватить предмет. Применение сразу двух нейроинтерфейсных технологий, одна из которых наводит внимание пациента на нужный этап движения, а вторая посредством воображения запускает этот этап движения, дает основание ожидать более высокий результат тренинга.
- Тренажер предназначен и для нижних конечностей?
- Да, сейчас мы завершаем работу над нейроинтерфейсным тренажером для ног. Есть довольно серьезные ограничения: представление движений нижних конечностей гораздо труднее поймать в ЭЭГ по метке снижения мю-ритма, чем в случае с руками. Вопрос скорее в том, сможем ли мы преодолеть эти ограничения для создания эффективного тренажера? Пока у нас это получается. В перспективе – создание универсального тренажера для рук и ног.
Для восстановления движения ног нами также предложена комбинация нейроинтерфейсных методов, основанных на воображении движения и на волне П300. Лежа, человек мысленно выбирает один из трех мигающих квадратов на экране: левый, центральный или правый. Как только сработает метка П300, выбранная позиция отмечается как цель для движения ноги. Новизна подхода заключается в том, что параллельно с движением виртуальной ноги на экране, манипулятор подхватывает реальную парализованную ногу пациента и перемещает ее в том же направлении. Совмещение движения в реальности и на экране, а также активация зрительного целеуказания и воображения движения может значительно повысить эффективность данного тренажера.
В текущем году мы завершим проект в его фундаментальной научной части. Далее, по результатам испытаний будут приняты решения по оптимизации и внедрению. Естественно, мы открыты для предложений по кастомизации нашего комплекса для реальных тренажеров в клинике.
- Каковы планы Вашей исследовательской команды на ближайшее время?
- Для начала хотим довести до ума все разрабатываемые нами тренажеры. Есть еще одно направление – создание сценарной тренажерной системы. Сама идея объединения различных тренингов в единую логическую цепочку не нова, но мы первые, кто занялся сценарными тренажерными системами на основе нейроинтерфейсных технологий. В новом воплощении тренажерных комплексов мы планируем превратить тренировку в игру по сценарию, в которой нужно достигать цели одну за другой путем мысленных операций с представлением движений или с фокусированием внимания на определенных его этапах.
Источник: Стас Любаускас, пресс-служба РНФ
Вообразите, вы на виртуальной кухне, а цель – приготовить яичницу. На экране мигают продукты: яйцо, огурцы, помидоры. Фокусируете внимание на яйце – оно перемещается на сковородку. Когда действие получается, для пациента – это победа и тренировка заодно. А весь фокус в том, что сработала технология П300. Затем нужно переместить блюдо в тарелку, сервировать стол – так запускается уже вторая технология, воображение движения. Действия виртуальные, но в нашей технологии они запускаются командами от мозга. Значит реальные нервные клетки, оставшиеся невредимыми после инсульта или нейротравмы, будут формировать новые связи между собой, как бы копируя в них функции погибших клеток.
Если говорить об уровне наших достижений в сравнении с лабораториями в других странах, то можно сказать, что мы движемся не широким фронтом, но по актуальным направлениям делаем серьезные прорывы. Наверно так и нужно двигаться: достигать пиковых результатов и от них постепенно расширять горизонт исследований. Наши статьи публикуются высокорейтинговых зарубежных журналах, несмотря на напряженную ситуацию в мире, западные коллеги ими интересуются.
Сейчас мы тестируем лабораторные тренажеры в Федеральном центре мозга и нейротехнологий ФМБА России, вносим доработки, а в следующем году какие-то из них планируем запустить в производство. Следующий шаг - умные сценарные тренажеры. Они смогут подстраиваться под ту деятельность, которой пациент занимался. Ведь если человек работал плотником, у него будет один тип движений, а если стоматологом – другой.
В построении нейроинтерфейсных тренажеров мы оптимизируем не только моторную составляющую, но и экспериментируем в сенсорной сфере. Первые серии испытаний показали, что включение тактильной информации в контур нейротренажеров существенно повышает их эффективность.
- Результаты впечатляют, но кроме реабилитационных комплексов, в рамках гранта РНФ вы работаете над технологией нейроинтерфейсов 5.0. В чем ее уникальность?
Если принцип работы предыдущих четырех поколений нейроинтерфейсов базировался на расшифровке намерений и преобразовании их в команды для электронно-механических устройств, то в проекте 5.0 мы стартовали с совершенно новым подходом – на выходе нейроинтерфейса будет стоять уже не исполнительное, а аналитическое устройство – искусственный интеллект, ориентированный на диалог с человеком.
Технология нейроинтерфейсов пятого поколения через «общение» с человеком на основе расшифровки ЭЭГ будет выстраивать в своей памяти «семантическую карту» конкретного человека. Мы полагаем, что если собрать в правильную комбинацию специализированные нейросети для генерации, тестирования и модификации гипотез, то процесс закрутится в автоматизированное тестирование в рамках нейроинтерфейсного контура.
Источник: Стас Любаускас, пресс-служба РНФ
- Выходит, можно научить нейросеть эмпатии?
Полезный эффект от нейроинтерфейсов 5.0 будет заметен и при анализе ставших необъятными для человека потоков информации. Понимая запросы человека не по ключевым словам, а по смыслу, ИИ избавит нас от перегрузок и сэкономит время, составив оптимальную подборку материалов к принятию решения. Например, поиск научных статей в сети дает огромный массив не всегда релевантных материалов. А объединение ключевых слов согласно «семантической карте» конкретного человека сможет сделать поиск гораздо ближе к замыслу человека.
- Как на исследования повлиял грант РНФ?
Финансирование, предоставляемое Фондом, дает возможность осуществить достаточно амбициозные научные задачи. Сейчас я руковожу одним из самых крупных грантов РНФ, для лабораторий мирового уровня. Он позволяет интегрировать уже не отдельных исследователей, а несколько сильных коллективов в одном междисциплинарном проекте. Это и математики, программисты, психологи, медики, нейрофизиологи, объединенные в масштабном проекте, состоящем из восьми разработок. Грант - это не только ресурс, но и серьезная ответственность для всех исполнителей проекта, точка роста организованных и эффективных исследователей.
Источник: Стас Любаускас, пресс-служба РНФ
Кроме того, в Российском научном фонде разработана гибкая система поддержки для научных коллективов разного калибра. Молодой исследователь может следовать по ней как по лестнице, поднимаясь все выше. Я рекомендую своим студентам и аспирантам: «Следите за инициативами РНФ. Всегда есть грант, который вы можете выиграть».
