Проект Храмова предусматривает решение научной проблемы, лежащей на стыке нелинейной физики, нейронауки, создание интеллектуальных систем управления и робототехники, связанной с изучением процессов, обуславливающих возможности живых организмов к адаптивному поведению в условиях постоянно меняющейся внешней среды для построения на их основе стратегий и конкретных методов интеллектуального управления антропоморфными роботами. Коллективу предстоит провести большой комплекс нейрофизиологических экспериментов, предусматривающий анализы информации от сенсорных и локомоторных систем человека, а также разработать ряд интерфейсов “мозг - компьютер”, на базе которых будут созданы интеллектуальные системы и алгоритмы, которые предстоит испытать на реальных мехатронных робототехнических системах.
- Как так случилось, что радиофизик по образованию переключился на далекие от него области: нейрофизиологию, медицину и робототехнику?
- Это было непросто. Со студенческой скамьи я работал над задачами электроники сверхвысоких частот. Со временем мои научные интересы расширились - я стал заниматься актуальной областью нелинейной физики - теорией синхронизации. Однажды на междисциплинарной конференции услышал, как жаловались нейрофизиологи: они не в состоянии найти закономерности возникновения эпилептических разрядов на электроэнцефалограммах больных эпилепсией. А от этого зависело прогнозирование припадков. Задача меня заинтересовала, и вместе с коллегой, профессором А.Короновским за один вечер мы показали, что динамика разрядов подчиняется закону on-off перемежаемости, и подтвердили это, обработав экспериментальные данные. Это было в 2003 году. Так у нашей группы появились общие проекты с нейрофизиологами, а заодно и с медиками. Познакомился с учеными крупного университета маленького голландского города Наймегин, где проводились подобные эксперименты. (Между прочим, там работал наш соотечественник, будущий нобелевский лауреат Андрей Гейм.) Интерес был взаимный. У голландцев очень хорошо поставлены эксперименты, наш коллектив владел математическим аппаратом, и мы отлично дополняли друг друга.
Как-то голландцы приехали в Саратов - они работали над большим международным грантом BrainGain - и мы выполнили ряд экспериментов по созданию интерфейсов “мозг - компьютер” для предсказания и подавления припадков эпилепсии. Вместе с коллегами из Москвы, Саратова и Голландии проводили опыты над специально выведенными крысами, больными эпилепсией. Обнаружили биомаркеры, позволяющие предсказать примерно за одну секунду возникновение эпилептического разряда. Интеллектуальная система анализировала происходящее в коре и таламусе мозга животных и в случае приближения предэпилептического состояния на имплантированные им в мозг электроды подавала серию коротких импульсов, что разрушало формирующийся эпилептический разряд. Результатом стала публикация в журнале группы Nature, выполненная международным коллективом (2017 г.). Но чтобы определить наиболее значимые для прогноза области мозга, создать эффективный работающий интерфейс “мозг - компьютер”, потребовалось порядка десяти лет.
Заниматься этим активно развивающимся научным направлением было необыкновенно интересно. Следующий шаг - создание интеллектуальных систем, которые в реальном времени способны обрабатывать биомедицинские сигналы, а затем воздействовать на биологические организмы (так называемая биологическая обратная связь). Важный момент, сыгравший большую роль в моем увлечении нейронаукой: по нашей инициативе и при поддержке ректора профессора И.Плеве в нашем университете был создан центр “Нелинейная динамика сложных систем”, в который я перешел, а чуть позже стал заведовать кафедрой “Автоматизация, управление, мехатроника” и углубился в проблемы искусственного интеллекта. Большую роль сыграла и существенная поддержка в вузе нейронаучного направления, которая позволила значительно расширить лабораторную базу, получить новые удобные помещения и тем самым значительно увеличить наши возможности. Произошло синергетическое сложение опыта и знаний, повлекшее за собой расширение научных российских и зарубежных контактов. Мы перешли к более сложным научным задачам, наша цель - понять, как работает головной мозг при решении тех или иных задач. Ясно, что над этой глобальной проблемой бьются ученые едва ли не всего мира и, уверен, будут это делать еще многие десятки лет. Потому что вопрос необыкновенно сложный по целому ряду причин. Главное - мы не в состоянии влезть внутрь, хорошенько покопаться в мозгу, разобрав его до винтиков, и поставить специальные эксперименты для подтверждения наших гипотез.
Вместе с профессором А.Писарчиком из Мадридского технического университета заинтересовались задачей визуального восприятия неоднозначных объектов. Это, например, оптические иллюзии или бистабильные изображения, которые мы воспринимаем неоднозначно: наблюдая “вазу Рубина”, мы видим то лица, то вазу. По-моему, первый раз это распространенное явление описал шведский кристаллограф Неккер еще в первой половине XIX века. Сначала это было глубоко фундаментальное исследование. Возникла гипотеза, что в головном мозгу присутствует, скажем так, когнитивный шум. Он влияет на динамику нейронного ансамбля мозга и заставляет его переключаться с одной задачи на другую.
- Это исследование представляет интерес само по себе или имеет и прикладное значение?
- Когда мы только начинали, нам казалось, что эта разминка для ума напоминает “игру в бисер”. Но решили подтвердить свою гипотезу. Построили математическую модель, нашли ее решение и сравнили с данными наших нейропсихологических экспериментов. Расхождений не было - и это нас поразило. Написали статью, опасаясь, что рецензенты солидного журнала нам не поверят: мол, не может быть такого идеального совпадения теории и эксперимента в нейронауке. Но рецензенты с нами согласились.
Стали “копать” в этом направлении и пришли к выводу, что с бистабильными изображениями дело обстоит не так-то просто. Оказалось, что наблюдения за электрической активностью мозга могут стать мощнейшим инструментом в понимании, насколько сильно человек вовлечен в тот или иной вид деятельности. Взяв за основу специально созданный нами интерфейс “мозг - компьютер”, начали разработку системы тренировки внимания и концентрации человека. Ведь потому, как мы воспринимаем подобные изображения, можно судить о некоторых когнитивных возможностях человека: его сосредоточенности, внимании, мотивации. Значит, можно и управлять ими. В ходе исследования обнаружили тесно связанные между собой биомаркеры, ответственные за концентрацию и мотивацию человека. Чтобы проверить концепцию, провели эксперименты с нашими студентами, суть которых состояла в выделении двух групп: мотивированных (им платили за участие в экспериментах) и немотивированных добровольцев, с которыми проводились серии экспериментов по оценке состояния концентрации человека на поставленной задаче. Это актуально, например, для пилотов, когда существует возможность в реальном времени оценить, насколько человек сосредоточен на задаче в сложной ситуации (например, при подготовке самолета к взлету, когда надо проверить показания множества приборов). Для серьезного высокорейтингового журнала PLoS Оne написали обстоятельную статью, она вышла в конце прошлого года.
Сегодня пробуем создать элемент интеллектуальной системы, которая в будущем может копировать работу мозга человека, а затем даже его превзойти. Речь идет о разработке самообучающейся системы, связанной с человеком по принципу обратной связи. На первом этапе, естественно, перед ней будут стоять достаточно простые задачи. Хотим, в частности, разобраться, как человек управляет своей моторной активностью - реальными и воображаемыми движениями. Затем постараемся применить добытое знание в робототехнике - для управления роботами и роботизированными комплексами.
Работаем со здоровыми людьми - молодыми добровольцами. Человеку надевают экзоскелет - устройство, напоминающее протез, - и подключают электроды для регистрации электрической активности головного мозга (энецефалограммы) и сокращений мышц (миограммы). Испытуемый совершает различные движения, а приборы измеряют электрическую активность мозга, его мышечную энергию, записывают движения конечностей. Задача - найти формирующиеся в коре головного мозга системы нейронов, руководящие этими движениями, и оценить возникающую деятельность мозга. Но то были реальные движения. Теперь - воображаемые. В этом случае испытуемый представляет двигательную активность, а мы следим, как это отражается на работе нейронов добровольца. Цель эксперимента - понять, какую команду надо подать роботу, чтобы воображаемые движения стали реальными. Появляется возможность создания алгоритмов для реализации локомоторных (двигательных) функций, которые помогут роботу держать равновесие, соблюдать ритмичность движений, передвигаться по пересеченной местности.
Другое направление - понимание особенностей и механизмов обработки информации в головном мозгу для дальнейшей реализации их в интеллектуальных системах управления. Одно из последних исследований, которые мы провели, - обработка сенсорной информации в коре головного мозга: ее анализ позволяет создать системы на базе искусственных нейронных сетей и нейронных ансамблей для аналогичной их реализации в системах искусственного интеллекта и интерфейсах “мозг - компьютер”. Интересно, что, углубляясь в эти исследования, обнаружили неизвестные ранее эффекты, которые можно применять и в робототехнике, и в медицине. И описали в статье, подготовленной в рамках выполнения гранта РНФ, в междисциплинарном журнале Американского института физики CHAOS. Анализируя восприятие различных визуальных воображений, которые требовали принятия тех или иных решений, по записям магнитоэнцефаллограмм головного мозга нам удалось выделить особенности обработки сенсорной информации в зрительном центре затылочной коры головного мозга, а также оценить процессы, которые происходят на втором этапе принятия решений в центральной и фронтальных зонах коры мозга. В частности, зафиксировали процесс сомнений человека и реализовали искусственную нейронную сеть. Такие задачи важны, например, для понимания восприятия визуальной информации в условиях плохой видимости или в сумерках, а также в системах машинного зрения.
- Как возникла идея подать заявку на грант РНФ?
- Когда в 2014 году РНФ выдал свои первые гранты, в стране, на мой взгляд, изменилась к лучшему система финансирования исследований - она сразу поднялась на несколько ступеней. И сегодня научный потенциал лабораторий и групп оценивается по тому, есть у них грант РНФ или нет. И если есть, значит, они делают что-то действительно стоящее. Фактически у каждого коллектива, выполняющего исследования на достаточно высоком уровне, есть шанс получить финансирование для своих проектов и на несколько лет погрузиться в работу, не думая, где достать деньги.
Для нас подарком судьбы стало принятие Президентской программы, которую анонсировал РНФ в начале 2017 года, по поддержке молодых ученых и лабораторий мирового уровня. Мы решили замахнуться на этот крупный проект и составить конкуренцию известным зарубежным лабораториями. Год назад наш университет подал заявку на грант по поддержке лабораторий мирового уровня, рассчитанный на четыре года. По условиям конкурса мы должны были найти индустриального партнера, заинтересованного в наших исследованиях, который бы согласился их софинансировать.
- Это было очень трудно?
- Не сказал бы. В РФ есть несколько предприятий, занимающихся разработкой мехатронных и робототехнических систем, одно из них - Магнитогорский завод лабораторного оборудования “Мехатроника и робототехника”. Там есть опытные сотрудники, работающие в том же направлении, что и мы, но в прикладном аспекте. Предприятие согласилось вместе с нами разрабатывать роботизированные интеллектуальные системы, софинансируя наши фундаментальные исследования. Год назад мы выиграли конкурс РНФ, хотя конкуренция была сильная: примерно 13 заявок на один грант.
- На что идут полученные средства?
- Мы распределили их по трем направлениям. В первую очередь, конечно, приобретение оборудования. Как говорил мой первый завлаб, “все, что можно было померить линейкой, уже сделали древние греки”. В рамках данного проекта нам нужны устройства мехатроники, а они дороги. Считается, что одна степень свободы робота стоит примерно миллион рублей. В первый год выполнения проекта мы закупили антропоморфный манипулятор - фактически человеческую руку с 21-й степенью свободы (рука человека обладает 27-ю степенями свободы). С ее помощью отрабатываем исследования, связанные с ориентацией робота в пространстве. Другое дорогостояще оборудование - копирующий экзоскелет с силомоментной обратной связью, необходимый для экспериментальных исследований по локомоторным функциям, а также симуляторы - программные комплексы для тестирования созданных нами алгоритмов на моделях робототехнических устройств. Второй важный момент - участие в научных конференциях. В области фундаментальных исследований в нелинейной динамике и нейронауке нас знают достаточно хорошо, но в робототехнике мы фактически новички, и конференции для нас - прекрасная возможность других послушать и себя показать. И, наконец, поддержка молодых исследователей: студентов, аспирантов, кандидатов наук, без которых невозможна ни одна активно работающая лаборатория.
- А как обстоят дела с публикациями?
- В этом году уже вышли три статьи в топ-журналах, входящих в первый квартиль Scopus или Web of Science. Еще несколько публикаций либо в печати, либо готовятся к ней. Вместе с нашими зарубежными коллегами пишем статью для журнала Nature. Нам здорово помогает разрешение РНФ отчитываться в два раза меньшим количеством статей, если они вышли в ведущих мировых изданиях.
В моей лаборатории (центр “Системы искусственного интеллекта и нейротехнологии”) заняты около 30 человек, среди них примерно десять аспирантов и несколько студентов. Очень важно, что у нас много приглашенных исследователей - сильных отечественных и зарубежных ученых. Они привносят новые идеи и опыт для работы над общими научными задачами. Конечно, выполнение такого сложного мультидисциплинарного проекта было бы невозможно без поддержки нашего университета: он выделил нам удобные, комфортабельные помещения для центра, софинансирует исследования, приобретая для нас научное оборудование, и поддерживает молодых сотрудников. У них есть перспектива сказать свое слово в науке. Отрадно, что наш, пусть и небольшой, коллектив еще три года может спокойно работать, не думая о том, где достать деньги.
