Аннотация результатов, полученных в 2018 году
По направлениям проекта на 2018 год были получены перечисленные ниже результаты. Семантическая Карта (1) Созданные семантические карты для выбранных предметных областей, включая Ассистент Композитора, Ассистент Хореографа, Ассистент Решателя Инсайтных Задач, Виртуальное Домашнее Животное, Персонаж Видеоигры. На каждой карте представлены либо элементы восприятия, либо элементы поведения и/или события, либо сущности различной природы, относящиеся к предметной области. Координаты представлений данных элементов на карте соответствуют их семантике и позволяют делать конкретные выводы о семантике представлений. Значительная часть результатов опубликована в нескольких статьях. Конкретно, построены следующие семантические карты. — Семантическая карта элементов поведения виртуального животного и взаимодействующего с ним человека в созданном виртуальном окружении. — Семантическая карта состояний виртуального животного в созданном виртуальном окружении. — Семантическая карта паттернов виртуального танца (Krylov & Samsonovich, 2018). (2) Результаты использования созданных семантических карт в экспериментах с Коботами. Каждая из созданных для конкретной области семантических карт использована для управления поведением интеллектуального агента. Акторы и Коботы (Терминология: в литературе термин «кобот» означает «коллаборативный робот»; в данном случае это виртуальный интеллектуальный агент, ассистент либо партнер человека в различных предметных областях.) (1) Результатом является разработанная модель человекоподобного разума на основе схем, как составная часть когнитивной архитектуры, которая взята нами за основу разработки прототипов Акторов и Коботов для конкретных областей и парадигм. Результатом также является публикация статьи, документирующей данную модель (Samsonovich, "Schema formalism for the common model of cognition", Biologically Inspired Cognitive Architectures 26:1-19, 2018). (2) Результатами являются разработанные парадигмы для исследования прототипов коботов, включая —ассистент решателя интеллектуальных задач, —ассистент композитора, —ассистент хореографа, —виртуальное домашнее животное, —видеоигры с виртуальными персонажами: Пассажиры, Dungeon, а также модификации ранее разработанных парадигм: Телепорт, Стрелки. (3) Основные результаты разработки и создания виртуальных окружений и симуляторов для исследования коботов включают симуляторы виртуальных окружений для парадигм Телепорт, Стрелки, Пассажиры, Dungeon. Все эти созданные симуляторы обеспечивают возможность сбора богатой информации о поведении Кобота и испытуемых, включая логирование всех действий и событий в окружении, видео и аудиозапись как действия происходящего внутри окружения, так и реального физического поведения испытуемого. Некоторые из них (Телепорт, Стрелки) совмещены с регистрацией фМРТ, ЭЭГ и ЭКГ. Кроме того, разработан и реализован симулятор виртуального окружения для исследования взаимодействий человека с домашним животным. (4) Результаты экспериментов с коботами с участием испытуемых включают —более 600 гигабайт видео и аудиозаписей, —детальные логи всех экспериментов, —данные фМРТ, ЭЭГ и ЭКГ, а также результаты анализа этих данных. По результатам анализа опубликован ряд статей. Когновизор (1) В задаче построения Когновизора ментальных типов мышления разработаны методы получения качественных данных фМРТ на основе применения ультрабыстрых последовательностей и метода независимых компонент удаления артефактов. (2) Разработаны экспериментальные парадигмы, включающие взаимодйствие с Коботом и проведены пилотные эксперименты по локализации функциональных нейронных сетей в поведенческих мотивах игры с Коботом на основе игры «Телепорт». (3) Для визуализации нейросетевой активности поведенческих мотивов разработана экспертная разметка на основе анализа семантической карты и архитектуры eBICA и разметка системой Нейрокомитетов. Полученные данные по фМРТ-картированию показывают сложную распределенную на корковых и подкорковых отделах головного мозга нейросетевую динамику поведенческих мотивов, связанных с взаимодействием человека с коллаборативным ботом «Кобот», использующего моральную схему партнерства и контрольным ботом. (4) Подготовлены фМРТ данные Когновизора для валидации семантической карты в рамках теории TRUST, предложенной доктором Frank Krueger. (5) По материалам работы опубликовано 9 статей в журналах, цитируемых в системе Scopus. Нейрокомитет Заявлено: Настройка системы автоматической потоковой обработки фМРТ снимков на базе пакета C-PAC, разработка общих процедур путем сравнения различных методик motion correction, выбора анатомического темплейта, устранения фоновой активности и пр. Сделано: Была произведена разработка и настройка системы потоковой обработки фМРТ данных на базе гетерогенного кластера на базе программного пакета nilearn и дополнительных вычислительных пакетов языка python и популярных пакетов обработки данных томографии. Таким образом удалось добиться параллельной обработки данных на более более сотни процессорных ядер. Было проведено исследование по поиску оптимальной процедуры коррекции движений. Результаты данного исследования были представлены на конференции BICA и опубликованы в периодическом издании Procedia Computer Science. Заявлено: Поиск и выгрузка данных фМРТ из свободных баз, удовлетворяющих заданным параметрам (тип решаемой задачи, временное разрешение, пространственное разрешение и пр.), определенным на основе экспериментов проводимых в рамках Проекта на базе НИЦ «Курчатовский институт», первичная обработка данных. Формирование обучающих выборок для алгоритмов машинного обучения. Сделано: был произведен масштабный поиск по открытым фМРТ данным, выгружены результаты на внутренние серверы университетов и составлен каталог с кратким описанием каждой из баз для удобства использования членами коллектива. Часть данных может быть использована для дополнительной отработки решения задач классификации деятельности человека, однако большая часть соответствует resting state данным, что позволяет использовать их лишь для применения парадигмы “обучение без учителя”, например, тренировки автоэнкодеров. Заявлено: Выработка стандартного протокола первичной обработки ЭЭГ-данных (выбор частотных диапазонов Фурье и вейвлет спектров, семейств вейвлетов и их параметров), получение первых результатов спектрального представления и анализа данных ЭЭГ. Сделано: В рамках выполнения данного пункта была произведена обработка ЭЭГ данных по устранению артефактов из данных, извлечению областей сигнала релевантных решаемой испытуемыми задачам и получено спектральное представление этих данных. Также, с опережением графика была проделана работа в рамках пункта заявленного на 2019 год: “Определение типа решаемой испытуемым задачи и успеха решения в рамках проекта «Когновизор» с помощью алгоритмов машинного обучения, получающих на вход данные ЭЭГ.” А именно, на базе глубоких нейронных сетей были обучены автоэнкодеры, для эффективного нелинейного сжатия данных и построены нейросетевые классификаторы, определяющие тип деятельности человека. Данная работа была доложена на конференции Нейроинформатика 2018 и статья в англоязычном сборнике трудов данной конференции. Заявлено: Начало работ по технической реализации капсульных сверточных сетей. Сделано: Начаты работы по адаптации существующих реализаций капсульных нейронных сетей для построения автоэнкодеров на их основе для обработки фМРТ данных. Также ведется работа с классическими сверточными сетями и продемонстрировано успешное применение для сжатия спектральных ЭЭГ-данных Заявлено: Разработка методов анализа данных экспериментов с Акторами и Коботами. Сделано: Была построена система анализа логов экспериментов c Акторами и Коботами. Показана возможность выделения паттернов когнитивной активности людей при взаимодействии с Коботами и их изменения во времени. Были построены соответствующие модели, описан подход для построения признакового пространства и метод кластеризации с последующим выделением найденных паттернов. Соответствующие результаты были представлены на конференции BICA и опубликованы в периодическом издании Procedia Computer Science. Когнитивная Эволюция Результатами являются: (1) Монография (на русском языке): Редько В.Г. Моделирование когнитивной эволюции: На пути к теории эволюционного происхождения мышления. Изд.2, испр. и доп. ЛЕНАНД/URSS. 2019. 264 с. ISBN 978-5-9710-5761-1. (2) Монография (на английском языке): Red’ko V.G. Modeling of Cognitive Evolution. Toward the Theory of Evolutionary Origin of Human Thinking. Moscow: KRASAND/URRS, 2018. 304 p. ISBN 978-5-396-00872-4. (3) Развитая модель самовоспроизводящихся систем – сайзеров. (4) Развитая модель взаимодействия между обучением и эволюцией. (5) Публикация двух статей в журнале Biologically Inspired Cognitive Architectures. (6) Доклады на международных конференциях, включая приглашенный кейнот на BICA 2018.

Аннотация результатов, полученных в 2019 году
Следующие результаты, полученные командой "BICA Lab" ИИКС НИЯУ МИФИ в 2019 году в рамках гранта РНФ № 18-11-00336, опубликованы в 22-х статьях и одной монографии, доложены на пяти конференциях и освещены в двух публикациях СМИ. • Расширена когнитивная архитектура Эбика (eBICA) как модель социально-эмоциональной динамики человека. Разработана расширенная общая математическая модель социально-эмоционального интеллекта на основе когнитивной архитектуры Эбика (eBICA). Модель описывает динамику эмоциональных состояний и характеристик человека в процессе социального взаимодействия на уровне, достаточном для реализации правдоподобных социальных виртуальных акторов, выражающих эмоции посредством мимики и элементов поведения, в широком спектре парадигм взаимодействия с человеком. Дополнительно к когнитивным оценкам (appraisals), составляющим основу аналогичных подходов, модель учитывает динамику других характеристик: чувств, телесных ощущений, настроений, аффектов и эмоций, представленных отдельными переменными, а также специальных структур, называемых моральными схемами. Впервые в рамках одной модели учитываются три конкурирующих фактора – принятые планы и обязательства, нравственные ориентиры, и телесный комфорт – как три взаимосвязанных процесса, которые находят компромисс на основе моральной схемы и определяют принятие решений, сознательное поведение и непроизвольные реакции субъекта. Процесс обучения модели агента реализуется автономно и состоит в формировании как оценок конкретных акторов, так и общей системы ценностей. Данная формулировка когнитивной архитектуры позволит нам наделить виртуальных агентов и роботов самой различной природы и назначения, от автоответчиков до беспилотных автомобилей, возможностями правдоподобного, социально приемлемого эмоционального искусственного интеллекта уровня человека. • Разработана общая концепция и прототипы социально-эмоционального искусственного интеллекта, использующие мимику лица в общении с человеком. Разработана общая концепция, воплощены, протестированы и исследованы прототипы виртуального актора – социально-эмоционального интеллектуального партнера человека на основе когнитивной архитектуры eBICA для ряда разнообразных парадигм: виртуальный слушатель, виртуальный чтец, виртуальный партнер видеоигры (non-player character: несколько парадигм), виртуальный ассистент композитора. А также, разработанная концепция находится на стадии тестирования для следующих парадигм: искусственный партнер танца в виртуальной реальности, виртуальный питомец, виртуальный собеседник. В процессе реализации прототипов были построены семантические карты эмоциональных реакций человека на материалы различной природы. Воплощенные прототипы демонстрируют социально-эмоциональный интеллект на уровне человека, что подтверждают тесты типа Тьюринга. Большинство созданных прототипов используют шлем виртуальной реальности как средство, и мимику как канал взаимодействия с человеком. Динамика эмоциональных состояний виртуального актора реализуется на основе когнитивной архитектуры eBICA при учете эмоционального состояния партнера. Созданная уникальная установка объединяет возможности распознавания выражений лица, электромиографии и виртуальной реальности. Следовательно, в недалеком будущем можно предвидеть широкие практические применения разрабатываемой технологии, которая позволит устанавливать и поддерживать социально-эмоциональный контакт между человеком и артефактом в различных областях и задачах: от сферы развлечений до жизненно важных приложений. Универсальность модели и неотличимость прототипов от человека в тестах типа Тьюринга позволяют отнести развитый подход к категории сильного социально-эмоционального искусственного интеллекта. • Установлены общие закономерности эмоциональной динамики человека при социальных взаимодействиях в виртуальном окружении. На основе созданной уникальной экспериментальной установки, а также регистрации ЭЭГ и фМРТ, проведены 92 сессии исследований с испытуемыми, позволивших экспериментально подтвердить теоретическую модель Эбика (eBICA) и установить новые общие закономерности динамики эмоциональных состояний человека при социальных взаимодействиях с персонажами видеоигры. Экспериментально подтверждены предсказания модели eBICA. Созданная методика и полученные экспериментальные факты позволят нам уточнить и далее развить когнитивную архитектуру Эбика (eBICA) с целью создания на ее основе широкого спектра социально приемлемых искусственных партнеров и ассистентов человека. • Предложен алгоритм тестирования семантической карты на основе методов фМРТ в задаче реализации управления Актором в игре Телепорт. Оценка использованного подхода методами Когновизора показала, что данный подход предполагает построение для каждого испытуемого индивидуальных карт активности головного мозга, наиболее интересные данные получаются при смене моральной схемы бота, взаимодействующего с игроком. Из-за высокой индивидуальности крайне важным параметром является прогноз степени доверия игрока боту во время игры. Созданы подходы проведения комплексных нейрофизиологических исследований на основе методов МРТ-совместимых ЭЭГ и ЭКГ, МРТ-совместимой полиграфии для верификационного построения когнитивных карт на основе синхронно записанных данных разной модальности. Предложен новый метод построения когнитивных карт ментальных типов мышления. Предварительные результаты обработки показали, что получаемые индивидуальные когнитивные карты похожи на усредненные, а также на усредненные (по 30 людям) карты, построенные на основе ЭЭГ, и на карту, построенную на основе экспертного опроса (по 20 экспертам). Проведены пилотные эксперименты с Актором в МРТ-сканере. Выявленнные функциональные сети показали индивидуальную вариабильность и чувствительность к смене моральной схемы коботов. Для сопоставления результатов Когновизора ментальных типов мышления с представлениями аналогичных модельных когнитивных процессов, построенных на базе семантической карты и архитектуры eBICA, в парадигме исследования Актора с целью уменьшения индивидуальной вариабельности данных разработан робастный метод предсказания предпочтения к доверию испытуемого на основе анализа морфологических данных и функциональной коннективности. • Проведен анализ данных, полученных в экспериментах с Акторами и Коботами. Получено нейросетевое отображение пространства входных признаков, получаемых путем анализа лица человека на видео программами FaceReader и OpenFace, на пространство карты когнитивного состояния. Эксперимент состоял в съемке лица испытуемого крупным планом в течение нескольких минут. В течение данного времени испытуемый должен был последовательно изображать несколько эмоций по несколько секунд. Всего пространство признаков составляет 73 признака, получаемых из программы FaceReader и 709 признаков (включая 2D и 3D координаты), получаемых из программы OpenFace. Полученный набор данных составил 31530 примеров. Данные подавались на вход полносвязной нейронной сети. При решении задачи регрессии параметра Valence были получены следующие характеристики на тестовом наборе данных: RMSE = 0,0099, MAE = 0,0053, R² = 0,999. При решении задачи регрессии параметра Arousal были получены следующие характеристики на тестовом наборе данных: RMSE = 0.0302, MAE = 0,0181, R² = 0,978. Как и ожидалось, результаты оказались заметно лучше аналогичных результатов, полученных методом линейной регрессии. Полученные результаты показывают возможность отображения входных признаков, полученных программами FaceReader и OpenFace, на пространство карты когнитивного состояния с использованием нелинейных моделей, с высокими показателями качества аппроксимации, превосходящим линейные модели. • Технологически обеспечены работы с объёмами данных, характерными для фМРТ-массивов. Для выполнения работ данного этапа исполнителям потребовалось на имеющемся в НИИЯФ МГУ кластере развернуть Apache Spark - фреймворк с открытым исходным кодом для реализации распределённой обработки данных, а также систему параллельных распределенных вычислений Dask. Суммарный объем файла, содержащего фМРТ сканы и метаинформаицию, составил более 800Гб. Обработка такого массива данных была невозможно без использования специальных решений, предназначенных для анализа больших данных. Проведены процедуры обработки данных фМРТ в рамках классических подходов понижения размерности с помощью метода анализа главных компонент (МГК) (он же PCA) В качестве базового решения было решено использовать сжатие данных методом главных компонент (МГК) и далее строить классификатор на основе сжатых данных. • Стало возможным определение типа решаемой испытуемым задачи и успеха решения в рамках проекта «Когновизор» с помощью алгоритмов машинного обучения, получающих на вход данные, сжатые методом главных компонент. Предстояло решить задачу по определению типа ментального задания, которое выполнял испытуемый, по его фМРТ данным. Точность решения задачи классификации на 6 классов оказалась невысокой - около 55% на тренировочном наборе и около 20% на тестовом наборе. Для улучшения решения было принято решение использовать двухэтапное обучение: на первом этапе нейронная сеть учится решать задачу бинарной классификации, обучаясь на всем массиве данных (112 тыс. примеров), после чего последний слой сети заменяется на слой для классификации на 6 классов (остальные веса остаются обученными на задаче бинарной классификации); далее проводится дообучение на поднаборе из 29 тыс примеров. Таким образом удалось добиться точности определения типа задачи в 73% на тренировочном и около 30% на тестовом наборе данных. Тестовый набор составляет случайно выбранные 10% примеров из всего набора данных (из 29 тыс отфильтрованных примеров) и не используется в процессе обучения нейросети. • Стало возможным определение типа решаемой испытуемым задачи и успеха решения в рамках проекта «Когновизор» с помощью алгоритмов машинного обучения, получающих на вход полноразмерные данные Здесь в качестве более простого базового решения был выбран алгоритм случайного леса (random forest), поддерживаемый системой Apache Spark. Модели решающих деревьев обучались на массиве из 29 тыс примеров, каждый с размерностью около 400 тыс признаков. Случайный лес с глубиной дерева 15 позволил получить точность 89.7% на тренировочном наборе и 35.1% на тестовом наборе, т.е. мы уже безоговорочно превзошли результат, полученный на сжатых данных. Работа с полным массивом данных и более сложными моделями с большим количеством правил занимает по несколько суток. Однако в настоящее время данная система отлажена, что внушает веру в то, что уже в первой трети 2020 года будут получены новые ещё более позитивные результаты. Снижение размерности данных с помощью сверточных автоэнкодеров Ещё одним этапом работы стало обучение сверточных сетей, также для решения задачи классификации на 6 классов. Обучение моделей производилось на базе фреймворка tensorflow на ранее упомянутом массиве из 29 тыс. примеров - размер массива составил около 210 Гб. Были успешно обучены следующие нейросетевые архитектуры: VGG16, NasNetMobile и InceptionV3. Первая архитектура продемонстрировала самые низкие результаты: около 40% на тренировочном и тестовом наборах. На остальных двух моделях наблюдалась полная сходимость моделей на тренировочном наборе - точность решения выше 95%, при этом точность NasNetMobile на тестовом наборе составила 65%, тогда как inceptionV3 превысила 80%. Таким образом, можно заключить, что выбранный путь по решению задачи “Когновизор” методами глубоко обучения позволяет решить поставленную задачу наиболее успешно, в сравнении с альтернативными методами машинного обучения. • Опубликована монография: Редько В.Г. Моделирование когнитивной эволюции: На пути к теории эволюционного происхождения мышления. . М: ЛЕНАНД/URSS, 2019. 264 с. ISBN 978-5-9710-7330-7. URL: https://urss.ru/cgi-bin/db.pl?lang=Ru&blang=ru&page=Book&id=258505

Аннотация результатов, полученных в 2020 году
В 2020 году несмотря на ограничения, связанные с пандемией COVID19, наш проект был успешно завершен, причем стала ясна значительность полученных результатов. Свидетельство тому — не только публикация в журнале первой квартили (Q1) и доклад на конференции категории А согласно классификации CORE, но и ряд новых практически важных направлений исследований, которые, хотя и не были включены в изначальный план, но естественным образом возникли в ходе работ и выросли за рамки настоящего гранта, тем самым создавая необходимость его продления. Сюда прежде всего относятся: (1) Интеллектуальная платформа VCC для проведения виртуальных научных конференций, с большим успехом использованная в двух международных конгрессах в 2020 году (BICA*AI 2020, около 200 участников, и CAICS 2020, объединивший четыре национальные конференции, около 1000 участников). (2) Принципиально новый подход к количественному измерению критериев и метрик социальной приемлемости искусственного интеллекта, альтернативный по отношению как к общим тестам типа Тьюринга, так и к батареям частных тестов типа Cognitive Deccathlon, IQ, EQ и т.п. (3) Возможность построения интеллектуальных индивидуальных тьюторинговых систем и сред для коллективного дистанционного обучения нового типа на основе разработанных нами платформ и моделей виртуальных агентов. Основные же результаты, соответствующие заявленному плану, не менее ценны: (4) Принципиально новый подход к семантическому картированию психических и когнитивных состояний мозга человека на основе фМРТ и ЭЭГ. (5) Общая теоретическая база плюс технологическая и аппаратная платформа, способные стать «конвейером» для разработки социально приемлемых интеллектуальных виртуальных агентов, обладающих эмоциональными качествами на уровне человека. (6) Набор нейросетевых средств для автоматического семантического картирования объектов и сигналов практически любой природы (изображения мимики лица, волновые формы ЭЭГ, BOLD-сигнал фМРТ, логи действий участника компьютерной игры и т.д.). В данном случае семантическое картирование подразумевает вычисление аффективных, эмоциональных, нравственных, эстетических или подобных характеристик. (7) Принципиально новый общий подход к моделированию когнитивного онтогенеза, без сомнения, представляющего главный вызов нашего времени. Остается добавить, что наш план по количеству WoS/Scopus-индексируемых публикаций за все время проекта перевыполнен более чем вдвое. В один только год пандемии нами сделано № докладов на конференциях международного и национального уровня. Наша команда в данный момент более сплочена чем когда бы то ни было и готова к решению новых задач. Среди основных полученных нами результатов назовем следующие: Система семантического картирования выражений лица человека и аватара Система сравнительного анализа семантических карт Система психологического профилирования человека и автомата Виртуальный конференц-центр – платформа для онлайн-конференций Виртуальный бот-презентер, виртуальный танцор, виртуальный питомец Результат объединения семантических карт активности головного мозга человека, полученных посредством фМРТ, ЭЭГ и экспертных оценок Модель установления доверия при взаимодействии в виртуальном окружении Опубликована статья в Q1-журнале. Опубликована переработанная монография: Редько В.Г. Моделирование когнитивной эволюции: На пути к теории эволюционного происхождения мышления. М: ЛЕНАНД/URSS, 2020. 3-е изд. 264 с. ISBN 978-5-9710-7330-7. URL: https://urss.ru/cgi-bin/db.pl?lang=Ru&blang=ru&page=Book&id=258505 Видеозаписи конференции BICA*AI 2020, проведенной целиком на основе нашей платформы VCC, можно просмотреть на сайте https://bica2020.org/program нажав на таблицу и затем на индивидуальные линки.