Аннотация результатов, полученных в 2015 году
В проекте в 2015 году выполнен цикл научных исследований, тесно связанных с активно развивающимся научным направлением «Биологически инспирированные когнитивные архитектуры» (БИКА), или Biologically Inspired Cognitive Architectures (BICA). По этому направлению участниками данного проекта в 2017 году в Москве будет проведена международная конференция BICA-2017, а также в 2016 и 2017 годах будут проведены международные школы «Молодежная школа по биологически инспирированным когнитивным архитектурам», или “First International Early Research Career Enhancement School on Biologically Inspired Cognitive Architectures”. Труды школы 2016 года будут изданы издательством Springer в серии Advances in Intelligent Systems and Computing. Серия индексируется в базе данных Scopus. Все намеченные на 2015 год работы выполнены. По указанным семи направлениям проведены следующие исследования. 1. Направление «Семантическая Карта» Проведена формализация теоретической модели семантической карты, представляющей значимые семантические характеристики слов и словосочетаний. Выполнено вычислительное построение семантической карты слов и словосочетаний русского языка на основе формализованной модели путем численной минимизации энергии системы. Алгоритм построения карты был оптимизирован. Было проведено исследование и характеризация свойств семантической карты; измерение ее внутренней согласованности, а также её сравнение с подобными ранее созданными ресурсами и моделями. Внутренняя несогласованность построенной карты русского языкa оказалась существенно ниже внутренней несогласованности семантических карт английского языка, построенных ранее. Семантическая карта использовалась для количественного представления семантики слов в контексте и связанных с ними элементов поведения. Были исследованы её возможности для количественного представления семантики зрительных образов. Получены и проанализированы коэффициенты канонической корреляции семантических карт, построенных для разных языков. 2. Направление «Виртуальный Актор» Проведены разработка и воплощение в виртуальном окружении модели интеллектуального агента, обладающего элементами социально-эмоционального интеллекта на основе эмоциональной архитектуры eBICA. Разработана общая модель интеллектуального агента (виртуалього актора), способного к нарративному целеполаганию, а также численное воплощение и исследование её поведения в конкретных примерах ситуаций. Разработана общая архитектура модели правдоподобного персонажа, вовлеченного в социально-эмоциональные взаимоотношения с партнером (человеком или виртуальным агентом). Проведены разработка и исследование парадигм взаимодействия персонажей и тестирования Виртуального Актора, позволяющих произвести оценку эмоционального и нарративного интеллекта. 3. Направление «Функциональные Сети» Проведено сравнительное исследование алгоритмов сети функциональных систем (сеть ФС) и обучения с подкреплением в задаче поиска пути в неизвестной стохастичной среде, описываемой графом. Показано, что средний объем памяти, необходимый для решения задачи предложенным алгоритмом сети ФС, значительно меньше объема, требуемого для обучения с подкреплением. Проведенные исследования показывают, что предложенная модель сети ФС способна выучить и поддерживать надежные и эффективные стратегии достижения цели в дискретной среде. Запоминание сетью новых стратегий не приводит к полному разрушению уже выученных и позволяет использовать их вновь при возникновении необходимости. Благодаря этому сети ФС оказываются значительно эффективнее в нерегулярных дискретных средах, чем алгоритмы обучения с подкреплением. 4. Направление «Нейроанимат» Было проведено экспериментальное исследование развитийной динамики спонтанной электрической активности в реальной нейрональной культуре. Задачей исследования являлась регистрация спонтанной электрической активности в нейрональных культурах, с последующим анализом на наличие повторяющихся последовательностей активаций. Было высажено 6 культур с нейронами из гиппокампа и 7 культур с нейронами из коры головного мозга мышей. Результаты исследования охарактеризовали динамику всех зарегистрированных популяционных пачек. В частности, показано, что фронт пачечной активации преимущественно не меняется в течение жизни культуры. Проведено вычислительное исследование спонтанной активности в полномасштабной модели нейрональной культуры на мультиэлектродной матрице. Базовая модель связей между нейронами является случайной, без присвоения нейронам пространственных координат. Для двух других моделей связи нейронам были присвоены пространственные координаты в соответствии с габаритами массива электродов. Было показано, что распределение межпачечных интервалов, полученных в моделировании, согласуется с экспериментальными данными. 5. Направление «Нейрокомитет» Были проведены разработка, исследование и применение алгоритмов анализа многомерных временных рядов (МВР). Работа по сегментации МВР проводилась как по теоретическим (алгоритмическим) вопросам, так и в области решения прикладных задач. Рассмотренные приложения посвящены анализу поведения живых систем, что является центральной темой исследований в рамках настоящего проекта. Разработаны оригинальные и эффективные подходы к сегментации МВР и методики их применения. Исследована прикладная задача сегментации траектории движения взора при рассматривании изображений. Разработан новый подход к сегментации траектории движении точки взора при рассматривании изображений. Метод основан на применении иерархического (многошагового) принципа формирования сегментов. Алгоритм обработки данных стартует от отдельных измерений вдоль траектории движения глаз, формирует микросегменты и далее выполняет их группирование и создание интерпретируемых сегментов более высокого уровня. Разработано математическое описание внутрипачечной активности нейрональной культуры. 6. Направление «Когновизор» Проведена экспериментальная отработка основных методик нейрофизиологических экспериментов с одновременной регистрацией функциональной магниторезонансной томографии (фМРТ), электроэнцефалографических данных (ЭЭГ) и движений глаз. Проведены эксперименты, в которых происходила одновременная запись данных фМРТ, ЭЭГ, а также данных движения глаз (айтрекинга). Разработана процедура расчета значений физической заметности участков изображений видеоряда на основе фильтра Габора и показателей социальной заметности этих изображений. Разработана процедура расчета регрессоров фМРТ по многокомпонентному анализу ЭЭГ и айтрекинга. Исследования показали, что используемые методы и подходы могут быть применены для построения модели Когновизора ментальных состояний головного мозга человека. 7. Направление «Автономные Агенты» Построены и исследованы компьютерные модели поведения автономных агентов, накопления ими знаний, формирования и использования предсказаний. Агент использовал знания и предсказания при планировании своего поведения. Агент использовал базу знаний, характеризующую ситуации, действия агента и предсказания результатов действий. База знаний использовалась при планировании поведения агента. Результаты моделирования были качественно подобны результатам биологических экспериментов по наблюдению поведения простых животных. 8. Организация молодёжной школы Помимо исследовательской работы проведен начальный этап подготовки к международной молодежной школе “First International Early Research Career Enhancement School on Biologically Inspired Cognitive Architectures.” Ведется работа по приглашению лекторов и молодых участников школы. Цели и принципы работы школы, а также другая информация по школе, представлены на сайте http://school.bicasociety.org/

Аннотация результатов, полученных в 2016 году
Направление «Семантическая Карта» Расширена формальная теоретическая модель семантической карты, представляющей значимые семантические характеристики как слов и фраз, так и «смыслов» (синсетов) и аннотированных зрительных образов. На основе семантической карты изображений построен конкретный набор стимулов, используемый в направлении Когновизор. Разработана полуавтоматическая система аннотации зрительных образов для построения семантической карты. Создан алгоритм построения семантической карты на основе «смыслов» (синсетов). Получена новая версия сематической карты русского языка. Проведено сравнение ее характеристик с подобными характеристиками ранее созданных ресурсов и моделей. Отобраны стимулы для экспериментов по исследованию мозговых механизмов представленности семантических карт. Разработана экспериментальная парадигма на основе предъявления отобранных стимулов в сканере. Разработана процедура выделения четырёх количественных признаков для изображений на основе нормированной энтропии и осуществлен расчёт таких признаков для набора стимулов направления «Когновизор» с целью построения семантических карт (направление «Семантическая карта»). Семантическая карта применена для определения аффективных оценок действий Виртуального Актора. Направление «Виртуальный Актор» Разработан и создан ряд прототипов виртуальной среды «Экспериментальный Стенд» на основе компьютерной игры в виртуальном окружении для тестирования испытуемых, а также прототипов Виртуального Актора и их социальных взаимодействий с партнерами. Разработан ряд вариантов модели автономного Виртуального Актора, способного к самостоятельному исполнению ролей правдоподобных персонажей в избранных парадигмах на основе компьютерной игры в виртуальном окружении. Модели основаны на расширенной архитектуре eBICA и включают элементы как социально-эмоционального, так и нарративного интеллекта. Уточнена и дополнена модель эмоциональной когнитивной архитектуры eBICA. Созданы прототипы Виртуального Актора на ее основе с использованием семантической карты. Проведено тестирование виртуальных окружений «Экспериментальный Стенд» и прототипов Виртуального Актора. Успешно пройден пилотный вариант ограниченного теста Тьюринга: испытуемые оказались неспособными отличить Виртуального Актора от человека в выбранной парадигме в виртуальном окружении. Более того, Виртуальный Актор к концу сессии оказался социально более востребованным по сравнению с испытуемыми. Направление «Функциональные Сети» 1. Был предложен иерархический алгоритм обучения, позволяющий решать стохастические задачи с внутренней структурой и иерархией целей эффективнее имеющихся аналогов. 2. Экспериментальное исследование изменчивости паттернов активности нейрональных культур в процессе обучения показало, что после стимуляции разнообразие паттернов спонтанной активности увеличивается. Это позволяет предположить, что подобное увеличение разнообразия активности может являться необходимой фазой для успешного протекания обучения. 3. Разработана и исследована компьютерная модель формирования спонтанной пачечной активности и обучения в нейрональной культуры. Предварительные результаты сопоставления активности в модели с экспериментальными данными указывают на их качественное соответствие друг другу. Направление «Нейроанимат» Выполнен ряд теоретических и экспериментальных работ в интересах решения практических задач анализа функционирования (поведения) живых систем и выявления паттернов их активности во времени и пространстве признаков. 1) Проведена кластеризация данных пачечной активности нейрональной культуры с использованием двух групп признаков, включающих показатели интенсивности пачечной активности и их распределение по электродам (инверсионные признаки). Для кластеризации использованы как плотностные алгоритмы (DBSCAN, алгоритм Литинского-Романова), так и агломеративные (average-linkage и complete-linkage). Показано, что признаки двух групп в среднем обладают одинаковой информативностью с точки зрения кластеризации данных. Для количественной оценки информативности признаков использован показатель валидности кластеров Adjusted Rand Index (ARI). 2) Разработан и программно реализован новый подход к кластеризации данных, основанный на метаэвристике роевого интеллекта «муравьиные колонии». Метод применен к задаче кластеризации пачек активности нейрональной культуры. 3) Построена математическая модель нейронной сети, которая демонстрирует синхронизированные спонтанные популяционные пачки активности. Проведены экспериментальные исследования модели. Показано, что модель генерирует пачки, «мотивы» которых аналогичны по своим характеристикам пачкам, наблюдаемым в живой нейрональной культуре. Направление «Нейрокомитет» 1) Создан новый алгоритм кластеризации данных, в котором применена идея совместного использования генетического алгоритма и нейросетевого RBF-классификатора. Эксперименты на модельных и известных тестовых данных показали высокую точность получаемой кластеризации, повторяемость и надежность получаемых решений. 2) Разработаны методики использования комитетов нейронных сетей для каждого из трёх подходов к сегментации многомерных временных рядов. Методики тестировались на эталонных задачах. Показано, что для псевдохаотической динамики временных рядов при отсутствии квазистационарных состояний подходы, связанные с использованием кластеризации, не дают результата. 3) Показано, что наибольшая эффективность достигается при использовании гетерогенных комитетов при взвешенном комбинировании ответов предикторов, причём веса ответов предикторов следует определять на независимом наборе данных. 4) Разработанные методики выделения квазистационарных состояний на основе алгоритмов кластеризации применены для решения сложной задачи реального мира – анализа состояний магнитосферы Меркурия. 5) Сформулированы основные принципы работы оригинального оптимизационного алгоритма на основе когнитивных агентов. Алгоритм основан на комбинации генетического алгоритма и обучения каждого индивидуума внутри поколения. Направление «Когновизор» 1) Сформулирована новая актуальная прикладная задача обработки данных айтрекера для поиска паттернов поведения точки взора человека с частичным нарушением функций мозга. Задача сведена к анализу символьной последовательности некоторых базовых типовых движений точки взора, локализованных в пространстве и времени. 2) Подготовлены и приведены к стандартному формату данные направления «Когновизор». Получены первые результаты применения базовых версий алгоритмов. Показано, что необходима серьёзная переработка алгоритмов предобработки данных. Разработана методика такой предобработки и осуществлена её программная реализация. Направление «Автономные Агенты» Получены следующие результаты: 1) Построена и исследована биологически инспирированная модель новокаледонских ворон, формирующих планы достаточно сложного поведения на основе ранее освоенных элементов этого поведения. Разработана схема формирования планов поведения, включающая построение внутренней базы знаний агента (модельного организма), которая характеризует отдельные ситуации, прогнозы результатов действий, оценку близости текущей ситуации к целевой ситуации. План цепочки действий формируется на основе этой базы знаний. Компьютерное моделирование показало качественное подобие результатов изучения модели биологическому эксперименту. 2) Разработана модель многоагентных систем, использующих агентов-посланников для передачи информации внутри системы. Модель применена для исследования сообщества производителей и инвесторов в рамках прозрачной рыночной экономики.

Аннотация результатов, полученных в 2017 году
Общие главные итоги проекта таковы: Построена общая биологически инспирированная модель разума, подобного разуму животных и человека. Показано, что данная модель может лечь в основу разработки человекоподобных интеллектуальных агентов – правдоподобных виртуальных Акторов и креативных ассистентов-Коботов для широкого спектра практических приложений. Получены нейросетевые карты восприятия эмоционально значимых стимулов, соотнесенные с картами психологического пространства дифференциации эмоциональных стимулов. Получены нейросетевые корреляционные карты различных типов мышления - от пространственного до семантического. Построены и исследованы биологически инспирированные модели автономных агентов, которые формируют предсказания своих действий и планируют целенаправленное поведение на основе предсказаний. Конкретно, по семи направлениям проекта на 2017 год была проведена перечисленная ниже работа и получены перечисленные результаты. Семантическая Карта Построена расширенная теоретическая модель семантической карты, включающей аннотированные элементы поведения в заданном окружении и зрительные образы (Samsonovich, 2018). Собрана аннотированная база данных, включающая записи элементов поведения человека и Виртуального Актора в виртуальном окружении. Построена расширенная семантическая карта, отображающая (а) смыслы слов (слова в контексте фраз) русского языка, (б) аннотированные зрительные образы и (в) элементы поведения в виртуальном окружении. Результаты количественного исследования свойств и характеристик построенных семантических карт смыслов слов русского и английского языков и их сравнения с подобными ранее созданными ресурсами и моделями – семантическими картами слов – представлены в двух журнальных статьях (Эйдлин, Самсонович, 2018; Samsonovich, 2018, первая опубликована, вторая принята в печать). Построена общая концепция креативного когнитивного ассистента на основе когнитивной архитектуры eBICA, центральным элементом которой является семантичесвая карта (Eidlin & Samsonovich, 2018). Созданы семантические карты для специальных областей: карта стратегий решения задач, карта музыкальных аккордов, карта сочетаний цветов используемых в дизайне. На основе аттракторной нейросетевой модели семантической карты направлений в пространстве дано объяснение новых экспериментальных данных по поведенческим коррелятам направления головы крысы (Samsonovich, AISC, 2018). Виртуальный Актор Получен Виртуальный Актор как агент, обладающий социально-эмоциональным интеллектом и способный к нарративному целеполаганию. Это проявляется в его статистической неотличимости от человека в выбранных парадигмах в виртуальных окружениях по трем параметрам: правдоподобии, социальной приемлемости и эффективности. Создан тест типа Тьюринга, чувствительный к проявлениям социально-эмоционального интеллекта. Построена общая модель формирования эмоциональных оценок Виртуальным Актором. Модель применена в рамках направления Когновизор. Результаты разработок и исследований Виртуального Актора представлены в виде статей. Создана система логирования событий в виртуальном окружении и автоматического анализа логов. Разработан общий тест, альтернативный тесту Тьюринга. Построена классификация (иерархия) виртуальных окружений. Экспериментальная платформа адаптирована для работы в фМРТ. Функциональные Сети Набор программных модулей, реализующий алгоритм обучения сети функциональных систем в нейросетевом базисе на основе модели иерархического DQN алгоритма. Добавленные в модель метаконтроллер и механизм внимания. Результаты исследование эффективности вариантов полученного алгоритма, включая следующие. Проведенные исследования показывают, что рассмотренный алгоритм способен в процессе обучения неявно сформировать набор функциональных систем, где каждая ФС реализует свое индивидуальное поведение. Предложенная архитектура также предоставляет интерфейс взаимодействия с выученными ФС. Это может помочь в переносе идей и решений из дискретных алгоритмов обучения ФС на современные глубокие нейронные сети. Помимо этого, возможность управлять обученным агентом полезна в областях, где все задачи могут быть легко выражены как комбинация нескольких базовых действий, но при этом базовые действия представляют собой трудные задачи, которые удобнее решать через машинное обучение. Нейроанимат Экспериментально было найдено следующее. Культура, в которой активность сохранилась на предыдущем уровне, "помнила" результаты обучения на предыдущем дне. После завершения тестирования культура перестала отвечать на стимуляцию. Полученные данные подтверждают ранее полученные данные о том, что культура нейрональных клеток головного мозга мыши способна обучаться, т.е. изменять свою активность так, чтобы внешняя стимуляция в эксперименте выключалась. Частота успешных попыток обучения составила 14% в случае гиппокампальных культур. Корковые культуры в данных экспериментах не обучились. Кластеризация регистрируемой нейрональной активности между каналами показала, что с возрастом культуры число доминирующих кластеров в культуре не превышает 1-2, что говорит о том, что динамика сети сводится к небольшому числу паттернов. Кластеризация по характеристической функции демонстрирует воспроизводимое на разных культурах устойчивое доминирование небольшого числа аттракторов в электрофизиологической активности на протяжении более 25 DIV в отсутствии внешней электрической стимуляции. Было проведено сопоставление результатов по популяционной нейрональной активности в процессе обучения, полученной на модельной и реальной нейрональных культурах. Для активности с редкими пачками, мода и среднее значение усредненной активности дают приблизительно одинаковую оценку фоновой активности биологической и моделируемой сети. В другом режиме работы модели пачки появлялись с малой дисперсией периода, что не соответствует реальным данным. В третьем режиме наблюдалась неправдоподобно высокая спонтанная активность. Нейрокомитет 1) Методика обработки экспериментальных данных ЭЭГ. 2) Результаты экспериментов по расчету различных характеристик изображения, а также их морфологической сегментации. Программно реализованные процедуры применения техник топологической сегментации, энтропии и скелетизации и результаты их применения к массиву картинок-стимулов. 3) Результаты статистического анализа поведения игроков в виртуальном окружении в рамках парадигмы взаимодействия «Простая» с целью поиска характерных паттернов поведения. 4) Методика статистической обработки данных когнитивного эксперимента, направленного на проверку способности участников к пространственно-образному и вербально-логическому мышлению, на анализ объема ассоциативной и оперативной памяти. Результаты экспериментов по использованию данной методики (с использование айтрекера EyeLink 1000 Plus). 5) Результаты когнитивного эксперимента, задачей которого было исследование особенностей работы функциональных систем мозга при нарушении речи – заикании. Результаты эксперимента регистрировались с помощью магнитно-резонансного томографа (Magnetom Verio 3T (Siemens, Германия)) и синхронизованного с ним айтрекера (EyeLink 1000 Plus). Когновизор 1) Полная программная реализация разработанных в 2016 году методик предобработки данных фМРТ и данных ЭЭГ. Данные методики были применены в получении на полноценной выборки испытуемых карт нейросетевой при решении шести типов задач, плавно распределенных от образного до семантического типа мышления. Показано, что, используя разработанные в проекте алгоритмы, возможно построение метрики категоризационных ментальных задач, например, по параметру ковариационных взаимодействий нейросетей. 2) На основе данных фМРТ и айтрекера построены карты нейросетевых активностей головного мозга человека при восприятии физических и семантических признаков сложных цветовых зрительных стимулов. Полученные результаты позволяют сделать вывод о том, что на групповом уровне для каждого признака может быть построено уникальное семантическое пространство. 3) Алгоритмы определения механизмов восприятия общего смысла изображения и использование их для решения обратной задачи декодирования, а именно, нахождения предъявленного изображения по совокупным данным фМРТ и айтрекинга. Точность работы классификатора-декодировщика составила 90%. 4) Совместно с направлением «Виртуальный Актор» была разработана парадигма и поставлены эксперименты по визуализации активности нейросетей, принимающих участие в выборе стратегии поведения человека в игре. Полученные результаты позволяют сделать вывод о возможности сопоставления стратегии поведения человека в игре с его эмоциональной семантической картой. 5) Разработанные в направлении «Когновизор» методы были применены на практике выявления функциональных когнитивных нарушений у людей с заиканием. Полученные результаты показали устойчивые отличия мозговой активности и движений точки взора у людей с функциональным нарушением речи по сравнению с людьми без заикания. Предложены числовые показатели, которые могут быть взяты за основу при диагностике степени функционального нарушения речи, лечении и контроле состояния после завершения лечения. Автономные Агенты Развитые модели мысленного формирования плана целостного сложного поведения (цепочки действий) из отдельных элементов этого сложного поведения новокаледонскими воронами. Агент-ориентированная модель прозрачной экономической системы, состоящей из сообщества инвесторов и производителей, Результаты исследования этой модели. Результаты развития концепции моделирования когнитивной эволюции.