Аннотация результатов, полученных в 2022 году
Данный трехлетний проект ставит своей целью решить новую комплексную фундаментальную проблему, имеющую большое практическое значение. В самом деле, в итоге нами будут созданы средства искусственного интеллекта (ИИ), способные взаимодействовать с человеком на социальном уровне, быть принятыми человеком «на равных», пусть в ограниченных парадигмах, быть способными судить о личности человека по его поведению и строить с ним личные отношения. Все это станет возможным благодаря социальной эмоциональности и эмоциональному интеллекту искусственных агентов на уровне человека или высшего животного. Можно ли отнести данный тип ИИ к Сильному ИИ? Это вопрос терминологии. Не так давно идеи о подобных средствах можно было бы отнести разве что к области научной фантастики. Но сегодня во многих лабораториях мира ведутся работы по их созданию, причем как правило разработки ведутся для конкретных практических применений и в условиях жесткой конкуренции. И как правило разработки упираются в барьер: «проблему контекста», ограничиваясь мелкими частными решениями. А решение требуется общее, и у нас есть больше шансов его найти, потому что наше преимущество – это свобода от давления конкуренции, жестких практических целей и сроков. Мы можем позволить себе заниматься наукой. Наши цели и сроки связаны с решением фундаментальных вопросов, действительно имеющих большое значение для широкого круга практических задач, но мы не ставим своей целью обращение их в прибыль: это было бы слишком мелко. Ожидаемый в долгосрочной перспективе эффект должен оправдать все усилия. Сверхзадача создания интеллектуальных агентов и роботов, обладающих социально-эмоциональным искусственным интеллектом (СЭИИ) на уровне человека, имеет два тесно связанных друг с другом аспекта: это умение вести себя должным образом на социальном уровне и умение оценивать поведение других. Решение одной из этих задач невозможно без решения другой. Существует два основных подхода к решению этих задач. Один – это когнитивное моделирование, когнитивные архитектуры. Другой – это машинное обучение, вершиной которого сегодня являются глубокие нейросети и генетические алгоритмы. Каждый из этих подходов имеет свои сильные и слабые стороны. Наша ключевая идея состоит в новом способе их соединения. Проверка гипотезы о его эффективности и есть главная цель нашего проекта. Для достижения данной цели требуется решение центральных задач. Это задача математического описания человеческой психики, и прежде всего социальных эмоций, а также задача эффективного переноса данного описания в нейросетевой формат с возможностью его дальнейшей эволюции в этом формате. Но, кроме этого, для достижения цели нам требуется решить целый комплекс вспомогательных, «периферийных» задач. Это разработка и реализация экспериментальных парадигм, их воплощение в системах, обеспечивающих качественные многомодальные взаимодействия и сбор данных различной природы, создание системы метрик и измерительных средств: как для оценки наблюдаемого поведения человека или автомата, так и для изучения динамики внутренних состояний; интеграция необходимых вычислительных средств, ресурсов и методик; формализация принципов нравственности, морали и этики; и многое другое. В течение отчетного периода были проведены все запланированные работы. На данном этапе был выбран ряд практически интересных парадигм, для них были определены моральные схемы взаимодействия актора и пользователя, построены семантические карты, созданы симуляции виртуальных окружений, в том числе на базе VR, а также для некоторых парадигм – симуляции на основе робота Ф-2. При этом кроме центральной задачи, решался ряд вспомогательных задач, таких как анализ/синтез речи, анализ тональности речи и текста, анализ/синтез эмоциональных выражений лица. Многие из этих задач имели готовые решения, однако требовалась их адаптация и интеграция в экспериментальную платформу. Для регистрации текущего эмоционального состояния человека был разработан МР-совместимый полиграф, позволяющий во время МРТ сканирования проводить параллельно регистрацию кожно-гальванической реакции (КГР), дыхания (пневмограмма) и фотоплетизмограммы (ФПГ, с расчетом частоты сердечных сокращений ЧСС), т.е. характеристик физиологических реакций, которые отражают эмоциональное напряжение, в том числе связанное с реакцией на предъявляемые стимулы. Обработка МРТ данных позволяет визуализировать нейросетевую активность головного мозга, связанную с восприятием и обработкой личностно-значимой информации. На данном этапе работы был разработан алгоритм для автоматического распознавания личностно-значимых стимулов по данным МР-совместимого полиграфа. Основные результаты и выводы работы по данному направлению заключаются в следующем: 1. Разработаны и программно реализованы методы по исследованию повоксельной BOLD-активации мозга в ответ на предъявление аудиальных стимулов (личностно значимых текстов) для последующей локализации нейросемантических репрезентаций в сером веществе головного мозга человека. 2. Разработаны и программно реализованы методы поиска семантических кластеров в модели повоксельной реакции на предъявление стимульного материала в виде личностно значимых текстов как на индивидуальном, так и на групповом уровне. 3. Разработаны и программно реализованы методы визуализации нейросемантических кластеров для полупрозрачной трёхмерной модели коры и внутренних структур серого вещества головного мозга человека, а также для развёрнутой коры головного мозга. 4. Апробация разработанных методов и их программных реализаций проводилась для личностно значимых текстов на русском языке и для фМРТ-данных двадцати пяти испытуемых. На основании применения разработанных методов были выделены система из групп нейросемантических кластеров, описывающих различные объективные и субъективные аспекты ситуаций, упоминавшихся в использованных нарративах. Разнообразие слов в полученных кластерах свидетельствует о том, что семантическая система в её функционировании даёт широкий спектр конкретных и абстрактных примеров понятий, относительно стабильных и гибко меняющих в соответствующем контексте своё значение. 5. При картировании кластеров на структуры головного мозга распределение получилось не компактно сгруппированным по конкретным регионам мозга, а широким по коре и внутренним структурам серого вещества. Явная асимметрия в распределении нейросемантических карт отсутствует. Результатами работ по направлению «Эволюция глубокого обучения» являются разработанные нейросетевые архитектуры для следующих парадигм: (а) виртуальный партнерский танец; (б) виртуальный регистратор; (в) виртуальная клоунада; (г) виртуальный психолог; (д) виртуальная игра в мяч-бомбу; (е) виртуальный поединок ковбоев. Для данных парадигм были разработаны конкретные нейросетевые архитектуры и методики глубокого обучения агентов, соответствующие выбранным когнитивным архитектурам для выбранных парадигм, а также созданы средства их интерфейса с виртуальными окружениями. Воплощенные нейросетевые архитектуры были обучены на синтетических данных (а-в), на общедоступных ресурсах (г), и на данных, собранных с испытуемых (д), с последующим тестированием и оценкой качества работы нейросетей. Результаты тестирования в случае (а-в) подтвердили воспроизводимость функциональности когнитивной архитектуры в нейросетевой архитектуре, а в случае (д) подтвердили возможность определения психотипа пользователя по его поведению в игре с помощью нейросети.

Аннотация результатов, полученных в 2023 году
В этом году мы получили приятно удивившие нас результаты в исследовании социальных взаимодействий между человеком и созданными нами разговорными агентами, основанными на больших языковых моделях (BERT, GPT) и когнитивной архитектуре eBICA. Агенты исполняли роли виртуальных акторов в различных парадигмах, включая: виртуальный регистратор отеля, виртуальный психодиагност, собеседник на виртуальной вечеринке. Эти акторы были реализованы на базе различные платформ, включая робот Ф-2, чатбот в Telegram, реалистичный антропоморфный аватар в среде виртуальной реальности, реализованной в Unreal Engine 4 и 5 и Unity. В наших экспериментах акторы управлялись как алгоритмами, так и людьми. Поведение в том и другом случае оценивалось вслепую. В результате социальные характеристики поведения искусственных агентов по многим метрикам оказались статистически неотличимыми от характеристик поведения человека, а в некоторых случаях значимо превзошли оценки человека. Среди таких метрик оказались эмпатичность, способность вызывать эмоции, наличие индивидуальности. Подобные результаты были получены при различных реализациях вербального интерфейса (DeepPavlov на основе BERT в одном случае и ChatGPT 3.5 Turbo от OpenAI в другом случае). Во всех случаях вербальный интерфейс на основе большой языковой модели обеспечивал лишь связь человека с когнитивной моделью eBICA, причем последняя могла быть воплощена как напрямую в виде алгоритма, так и в форме нейросети, вобравшей в себя функциональность данного алгоритма посредством глубокого обучения. Таким образом, полученные нами данные подтверждают, в рамках выбранных парадигм, наличие СЭИИ виртуального актора на основе eBICA на уровне, совместимом с человеком, и свидетельствуют о том, что мы на верном пути. Исследование и апробация реализованных экспериментальных парадигм включали изучение эмоциональности, социальной совместимости и правдоподобия во взаимодействиях с виртуальным актором. В парадигме «Виртуальный психодиагност» Робот Ф-2, разработанный в НИЦ «Курчатовский институт», выражает эмоции в жестах и мимике и озвучивает текст. Интерфейс на основе BML используется для работы с базой паттернов эмоциональной динамики. Оценивались эмоциональные жесты робота. Другой задачей было обучение системы распознаванию типа личности путем анализа диалогов, с использованием открытых данных (Kosinski, 2016). В парадигме «Виртуальный регистратор» генератор ответов использовал две нейронные сети для разных тем диалога: одна для свободной темы, другая - для диалога о заселении в отель. В исследовании сравнивались психологические профили виртуального агента и человека, а также их эмоциональные и социальные компетенции. До взаимодействия впечатление о виртуальном акторе определяли внешние характеристики, после - поведение. После общения виртуальный актор воспринимался как имеющий индивидуальность на уровне выше человека (p<0.0095). Виртуальный актор также показал высокую способность формировать и поддерживать отношения. Взаимопонимание между участниками и виртуальным агентом было выше, чем с человеком (p<0.044). Конфликтность высказываний уменьшилась после взаимодействия с виртуальным агентом (p<0.027), а уровень расположения участников после интервенций виртуального регистратора увеличилась (p<0.013). Наряду с моделью на основе моральных схем была создана альтернативная модель доверительного контакта (Тихомирова, 2023) с элементами: цель, роли, контекст, инициация, навыки, ресурсы, помехи, невербальные сигналы, результат и отношение к собеседнику. В целом по направлению «Когнитивные модели и архитектуры, акторы и роботы» получено следующее. Разработана новая концепция когнитивной архитектуры eBICA, в которой ключевую роль играют сложные моральные схемы, включающие взаимодействие множественных мысленных перспектив, и расширенные семантические карты, включающие богатый набор интенциональностей. Разработаны новые экспериментальные парадигмы и платформы для реализации наших агентов. С помощью машинного обучения и глубоких нейронных сетей были созданы инструменты для анализа социальных характеристик поведения искусственных агентов. По итогам этих исследований нами было подтверждено наличие социально-эмоциональной интеллектуальной совместимости виртуальных акторов с человеком. Также с использованием когнитивной модели eBICA, был создан прототип интеллектуальной тьюторинговой системы "Виртуальная классная комната", потенциально интересной с точки зрения применений в образовательном процессе, и собраны большие объемы данных в других парадигмах для дальнейшего обучения моделей. В рамках работы по направлениям Когновизор и Нейрокомитет были получены следующие результаты. 1. Разработана применительная к фМРТ-данным математическая модель повоксельного гемодинамического отклика в ответ на предъявление звучащего текста на естественном языке. 2. Для индивидуального и группового анализа разработаны математические методы выделения нейросемантических кластеров при восприятии испытуемыми звучащего нарративного текста на естественном языке. 3. Разработаны математические методы визуализации полученных нейросемантических кластеров в виде нейросемантических карт для трёхмерной модели коры и внутренних структур головного мозга человека, а также для развёрнутой на плоскости коры головного мозга человека. 4. Для группы 25 испытуемых в задаче восприятия звучащих текстов на русском языке на основе применения разработанных методов была выявлена система 12 нейросемантических кластеров, характеризующихся тематическим единством семантической информации (внутрикластерное расстояние по word2vec не превышает 0.56). 5. Для группы испытуемых были обнаружены как индивидуальные, так и общие паттерны активности (с точностью до 4 мм при перекрытии карт) областей мозга в ответ на предъявление звучащего текста на естественном языке. 6. Локализация нейросемантических кластеров имеет пространственно распределённый характер по коре и внутренним структурам серого вещества головного мозга (от 17 до 129 воксельных групп с мощностью от 5 до 43 вокселей в группе). Межполушарная асимметрия в нейросемантических картах отсутствует (разница в картах левого и правого полушария по всем зонам атласа не более 1.2%). Обнаружена фронтально-затылочная асимметрия нейросемантических кластеров – представленность нейросемантических карт в затылочных зонах выражена на 78.3% больше, чем во фронтальных. 7. Широко распространённый характер нейросемантических представлений, полученных в результате применения разработанного метода для русского языка, сопоставим с аналогичными результатами для английского языка и указывает на межъязыковую универсальность нейронной организации принципов лексического картирования в мозге и её относительную независимость от особенностей конкретных языков. Существенные кросс-культурные отличия обеспечиваются характером стимульного материала, который для английского и русского языков отличался по смысловой нагрузке. Также, только для русского языка получены результаты для внутренних и стволовых структур. По направлению «Эволюция глубокого обучения», нами получены новые результаты в рамках парадигм «Виртуальный партнер танца» и «Три ковбоя», с возможным расширением на другие парадигмы. В парадигме партнерского танца собраны новые данные для обучения нейросетевых моделей. Разработан общий подход для исследования эволюции глубокого обучения и продемонстрирована его работоспособность. В работе Федорова, Назарько и Самсоновича (2023) предложен и реализован новый метод интеграции глубокого обучения НС и ГА. Подход универсален и позволяет работать с различными архитектурами НС и решать различные задачи. Численные эксперименты подтверждают работоспособность концепции. Предложенный подход принципиально отличается от известных подходов к интеграции ГА и моделей обучения нейросетей. В данном случае в роли генотипа, подверженного мутациям и рекомбинациям, выступает набор данных, используемых для обучения нейросети. При этом фенотипом является обученная нейросеть.