Аннотация результатов, полученных в 2018 году
Выполненные на первом этапе проекта в 2018 отчетном году работы включают в себя расширенный аналитический обзор существующего информационно-лингвистического и математического обеспечения, связанного с областью компьютерной паралингвистики, разработку новых и совершенствование существующих моделей, методов и алгоритмов комплексного паралингвистического анализа речи, а также сбор и анализ доступных многодикторных речевых корпусов (информационно-лингвистическое обеспечение) на различных естественных языках для многоцелевых исследований паралингвистических речевых явлений. 1) Аналитический обзор предметной области включает в себя более 140 научно-технических источников литературы, более 130 из которых были опубликованы за последние 7 лет. В обзор вошли такие разделы, как описание предметной области; актуальные цели и задачи компьютерной паралингвистики; способы сбора, аннотации и обработки существующих речевых корпусов на разных языках, представляющие различные паралингвистические явления, в том числе психоэмоциональные состояния, ложь, стресс, состояние здоровья, сна, а также индивидуальные характеристики дикторов, такие, как пол, возраст, языковой акцент и другие. В обзор также вошло описание открытых международных соревнований по компьютерной паралингвистике ComParE, ежегодно проходящих в рамках международной конференции INTERSPEECH, в которых участвовали исполнители данного проекта. Помимо этого, в обзоре были описаны современные достижения и передовые технологии, применяющиеся в области автоматического анализа паралингвистических явлений: представлены методы извлечения и обработки акустических признаков, их нормализации; поиск оптимальных представлений информативных признаков; алгоритмы классификации, включающие в себя как традиционные методы машинного обучения, так и самые современные нейросетевые архитектуры; способы обучения классификаторов, в том числе, использование кросс-корпусного анализа и аугментации данных. Дана классификация существующих и применяющихся на практике методов машинного обучения в области компьютерной паралингвистики, проанализированы преимущества и недостатки каждого метода, приведены примеры успешного применения подходов на практике. Также приведена классификация типов акустических признаков, играющих важную роль в системах распознавания паралингвистических событий, даны основные характеристики каждой группы. 2) После поиска и сбора существующего открытого информационно-лингвистического обеспечения были проанализированы следующие базы данных, содержащие различные паралингвистические явления: базы данных эмоционально окрашенной русской речи: RUSLANA, RAMAS, EmoChildRu; базы данных эмоциональной речи на других языках: англоязычные – IEMOCAP, CreativeIT, SEMAINE; немецкоязычные – EMODB, USoM; франкоязычная – RECOLA; турецкоязычная – BUEMODB. Базы данных с правдивыми и ложными речевыми сообщениями: Deceptive Speech Database (DSD), CSC Deceptive Speech (CSC), база данных Университета Ноттингема, база данных Университета Сучжоу (Китай), корпус Columbia X-Cultural Deception Corpus (CXD Corpus). Базы данных, содержащие индивидуальные характеристики дикторов (пол и возраст): aGender, ELSDSR, Mandarin, NIST SRE 2008, NIST SRE 2010, N-Best. Другие найденные речевые базы данных с паралингвистическими явлениями: базы данных, содержащие речь людей с болезнью Паркинсона; базы данных, содержащие речь с различными акцентами. В общей сложности для проведения исследований было получено более 20 свободно-доступных речевых корпусов, содержащих различные паралингвистические явления. Из анализа полученных открытых баз данных можно сделать вывод, что задача распознавания эмоций превалирует в современной области компьютерной паралингвистики, что видно из большого количества существующих данных. Корпуса лживой речи значительно уступают по количеству и объему, а также возможности открытого использования данных в целях исследований. Для распознавания возраста и пола подходят практически любые базы данных, содержащие базовую информацию о дикторах. Одной из самых малоисследованных задач в области компьютерной паралингвистики является распознавание наличие заболеваний по речи (например, болезни Паркинсона или Альцгеймера), в силу малого количества подходящих дикторов, а также конфиденциальности процедуры записи пациентов. 3) В целях разработки интеллектуальной системы комплексного паралингвистического анализа речи было предложено новое и усовершенствовано существующее математическое обеспечение для вычисления и выделения акустических признаков, в том числе: а) Усовершенствован метод извлечения акустических признаков с использованием программного инструментария openSMILE, который предоставляет возможность извлечения стандартных акустических признаков на уровне всего высказывания. Количество таких признаков очень высоко (более 6 тыс.), поэтому существует необходимость предварительной обработки векторов признаков перед их использованием для классификации. Нами предложен новый подход к нормализации полученных признаков с помощью каскадного применения операций нормализации на разных уровнях цифровой обработки аудиосигнала. В результате такой метод обработки позволяет избавиться от вариативности между дикторами, сократить диапазон изменения значений различных признаков и привести любой набор данных к удобному виду для обработки, что приводит к повышению эффективности работы классификаторов. б) Предложен метод извлечения признаков на каждом кадре при помощи рекуррентной нейронной сети с длинной кратковременной памятью (РНС-ДКП), которая известна своей эффективностью при моделировании временных последовательностей. Специальные ячейки памяти ДКП позволяют хранить информацию о предыдущих событиях, закодированную в виде активации соответствующих параметров сети. Такая архитектура имеет преимущество перед обычными РНС, которое выражается, во-первых, в возможности моделировать неограниченно длинные последовательности, и, во-вторых, в отсутствии проблемы взрывающихся градиентов, присущей архитектурам РНС без ДКП. Предложенный способ извлечения признаков позволяет моделировать временные изменения в речевом сигнале, захватывать динамическую структуру данных и генерировать абстрактное представление, содержащее скрытые информативные признаки, недоступные для выражения через стандартные статистические методы openSMILE. Таким образом, комбинация глобальных статистических признаков openSMILE и признаков, полученных на выходе РНС-ДКП, моделирующих локальную структуру данных и ее изменения во времени, позволяет воспользоваться преимуществами обоих методов, которые являются комплиментарными. в) Предложен новый подход к кросс-корпусному обучению классификаторов, позволяющий использовать больше данных для обучения и добиться более высокой точности и робастности классификации. В ходе данной работы было сделано несколько выводов, в том числе о том, что измерения активации и валентности являются сильно коррелированными, поэтому обучение системы на активации эмоции, а тестирование на валентности эмоции, показывает высокие результаты. Это верно в том случае, если исходное распределение эмоциональных дескрипторов в пространстве активация-валентность обучающего корпуса имеет положительную корреляцию, как например, для корпусов RECOLA и SEMAINE. По этой причине при использовании кросс-корпусного обучения необходимо тщательно подбирать корпуса, подходящие по характеристикам распределения к целевому корпусу тестирования. г) Предложен новый метод к генерации новых данных на основе уже имеющихся обучающих наборов из разных корпусов. Данный метод является простой, но эффективной стратегией генерации новых данных для преодоления сложностей, связанных с кросс-корпусным моделированием на несовпадающих распределениях обучающих и целевых ковариационных структур. 4) По результатам выполненных работ были подготовлены и опубликованы 3 статьи в англоязычных изданиях (Lecture Notes in Computer Science и Proceedings of INTERSPEECH), индексируемых в базах данных Scopus/Web of Science и 2 статьи в изданиях, индексируемых в РИНЦ, подготовлена 1 журнальная статья, которая принята к публикации в 2019 г. Сделаны устные доклады по текущим результатам проекта на международных научных конференциях INTERSPEECH-2018 (Хайдерабад, Индия, 2-6 сентября 2018), SPECOM-2018 (Лейпциг, Германия, 18-22 сентября 2018) и ИТУ/МКПУ-2018 (Санкт-Петербург, 4-6 октября 2018). Кроме того, авторы приняли участие в 10-м паралингвистическом соревновании ComParE в рамках 19-й международной конференции INTERSPEECH-2018 по конкурсному направлению определения оценки эмоционального состояния дикторов, предоставленной самими дикторами в виде самооценки (Self-Assessed Sub-Сhallenge), и оказались в числе 3-х лучших финалистов конкурса. В целях освещения результатов данного проекта создана веб-страница в глобальной сети Интернет, посвященная данному исследованию: http://hci.nw.ru/ru/projects/18

Аннотация результатов, полученных в 2019 году
В 2019 году командой исполнителей был выполнен 2-й этап проекта РНФ, связанный с разработкой и исследованием математического и программного обеспечения для интеллектуальной системы комплексного паралингвистического анализа речи и получены следующие основные результаты: Разработано новое математическое обеспечение и усовершенствованы существующие модели, методы, и алгоритмы для задач цифровой обработки речевых сигналов и машинной классификации паралингвистических явлений в разговорной речи в нескольких направлениях: 1) автоматическое распознавание естественных эмоций (психоэмоциональных состояний) диктора, в том числе в диалоговой речи; 2) автоматическое распознавание потенциальной лжи (состояний внутреннего психологического давления и стресса) в высказываниях; 3) автоматическое определение пола и возрастной группы диктора; 4) автоматическое определение типа адресата речевого сообщения. На данном этапе нами были разработаны и исследованы 5 различных нейросетевых архитектур моделей на основе глубокого обучения, 3 подхода с использованием традиционных методов машинного обучения, а также методы отбора информативных признаков, алгоритмической композиции, доменной адаптации, и многоуровневого анализа контекста. В целях анализа психоэмоциональной составляющей речи человека была предложена 2-х уровневая архитектура организации рекуррентных нейронных сетей с длинной кратковременной памятью RNN-LSTM, позволяющая анализировать как индивидуальный поток речи, так и речевое взаимодействие двух партнеров в диалоге. Это является важным результатом, так как позволяет добиться не только высокой точности классификации, но также и большей стабильности и робастности работы системы. Для решения паралингвистической задачи распознавания ложной информации в речи нами разработана алгоритмическая композиция, позволяющая использовать ансамбль машинных классификаторов для понижения погрешностей каждого индивидуального классификатора и большей устойчивости бинарного распознавания. Также нами разработаны и исследованы несколько полносвязных FCNN и сверточных нейронных сетей CNN для задачи распознавания пола и возрастной группы диктора по голосу. Дополнительно были разработаны несколько нейросетевых архитектур, в том числе с использованием интегрального подхода (end-to-end) к распознаванию паралингвистических явлений в речи, позволяющие определять тип адресата речевого сообщения (человек/компьютер или взрослый/ребенок). Такие компоненты являются важным составляющим интеллектуальной системы паралингвистического анализа, так как они позволяют различать речевые сообщения пользователя, направленные к компьютерной системе и требующие от нее ответной реакции, от высказываний, направленных к другим людям, на которые ответная реакция системы не требуется. На основе предложенных математических моделей разработано новое программное обеспечение в виде прототипов компьютерных программ для ЭВМ на языке программирования высокого уровня Python. В целях интеграции существующих программных средств в разрабатываемую интеллектуальную систему был проведен анализ и изучение открытого прикладного программного обеспечения, предназначенного для автоматической обработки и распознавания паралингвистической информации в речи. Всего проанализировано 18 программных инструментариев и средств, находящихся в открытом доступе, включая: 3 программных инструментария для извлечения акустических признаков (OpenSMILE, Praat, librosa), 3 библиотеки для тензорных вычислений (TensorFlow, Theano, NumPy), 3 набора программных средств построения общих моделей машинного обучения (Scikit-learn, WEKA, RapidMiner), 5 библиотек для создания и обучения глубоких нейросетевых архитектур (CNTK, PyTorch, Keras, Caffe, MXNet), 3 инструментария для автоматического распознавания речи (Speech Recognition, Pocketsphinx, SpeechKit) и инструментарий общего назначения SoX. Сделан выбор в пользу нескольких систем извлечения признаков (openSMILE, librosa), а также выбраны наилучшие библиотеки машинного обучения и построения глубоких нейросетевых архитектур (TensorFlow, PyTorch, Keras), с помощью которых реализовано математическое и программное обеспечение, представленное в отчете по проекту. Разработано и зарегистрировано в Роспатенте программное обеспечение («Программная система для определения пола и возраста диктора по голосу GASpeakerRecognizer», свидетельство о государственной регистрации программы для ЭВМ № 2019662952). Данная компьютерная программа позволяет захватывать речевые данные диктора онлайн с помощью микрофона, а также считывать имеющиеся аудиофайлы и анализировать их на предмет паралингвистической информации. В результате обработки речевого сигнала в графическом интерфейсе пользователя выводятся пол и возрастная группа говорящего, а также вероятность принадлежности говорящего к каждой из 7 рассматриваемых гендерно-возрастных групп (ребенок 7-14 лет, 15-24, 25-54, 55-80 лет, мужчина или женщина). Математическое обеспечение, использованное при разработке данной программы для ЭВМ, включает в себя комплексную сверточную нейронную сеть CNN, обученную на базе данных немецкой речи aGender. Разработан прототип программного обеспечения для распознавания 4-х категорий естественных эмоций человека по речи (радость, грусть, злость, нейтральное состояние). После прохождения процедуры регистрации, состоящей из записи голоса пользователя, все последующие тестовые записи нормализуются и адаптируются под данного пользователя. Математическое обеспечение, использованное при разработке этой программы, включает в себя линейные модели классификации в виде матриц проектирования, полученных в ходе обучения на базах данных RUSLANA, EMODB, BUEMODB и др. Оба созданных прототипа являются частью разрабатываемой интеллектуальной системы комплексного паралингвистического анализа речи, и в дальнейшем будут встроены в общую архитектуру. Расширено доступное для исследований и разработок информационно-лингвистическое обеспечение (многодикторные речевые корпуса, транскрипции речевых записей и словари) на различных естественных языках. К официально доступным в СПИИРАН речевым базам данных эмоционально окрашенной речи и паралингвистических явлений (RUSLANA, RAMAS, EmoChildRu, IEMOCAP, CreativeIT, SEMAINE, EMODB, USoMS, RECOLA, BUEMODB, Deceptive Speech Database (DSD), CSC Deceptive Speech (CSC), база данных Университета Ноттингема, база данных Университета Сучжоу (Китай), база данных Columbia X-Cultural Deception Corpus (CXD Corpus), aGender, ELSDSR, Mandarin, NIST SRE 2008, NIST SRE 2010, N-Best) были добавлены новые речевые корпусы. В частности, корпус австрийской речи GRASS AUS, содержащий 38 дикторов и богатую паралингвистическую разметку, включающую в себя пол, возраст, образование, род деятельности, место жительство дикторов и др., речевой корпус Styrialects, в который входят немецкоязычные аудиозаписи на различных диалектах Штирии (область Австрии) от 55 дикторов из 25 различных регионов. В рамках участия в 9-х международных соревнованиях по аудиовизуальному анализу эмоций AVEC-2019 были также получены несколько многомодальных корпусов, содержащих эмоционально окрашенную речь, в том числе уровень стресса/депрессии и межкультурное проявление эмоций различных дикторов. В целях создания системы распознавания адресата высказывания были получены 2 корпуса на немецком языке, содержащие речевые сообщения людей, направленные к другим людям или к голосовым помощникам: SVC (Smart Video Corpus), VACC (Voice Assistant Conversation Corpus), а также корпус HB англоязычных речевых сообщений, направленных к другим взрослым, либо к детям. Всего официально получены 9 новых речевых баз данных, содержащих различную паралингвистическую информацию, в том числе стресс, эмоции, диалекты дикторов, а также типы адресатов речевых сообщений. Проведены экспериментальные исследования и получены количественные результаты работы программной подсистемы распознавания эмоциональных состояний дикторов в кросс-корпусной установке с применением метода доменной адаптации и анализа акустического контекста как самого говорящего, так и его партнера в речевом диалоге. В полученных результатах отражены точность распознавания активации и валентности базовой системы распознавания, а также улучшение, которое влекут за собой предложенные методы. Эксперименты проводились на англоязычной речевой базе данных IEMOCAP, классификация происходила по трем категориям [низкая, средняя, высокая] отдельно для каждого из двух измерений эмоционального пространства [валентность, активация]. Полученные нами значения точности распознавания обоих параметров превзошли ранее опубликованные в литературе. Таким образом, подтверждена эффективность разработанной нами системы. Результаты экспериментов на двух новых наборах признаков, полученных с помощью систем автоматического распознавания речи ASR и автоматической сегментации речи в целях моделирования состояния депрессии и синдрома посттравматического стресса показывают высокую разрешающую способность предложенных признаков и целесообразность их использования в будущем. Результаты включают в себя точность распознавания семи классов сегментированных аудиоданных, точность распознавания уровня депрессии и межкультурного проявления эмоций с учетом использования предложенных признаков и комбинации предложенных моделей. Эксперименты проводились на базе данных, предоставленной организаторами международных соревнований AVEC-2019. Предварительные результаты экспериментов, посвященных выявлению характеристик потенциальной лжи человека в его речевых высказываниях, являющихся показателями стресса и внутреннего давления, влияющих на психоэмоциональное состояние диктора, отражают точность бинарной классификации высказываний по категориям [правда, ложь] в зависимости от используемых методов, а также их комбинации на базе данных Real-Life Trial Deception Detection Dataset. Из полученных результатов можно сделать вывод, что выдвигаемая гипотеза о большей эффективности алгоритмической композиции по сравнению с отдельным классификаторами полностью оправдывается. Полученный опыт и выводы, сделанные нами по результатам проведенных экспериментов, являются ценными для дальнейшего достижения целей и задач проекта и разработки интеллектуальной системы комплексного паралингвистического анализа речи. Проведены экспериментальные исследования и получены количественные результаты работы интеллектуальной компьютерной системы в задаче автоматического анализа пола и возраста дикторов по речи с использованием многодикторных речевых данных. Результаты экспериментов с несколькими предложенными моделями на основе полносвязных и сверточных нейронных сетей CNN применительно к задачам распознавания пола и возрастной группы диктора по акустическим характеристикам включали в себя как совместное, так и раздельное распознавание пола и возрастной группы диктора. Получена точность классификации с помощью метода опорных векторов SVM, 1, 2, 3 и 4-слойных полносвязных нейронных сетей, простой сверточной нейросети, а также 3 и 4-уровневых сверточных нейросетей CNN. Анализ полученных результатов экспериментов включает в себя сравнение точности распознавания данных паралингвистических явлений в зависимости от различных наборов признаков: конфигурационные файлы признаков openSMILE и спектральных представлений (MEL, MFCC), а также влияние метода PCA и количества сохраняемой дисперсии данных на результаты классификации. Экспериментальные исследования в данной задаче проводились на речевой базе данных aGender. Результаты экспериментальных исследований в этой и других рассматриваемых задачах компьютерной паралингвистики показали, что выбор оптимальной модели классификации существенно зависит от условий задачи и качества обучающих речевых данных. Не существует универсального классификатора, одинаково эффективно справляющегося со всеми экспериментальными установками и данными. Это подтверждает гипотезу об отсутствии универсального решения в поиске и оптимизации, которая говорит о том, что любые два алгоритма оптимизации сравнимы по эффективности, если усреднить их результаты на множестве всех возможных задач. В рамках данного проекта при построении интеллектуальной системы комплексного паралингвистического анализа речи это означает, что невозможно ограничиться лишь одним методом распознавания паралингвистической информации, и обосновывает необходимость одновременного применения нескольких методов, в том числе с помощью алгоритмической композиции, позволяющей компенсировать погрешности отдельных классификаторов. Наша команда, включающая исполнителей проекта, приняла участие в 11-х международных соревнованиях по компьютерной паралингвистике INTERSPEECH 2019 Computational Paralinguistics Challenge (Грац, Австрия, http://www.compare.openaudio.eu/tasks/), где проводила экспериментальные исследования разработанных автоматических систем с использованием предложенных организаторами речевых баз данных. Коллектив исполнителей занял почетное 2-е место в конкурсе по распознаванию звуков детей Baby Sounds Sub-Challenge, существенно превысив базовые значения эффективности классификации на валидационных и тестовых данных; 4-е место в конкурсе по распознаванию степени сонливости диктора (Continuous Sleepiness Sub-Challenge), превысив базовые значения коэффициента корреляции на валидационных и тестовых данных; 4-е место в конкурсе по распознаванию диалектов Штирии по речи носителей (Styrian Dialects Sub-Challenge. Кроме этого, коллектив исполнителей проекта принял участие в нескольких направлениях соревнования по аудио-визуальному распознаванию эмоций 9th International Audio/Visual Emotion Challenge AVEC-2019 (Ницца, Франция, https://sites.google.com/view/avec2019/home). В задаче определения кросс-культурного проявления эмоций наша команда (SUN) заняла 3-е место, а в задаче по определению уровня стресса – 5-е. По результатам проведенных исследований нами подготовлен и опубликован цикл научных статей в англо- и русскоязычных изданиях и журналах со ссылками на проект РНФ. В 2019 году были опубликованы 8 статей в изданиях, индексируемых международными базами данных Scopus, Web of Science и РИНЦ. Руководитель и исполнители проекта участвовали и выступали с устными, стендовыми и приглашенными докладами по результатам проекта на следующих международных научных конференциях: 44-я IEEE Международная конференция ICASSP-2019; 9-й ACM Международный семинар AVEC-2019; 20-я ACL Международная конференция SIGDial-2019; 21-я Международная конференция SPECOM-2019; 13-й Международный симпозиум IDC-2019; III Международная конференция по инженерной и прикладной лингвистике «Пиотровские Чтения – 2019» (А.А. Карпов выступил с пленарным докладом "Компьютерная паралингвистика: основные задачи и достижения современных систем"); 8-й Междисциплинарный семинар «Анализ разговорной русской речи» АР3-2019; VIII Конгресс молодых ученых КМУ ИТМО 2019. Подготовлена и успешно подана заявка на регистрацию разработанной программы для ЭВМ в Роспатенте: Программная система для определения пола и возраста диктора по голосу (GASpeakerRecognizer), Свидетельство о государственной регистрации № 2019662952 от 07.10.2019 г., авторы: Маркитантов М. В., Карпов А.А., правообладатель: СПИИРАН, https://www.rosrid.ru/rid/CQVY0YRX5L4WRZO9WFELN6VH Результаты данного проекта освещались в СМИ: новости информационного агентства ТАСС - https://nauka.tass.ru/nauka/6659327, а также сюжет в передаче "Матрица науки" на телеканале «Санкт-Петербург» - https://topspb.tv/programs/releases/96873/ Все выполненные работы и полученные научные результаты полностью соответствуют целям проекта и заявленным задачам проекта РНФ. Для освещения основных результатов проекта создана веб-страница на интернет-сайте Лаборатории речевых и многомодальных интерфейсов СПИИРАН: http://hci.nw.ru/ru/projects/18

Аннотация результатов, полученных в 2020 году
В 2020-м году коллективом исполнителей был выполнен 3-й этап проекта РНФ, связанный с тестированием и количественным оцениванием интеллектуальной системы комплексного паралингвистического анализа речи, а также обобщением результатов работ, и получены следующие основные результаты: Проведено исследование методик комплексирования компьютерных алгоритмов и методов для автоматического анализа и обнаружения различных паралингвистических явлений в разговорной речи дикторов, в частности: расширение вектора признаков, построение дифференцированных моделей, применение многозадачного обучения (multi-task learning), а также трансферного обучения (transfer learning). Разработаны новые математические модели и методы, в том числе, использующие гендерно-возрастную информации на этапе распознавания эмоций диктора, а также для использования информации об эмоциональном состоянии на этапе определения истинности/ложности речевого высказывания. Проведены экспериментальные исследования и количественное оценивание результатов комплексного паралингвистического анализа речи с использованием собранных речевых корпусов, доказывающие эффективность предложенных математических моделей. С использованием речевых корпусов aGender, Ruslana, EmoDB, DSD и RLTDDD было установлено, что использование информации о поле и возрасте диктора позволяет добиться прироста в качестве автоматического распознавания эмоций по количественному показателю невзвешенной средней полноты UAR (Unweighted Average Recall) в среднем на 4,5%, а сведения об эмоциональном состоянии говорящего повышают значение показателя качества распознавания истинности/ложности высказывания UAR в среднем на 2,1%. Экспериментальные результаты показывают, что модели распознавания эмоций, обученные на женских голосах, достигают большей точности классификации (до 100% при некоторых условиях), чем модели, обученные на мужских голосах (до 94.0%). При этом наиболее информативными психоэмоциональными состояниями в задаче распознавания лжи диктора являются злость, страх и нейтральное состояние, что коррелирует с другими результатами, известными по психологической литературе. Также установлено, что проявление эмоции счастья, наряду с другими акустическими характеристиками речи, также может быть показателем истинности/ложности высказывания. Это может объясняться тем, что во время лжи люди могут имитировать состояние радости для прикрытия своих истинных чувств. Разработано новое математическое обеспечение и усовершенствованы существующие модели, методы, и алгоритмы для задачи распознавания истинности/ложности речевого сообщения по голосовым характеристикам диктора. Проведены экспериментальные исследования на двух речевых базах данных: DSD и RLTDDD2. Экспериментально исследованы в данной задаче машинные классификаторы на основе методов градиентного бустинга, бутстрэп-агрегирования (бэггинг, bagging) с методом k-ближайших соседей (k-NN), а также метод опорных векторов (SVM), метод k-ближайших соседей, метод случайного леса, логистическая регрессия. Получена количественная оценка работы предложенных классификаторов, достигающая значения F-меры = 85,6% за счет аугментации данных методом SMOTE с целью уменьшения дисбаланса классов и применения методов уменьшения размерности признакового пространства методом главных компонент (PCA). Также проведены экспериментальные работы, подтверждающие теоретические исследования, что эмоции страха и гнева имеют положительное влияние на количественные показатели определения истинности и ложности информации по речи. По сравнению с базовыми моделями, не использующими информацию об эмоциональном состоянии диктора, при включении дополнительных эмоциональных признаков удалось достичь значения F1-меры = 88,7%, что дает абсолютный прирост в 3,1%. В 2020 г. были разработаны и зарегистрированы в Роспатенте две Программы для ЭВМ: 1) Программная система комплексного анализа паралингвистических явлений в речи (ComPAS — Complex Paralinguistic Analysis of Speech), и 2) Программная система для распознавания эмоций в речи (ProSpER – Program for Speech Emotion Recognition). Программная система комплексного анализа паралингвистических явлений в речи ComPAS построена на основе клиент-серверной архитектуры, она реализует следующий функционал: регистрация новых пользователей, считывание и запись аудиофайлов, обработка тестовой аудиозаписи и сохранение ее статистических параметров, персональная адаптация к индивидуальным особенностям разговорной речи каждого нового пользователя, автоматическое распознавание пола и возрастной группы пользователя (7 классов), психоэмоционального состояния (злость, грусть, счастье и нейтральное состояние) и истинности/ложности высказываний пользователя. Графический пользовательский интерфейс приложения поддерживает русский и английский языки. На данный момент представленная система ComPAS является единственной программой, позволяющей давать комплексную паралингвистическую оценку голосовому сигналу, включая пол и возраст говорящего, а также эмоциональную окраску и истинность высказывания. Вторая разработанная программная система для распознавания эмоций в речи ProSpER характеризуется эффективной схемой адаптации к зарегистрированным пользователям, хорошей обобщающей способностью за счет применения кросс-корпусных моделей обучения, быстротой срабатывания, а также высокой точностью распознавания по 4 основным эмоциональным классам: счастье, злость, грусть и нейтральное состояние. Кроме того, в рамках проекта принято участие в нескольких международных соревнованиях по компьютерной паралингвистике. В 12-х международных соревнованиях по компьютерной паралингвистике INTERSPEECH 2020 Computational Paralinguistics Challenge (онлайн конференция, 25-29 октября 2020 г.) коллектив исполнителей проекта участвовал в конкурсах по трем направлениям: 1) распознавание эмоций пожилых людей, 2) распознавание фазы дыхания, и 3) распознавание наличия медицинской маски по речи диктора. В 2-х конкурсах из 3-х наша объединенная команда заняла первое место, добившись самой высокой точности распознавания. По результатам участия в соревнованиях получены два диплома за первое место по направлениям распознавания эмоций пожилых людей и определения фазы дыхания диктора. Нами были предложены и разработаны 3 различные компьютерные системы, обученные на предложенных речевых базах данных, и совмещающие в себе ансамблевый подход к классификации паралингвистических явлений для достижения наилучшей эффективности функционирования на новых данных, а также эффективный подход к обучению на основе кросс-валидации, который показал наилучшие результаты по сравнению с традиционным разделением данных на обучающую и валидационную выборку. Исследованы как акустические, так и лингвистические признаки разговорной речи, а также нейросетевые подходы, использующие предобученные модели, позволяющие улучшить процесс обучения на ограниченных наборах обучающих данных. В задаче распознавания эмоций пожилых людей была предложена гибридная система, включающая в себя методы обработки как акустической, так и лингвистической информации. Для моделирования эмоционального параметра активации психики был предложен метод обработки акустических параметров голоса, основанный на извлечении векторов Фишера. Эти векторы подавались на вход машинного классификатора, основанного на машинах экстремального обучения (Extreme Learning Machine, ELM). В ходе исследования использовались 2 разновидности ELM: ядерные (kernel ELM) и взвешенные (weighted kernel ELM) модели для нивелирования эффекта дисбаланса классов. Для моделирования эмоционального параметра валентности были использованы несколько представлений лингвистических признаков, в том числе: модели TF*IDF, Fasttext, высокоуровневые признаки полярности, а также признаки, извлекаемые на основе тональных словарей. Благодаря применению предложенных методов удалось достичь показателя UAR = 63,7% и 57,5% для валентности и активации, соответственно, что превосходит базовые значения организаторов конкурса на 14,5% и 7,1%. По результатам этого конкурсного направления наша российско-голландско-немецкая команда заняла первое место среди 14 команд-участников. В задаче распознавания фазы дыхания нами предложены два интегральных подхода (end-to-end, E2E). Первый подход основан на комбинации сверточных и рекуррентных нейросетевых архитектур 1D CNN + LSTM RNN, которые напрямую использовали необработанные аудиосигналы. Второй подход основан на предварительно обученной модели ResNet18 c двумя последовательными управляемыми рекуррентными блоками (ResNet18 + GRU), на вход которой подавались спектрограммы. После этого происходило объединение результатов лучших моделей как на уровне предсказаний, так и на уровне представления признаков, которые извлекались с последних слоев 1D CNN и ResNet18. Наша наилучшая программная система показала средний коэффициент корреляции Пирсона PCC = 0,640 при кросс-валидации и PCC = 0,763 на тестовом наборе данных, что превысило результат базовой системы PCC = 0,731. В данном конкурсе соревнования наша объединенная команда также заняла первое место. В задаче определения наличия медицинской маски у диктора нами был предложен подход, основанный на предобученной модели ResNet18 с различными оптимизаторами (Adam и SGD). Наша автоматическая система показала значение показателя UAR = 84,3% при кросс-валидации и на тестовом наборе данных UAR = 75,9%, что значительно превосходит базовый результат конкурса на 4,1%. В итоге, в общем зачете в данном конкурсе мы заняли четвертое место из более 20 команд-участников. Все полученные результаты были представлены на топовой 21-й международной конференции INTERSPEECH-2020 и опубликованы в двух статьях в трудах конференции. Результаты соревнований доступны на официальном интернет-сайте серии соревнований ComParE http://www.compare.openaudio.eu/winners/. Помимо соревнований INTERSPEECH ComParE-2020 коллектив исполнителей проекта также принял участие в международных соревнованиях FG-2020 Competition: Affective Behavior Analysis in-the-wild (ABAW, https://ibug.doc.ic.ac.uk/resources/fg-2020-competition-affective-behavior-analysis/), где предложенные нами многомодальные системы, основанные на глубоких нейросетевых архитектурах и трансферном обучении, заняли третье место в конкурсе по распознаванию 7 базовых эмоциональных выражений лиц: злость, отвращение, страх, счастье, грусть, удивление и нейтральное состояние. С помощью предложенных методов удалось достичь значения официального показателя точности распознавания 42,1%, что превышает базовое значение на 6,1%. Помимо заявленного плана работ, на 3-м этапе проекта также были предложены и исследованы дополнительные методы повышения эффективности работы классификаторов, в том числе, распознавание эмоций по выражениям лиц и семантике высказывания, распознавание адресата речевого высказывания, а также распознавание типа дыхания и наличия медицинской маски по речи диктора. Рассмотрена возможность практического применения систем распознавания эмоций дикторов на примере имитационного моделирования работы телефонного контакт-центра. Применение предложенного алгоритма перераспределения звонков на основе распознавания текущего психоэмоционального состояния абонента позволяет значительно сократить время ожидания для приоритетных звонков. В рамках выполнения данного проекта РНФ в 2020 году всего было опубликовано 15 научных работ, в том числе: 5 журнальных статей, 9 статей в трудах научных конференций и одна глава в коллективной монографии. Среди этих работ 10 были опубликованы в международных англоязычных изданиях, индексируемых базами данных WoS/Scopus, включая журналы уровня Q1 (Sensors и Applied Sciences) и труды высокорейтинговых международных конференций (INTERSPEECH, SPECOM, ACM ICMI Workshop WoCBU и др.), а остальные – в русскоязычных изданиях, индексируемых в РИНЦ и ВАК. Помимо этого, результаты данного проекта РНФ активно освещались в СМИ. Информационно-сервисный интернет-портале о науке Indicator.Ru опубликовал интервью с руководителем проекта А.А. Карповым “Нейросети научили лучше распознавать паралингвистические явления” [https://indicator.ru/mathematics/neiroseti-nauchili-luchshe-raspoznavat-paralingvisticheskie-yavleniya-11-12-2020-840835.htm], интернет-изданием ITMO.NEWS опубликовано интервью с основным исполнителем проекта О.В. Верхоляк “Компьютерная паралингвистика на службе у старения” [https://news.itmo.ru/ru/science/it/news/9806/], а газетой "Коммерсантъ" опубликована статья “Чуткий собеседник без ключевого слова. Усовершенствованный голосовой помощник на равных поговорит с человеком” [https://www.kommersant.ru/doc/4373096]. Все выполненные работы и полученные научные результаты полностью соответствуют цели и заявленным задачам проекта РНФ. Для освещения основных результатов проекта создана веб-страница на интернет-сайте Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН (СПИИРАН): http://hci.nw.ru/ru/projects/18