Аннотация результатов, полученных в 2019 году
Было проведено исследование существующих методов решения задач Word Sense Induction, Word Sense Disambiguation. Проблемы обработки естественного языка Word Sense Induction (WSI) и Word Sense Disambiguation (WSD) все еще остаются нерешенными, хотя есть очевидные подвижки в их решении, особенно в направлениях кластеризации слов и контекстов, а также графовых методах. Было определено, что подход тематического моделирования и его современные методы актуальны для выделения ключевых контекстов документов, но при этом нейросетевые seq2seq архитектуры более генерализуемы при построении контекстно-зависимого векторного представления слов в рамках решения задач WSD и WSI. Это будет учтено в исследованиях следующего года. В рамках исследований 2019 года: - был сформирован метод дискриминации-агломерации соседних элементов (функционал регулятора сегментации метода ARTM) - была обучена информационно-поисковая модель ранжирования сегментов по важности, основанная на кластеризации тематических векторов методом k-средних и выделения ключевых кластеров методом TF-IDF. - была построена и обучена агломеративно-дискриминативная модель выделения сегментов текста. Использование тематической модели с регуляризатором сегментации в связке с методом TopicTiling даёт более качественные результаты в сегментации, чем TopicTiling и чистая тематическая модель. - был сформирован алгоритм восстановления текста из векторов ключевых сегментов и алгоритм возможности восстановления ключевых смыслов из сегментов. В результате первого года исследования выделение ключевых контекстов было реализовано за счет комбинирования метода аддитивной регуляризации тематических моделей с регуляризатором сегментации с методом TopicTiling для склеивания ключевых сегментов в ключевые контексты после их ранжирования по важности. В качестве тестовой выборки использовалась выборка из 125 документов, для каждого из которых асессорами была создана ручная аннотация, состоящая в среднем из 10 предложений. В качестве тестовых метрик применялись следующие метрики: • ROUGE-1 - пересечение униграмм между автоматической и созданной человеком аннотациями (summary). • ROUGE-2 - пересечение биграмм между автоматической и созданной человеком аннотациями (summary). В результате значение метрики ROUGE-1 составило 32.4 (при запланированном 30), а значение метрики ROUGE-2 составило 12.8 (при запланированном 13). Этот результат позволяет сделать вывод о фактической возможности автоматического извлечения ключевых контекстов в заданном документе с достаточным качеством, и может применяться для решения задач части информационного поиска, таких, как: - поиск не по документам, а по ключевым контекстам внутри документов; - автоматическое реферирование (summarization) найденного документа на поисковом сниппете. В процессе исследований 2019 года были опубликованы 4 научных работы, индексируемые в Scopus, и представленные на научно-практических конференциях CEUR, RANLP и HAIS.

Аннотация результатов, полученных в 2020 году
Был проведен анализ применимости полученных в 2019 году результатов в разрезе получения контекстно-зависимых представлений слов. Исследователи пришли к выводу, что, хотя результаты 2019 года уже обладают практической применимостью в решении задач информационного поиска, они ограниченно полезны для решения конечной цели исследования - моделирования контекстно-зависимых представлений слов для векторизации текстов в задачах информационного поиска. Поэтому было принято решение изменить план работ на 2020 год в сторону работы с перспективными нейросетевыми архитектурами. Был проведен поиск и подготовка наборов открытых размеченных данных для обучения модели контекстно-зависимых векторных представлений слов для использования в downstream-задачах. Было найдено, обработано и подготовлено 6 датасетов - 4 датасета с частеречной и морфологической разметкой на русском языке и 2 датасета с разметкой по сущностям, общим объемом более 72 500 предложений (1 500 000 токенов). Датасеты содержат в себе набор текстов различных типов - проза, учебники, газетные статьи, онлайн новости, блоги и социальные сети, Википедия. Было проведено исследование и применение методов адаптации и фильтрации подготовленных наборов данных для дальнейшего обучения модели контекстно-зависимых векторных представлений слов. В результате наборы данных в рамках стандартного пайплайна предобработки были переформатированы в юникод и приведены в соответствие со стандартом Universal Dependencies Было проведено исследование современных multitask-моделей и полученных с их помощью контекстно-зависимых векторных представлений слов. В качестве наиболее перспективных были выбраны модели на основе архитектур Transformer и CNN/BiLSTM. Проведенный затем анализ возможностей генерализации моделей контекстно-зависимых векторных представлений слов для задач sequence tagging (включая NER, POS tagging) показал, что полученные из любой из вышеуказанных моделей контекстно-зависимые эмбеддинги без дополнительной подготовки могут применяться для прикладных задач sequence tagging (включая NER, POS tagging). Выполнены работы по построению модели и метода обучения контекстно-зависимых векторных представлений слов. Были разработаны и описаны два метода моделирования слов в тексте для получения контекстно-зависимого вектора слов, основанных на нейросетевых архитектурах Multilingual Bidirectional Self-Attention Transformer и более классической CNN. На основе этих методов были созданы две модели представления слов в тексте для получения контекстно-зависимого вектора слов. Над полученными моделями были проведены эксперименты. Был создан экспериментальный фреймворк для проведения экспериментов с обученными моделями в целях получения оптимального результата на выбранных downstream-задачах и на этом фреймворке проведены эксперименты с обученными моделями. Эксперименты проводились на моделях, настроенных в разных режимах - например, режим, в котором все слои и эмбеддинги модели замораживаются (т.е. не делаются обновления их весов при обучении на downstream-задачах), а обучается только линейный классификатор (линейный слой + активация softmax). В результате экспериментов на двух типах моделей выяснилось, что наилучшие результаты получаются на сильных моделях на основе архитектуры типа Multilingual Bidirectional Self-Attention Transformer. В частности, на большинстве задач лучше всего себя показала модель, настроенная в режиме FinetunedTransformer+BiLSTM. В данном режиме все эмбеддинги и 3 последних слоя модели разморожены. Модель дообучается на неразмеченных предложениях из всего корпуса датасетов в режиме MLM (Masked Language Modeling). Дообучение проводится с низкой скоростью обучения (learning rate) - 1e-5 в течение 5 эпох. После этого модель замораживается и обучается классификатор BiLSTM. Непосредственно результаты экспериментов multitask-моделей и полученных с их помощью контекстно-зависимых векторов слов показывают, что: Максимально достигнутая точность (accuracy) лемматизации на русском языке составила 98,72% (планировалось не менее 95% accuracy) при использовании модели FinetunedTransformer+BiLSTM Максимально достигнутая точность (accuracy) частеречной разметки на русском языке составила 98,62% (планировалось не менее 95% accuracy) при использовании модели FinetunedTransformer+BiLSTM. Максимально достигнутое качество (F1) распознавания сущностей составило 94,05% для имен, 92,27% для адресов и 80,81% для организаций. Лучшие модели здесь - FinetunedTransformer+BiLSTM и FrozenTransformer+BiLSTM. Отличие FrozenTransformer+BiLSTM от FinetunedTransformer+BiLSTM в том, что в данном режиме все слои и эмбеддинги модели замораживаются (т.е. не делаются обновления их весов при обучении на downstream-задачах), а обучается только классификатор BiLSTM. В результате экспериментов можно сделать несколько основных выводов: - Результаты более слабых CNN-моделей часто работают лучше, чем более сильные Transformer-модели, что вероятнее всего вызывается большим количеством данных, а это снижает преимущества от сильных моделей, особенно при отсутствии дообучения на конкретных предметных областях. - Тем не менее, очевидны лучшие результаты от использования сильных моделей на основе архитектур типа Transformer, поскольку они улучшают обобщаемость итоговых моделей даже если данных сравнительно мало. Имеет смысл продолжать исследования в сторону подобных подходов. - На основе результатов экспериментов легко предположить, что дообучение моделей на целевой предметной области в общем случае помогает улучшить точность в downstream-задачах. Таким образом, имеет смысл продолжать работы в сторону создания более domain-specific моделей. - Результаты второго года проекта в целом превышают заявленные, что говорит о перспективности выбранного на второй год проекта направления исследований по работе с современными нейросетевыми архитектурами. В процессе исследований 2020 года была опубликована научная работа (Named Entity Recognition from Chernobyl Documentaries) и представлена на научно-практической конференции MACSPro'2020.

Аннотация результатов, полученных в 2021 году
Результаты исследований 2021 г. позволили обнаружить значительные преимущества архитектур Transformer для улучшения обобщающей способности эмбеддингов при отсутствии большого количества данных для обучения. Участниками коллектива проверялась гипотеза о повышении качества эмбеддингов при дополнительном обучение модели на целевой предметной области. В качестве предметной области выбрана область Legal tech как одно из наиболее динамично развивающихся направлений, сохраняющих запрос на непрерывную автоматизацию бизнес-решений и интеллектуальный анализ документов. При выборе оптимальной Transformer-ориентированной языковой модели было принято решение в пользу модели BERT (реализация RoBERTa) с введением ряда существенных модификаций (в том числе, значительное увеличение размера обучающего корпуса документов (до 300 Гб), увеличения количества активных модулей (heads) на каждом слое внимания (16 вместо 12), реализация слоя субдискретизации (pooling) для формирования итоговых эмбеддингов, оптимизации триплетных потерь для уменьшения расстояния между текстом запроса и целевым текстом (и увеличения расстояния между текстом запроса и нерелевантным текстом). По результатам проведенных экспериментов с оригинальной языковой моделью удалось добиться статистически значимого прироста качества относительно референсной модели RuBERT (прирост по метрике nDCG@5 составил 11.4%, по метрике nDCG@10 составил 15.2%.) Для устранения проблемы избыточной функциональности, возникающей при резервировании ресурсов на обучение глубоких нейросетевых моделей, а также для переносимости и ускорения модель проекта была конвертирована в формат ONNX; в качестве дополнительной меры по оптимизации вычислительных ресурсов была реализована (fp32-fp16) квантизация модели с итоговым приростом ускорения в 9.2 раза по сравнению с первоначальной реализацией. Для снижения вычислительной стоимости механизма внимания в языковой модели transformer (квадратичная в зависимости от длины входной последовательности) была выбрана архитектура Performer; после переноса весов предварительно обученной языковой модели в модель Performer удалось добиться ускорения обучения языковой модели в 2.7 раза.