Аннотация результатов, полученных в 2022 году
В ходе первого этапа реализации проекта на семи корпусах специализированных текстов по ядерной физике и атомной энергетике (на семи графах знаний http://vt.obninsk.ru/x/) исследована эффективность относительно простых, интуитивно понятных методов машинного обучения для решения задачи автоматизированного наполнения из WWW и обновления баз ядерных знаний без непосредственного участия человека. Для тестирования методов машинного обучения использовались умеренные объемы исходных данных. Каждый из семи задействованных графов знаний содержал не более одной тысячи объектов и не более одной сотни классов. Выполнены вычислительные эксперименты с целью определения эффективности следующих пяти методов классификации текстов на естественных языках (русский язык, английский язык): 1) Классификаторы softmax (модель максимальной энтропии), которые по существу эквивалентны моделям многоклассовой логистической регрессии; 2) Классификаторы на основе метода опорных векторов (support–vector machines); 3) Наивные байесовские классификаторы с фиксированным количеством признаков; 4) Классификаторы на основе терминологических деревьев решений, которые сами есть результат синтаксического анализа текста; 5) Классификаторы с использованием метода ближайших соседей. В качестве обучающих множеств были использованы следующие семь графов ядерных знаний (см. http://vt.obninsk.ru/x/): 1) Мировые центры ядерных данных; 2) События и публикации ЦЕРН; 3) Базы данных и сетевые сервисы МАГАТЭ; 4) Учебные материалы МГУ и МИФИ по ядерной физике; 5) Ядерные исследовательские центры Российской Федерации; 6) Журналы по ядерной физике и атомной энергетике; 7) Объединенный граф ядерных знаний. Для тестирования и оценки эффективности алгоритмов классификации текстов на естественных языках применялся скользящий контроль (cross–validation). Исходное обучающее множество три раза разбивалось случайным образом на три выборки примерно одинакового размера. Каждая из трех выборок поочерёдно объявлялась контрольной выборкой, остальные две выборки объединялись в обучающую выборку. Алгоритм классификации текста настраивался по обучающей выборке и затем классифицировал объекты контрольной выборки. Описанная процедура повторялась три раза для каждого алгоритма классификации текста и для каждого графа знаний. Основными показателями качества работы алгоритмов являлись общепринятые метрики машинного обучения Precision, Recall, F1–score. Метрика Precision характеризует способность алгоритма отличать классы друг от друга, а метрика Recall показывает способность алгоритма обнаруживать конкретный класс вообще. Третья метрика F1–score наиболее информативна в тех случаях, когда значения первых двух метрик значительно разнятся между собой. Для оценки качества алгоритмов классификации использовались так называемые макро–средние значения, когда значения метрик усредняются по всем классам независимо от количества объектов в этих классах. В ходе проведения вычислительных экспериментов использовалось общедоступное программное обеспечение Stanford Classifer (https://nlp.stanford.edu/software/classifier.html) и Weka (https://www.weka.io/ai-analytics/), а также оригинальный авторский программный код. Результаты тестирования представлены в табличной и в графической форме. Получив результаты тестирования пяти алгоритмов классификации на семи графах знаний на русском и английском языках, далее определяется множество Парето–оптимальных алгоритмов, которые являются наилучшим по совокупности всех проведенных вычислительных экспериментов. Оптимизационная задача формулируется следующим образом. Требуется выбрать наилучший метод классификации с учетом всех вычисленных показателей качества, не делая никаких априорных предположений о сравнительной важности этих показателей. Для этого в классе транзитивных антирефлексивных бинарных отношений рассматривается отношение Парето (https://www.newworldencyclopedia.org/entry/Vilfredo\_Pareto) в евклидовом пространстве. Данное отношение также называют отношением доминирования. Суть этого отношения состоит в следующем. Говорят, что некоторый элемент x из некоторого множества доминирует другой элемент y из этого же множества, если x не хуже y по всем аспектам (критериям) и минимум по одному аспекту превосходит y. Множество всех недоминируемых элементов называют множеством Парето. Бинарное отношение Парето обеспечивает универсальную математическую модель многокритериального контекстно–независимого выбора в евклидовом пространстве. Опираясь на отношение Парето, очевидным образом строится функция выбора, которая и генерирует множество элементов, наилучших с учетом всех вычисленных метрик, без каких–либо априорных предположений о сравнительной важности этих метрик. В условиях реального выбора множество Парето нередко содержит в себе более одного элемента. Отдельная таблица содержит результаты вычисления показателей доминирования для всех пяти исследованных методов классификации текстов на естественных языках, когда учитываются метрики Precision, Recall, F1–score в различных комбинациях. Следует иметь в виду тот факт, что метрика F1–score является производной от двух предыдущих метрик и вычисляется как их среднее гармоническое. Полученные в ходе вычислительных экспериментов результаты позволили сделать следующий вывод. Среди пяти протестированных методов классификации текстов на естественных языках лидером оказывается метод «SVM Classifier with SGD» со значениями показателей доминирования 3, 7 и 10. Он единственный входит в множество Парето–оптимальных алгоритмов. Метод «Nearest Neighbors Classifier» немногим ему уступает. Метод «Maxent Classifier (Softmax)» выглядит аутсайдером на фоне других методов. Следует отметить, что метод «SVM Classifier with SGD» является бинарным, то есть позволяет распределять элементы всего по двум классам. Это техническое ограничение преодолевается путем многократной классификации по принципу «один–против–всех» и «один–против–одного». Далее было выполнено сопоставление имеющихся результатов с данными, которые были получены иными исследователями на других корпусах текстов, в том числе с применением продвинутых методов глубокого машинного обучения. В свежем обзоре «Deep Learning Based Text Classification. A Comprehensive Review» (https://doi.org/10.1145/3439726) в Таблице 1 на стр. 27 приведены результаты тестирования ряда алгоритмов машинного обучения для решения задач классификации текста. В частности, наивный байесовский классификатор в нашем исследовании показал среднюю точность 86%, в то время как тот же классификатор на гораздо большем корпусе текстов SST-2 дал точность 81,80%. Алгоритмы глубокого машинного обучения на корпусе текстов SST-2 дают среднюю точность 91%, что всего на 5% лучше средней точности 86%, которую обеспечивает наивный байесовский классификатор на скромных наборах данных в настоящем исследовании. Из этого возможно заключить, что машина опорных векторов, метод ближайших соседей и наивный байесовский классификатор обеспечивают достаточную компетентность семантических баз ядерных знаний как систем искусственного интеллекта.

Аннотация результатов, полученных в 2023 году
Проект представляет собой поисковое исследование, направленное на выявление оптимальных методов машинного обучения для целей наполнения и актуализации проблемно–ориентированных графов ядерных знаний. В ходе реализации второго этапа проекта осуществлено практическое воплощение научных результатов, полученных на первом этапе проекта, в форме общедоступного программного обеспечения. Создан рабочий прототип программного обеспечения семантического веб-портала [http://vt.obninsk.ru/x/]. Разработанное программное обеспечение: 1) реализует оптимальные алгоритмы классификации и семантического аннотирования текстового сетевого контента в интересах автоматизированного наполнения и актуализации графов ядерных знаний; 2) обеспечивает управление удалённым доступом к графам знаний (онтологиям) со стороны инженеров по знаниям и предоставляет инструменты для совместного редактирования онтологий. Эскизный проект созданного программного обеспечения содержит два новых программных компонента: 1) агент «Семантическая классификация»; 2) агент «Редактор онтологий WebProtege». В ходе проектирования программного обеспечения на языке UML разработаны следующие стандартные диаграммы: диаграмма требований, диаграмма прецедентов, диаграмма классов, диаграмма компонентов, диаграмма развертывания. Элементы эскизного проекта представлены в публикациях проекта [https://doi.org/10.1134/S1995080223010419, https://doi.org/10.17587/prin.14.350-357] и в файле с дополнительными материалами. Действующий рабочий прототип программного обеспечения создан как часть семантического веб-портала [http://vt.obninsk.ru/x/] включает в себя два выше названных агента и удовлетворяет следующим требованиям. Функциональные требования: 1) интерактивный поиск и селекция исходного сетевого контента в WWW; 2) интерактивный отбор графов знаний, которые используются для классификации и семантического аннотирования сетевого контента; 3) интерактивный выбор оптимальных методов машинного обучения; 4) управление опциями процесса классификации и семантического аннотирования онлайн; 5) сохранение результатов классификации и семантического аннотирования сетевого контента на клиентском компьютере; 6) совместное редактирование графов знаний (онтологий); 7) управление удалённым доступом к графам знаний (онтологиям) в группах инженеров по знаниям. Системные требования: 1) сетевой протокол HTTP; 2) среда выполнения J2EE; 3) развертывание на облачной платформе с использованием сервисных моделей DBaaS и PaaS для обеспечения масштабируемости хранилищ данных и сетевых сервисов. Требования к интерфейсам: программная совместимость по сетевым запросам GET и POST с иными компонентами семантического веб-портала [http://vt.obninsk.ru/x/]. Тестирование созданного программного обеспечения осуществлялось на корпусах текстов по ядерной физике и атомной энергетике, включая релевантные тексты МАГАТЭ, ЦЕРН, НИЯУ МИФИ, Физфак МГУ, а также тексты профильных журналов и публикации ядерных центров. Результаты тестирования представлены в файле с дополнительными материалами. Рабочие языки программирования: Java, Python, Javascript. Основные инструменты разработки и развертывания софта: Visual Paradigm for UML, IntelliJ IDEA, JetBrains PyCharm.