Аннотация результатов, полученных в 2018 году
Разработана концепция построения и функционирования интеллектуальных систем аналитической обработки цифрового сетевого контента (ИСАОЦСК) с целью обнаружения и противодействия нежелательной, сомнительной и вредоносной информации. Концепция включает: основные определения; принципы организации интеллектуальной аналитической обработки цифрового сетевого контента, распространяемого в сети Интернет и в социальных сетях; цели и задачи ИСАОЦСК; особенности Интернет-пространства и социальных сетей, влияющие на построение ИСАОЦСК; механизмы обеспечения интеллектуальной аналитической обработки цифрового сетевого контента в сети Интернет и в социальных сетях; структуру ИСАОЦСК; требования к ИСАОЦСК. Основной целью функционирования ИСАОЦСК определено выявление в информационных объектах сети Интернет и в социальных сетях нежелательной, сомнительной и вредоносной информации и выработка мер противодействия этим видам информации. Определены основные структурные компоненты ИСАОЦСК: (1) распределенные интеллектуальные сканеры и компоненты предварительной обработки; (2) компоненты многоаспектной оценки и категоризации ИО, включающие базовые классификаторы, аспектные классификаторы и итоговые классификаторы; (3) компоненты обеспечения своевременности анализа ИО; (4) компоненты устранения неполноты и противоречивости результатов оценки и категоризации; (5) компоненты адаптации и переобучения системы; (6) компоненты выработки и выбора мер противодействия нежелательной, сомнительной и вредоносной информации, включающие базу контрмер и модуль поддержки принятия решений; (7) компоненты реализации визуальных интерфейсов. Для каждого структурного компонента ИСАОЦСК определены выполняемые функции и обоснованы предъявляемые к ним требования. Разработан общий подход и требования, предъявляемые к компонентам сбора и предварительной обработки сетевых информационных объектов на основе применения распределенных интеллектуальных сканеров. Подход основан на децентрализованном управлении комплексом распределенных интеллектуальных сканеров, самостоятельно организующихся для выполнения отдельных операций вычислительного процесса. Определены исходные данные для сбора и предварительной обработки сетевых ИО: (1) конечное множество сетевых адресов для сканирования; (2) уникальные сетевые адреса расположения сетевых ИО для их загрузки и предварительной обработки; (3) список ключевых слов для поиска сетевых ИО. Выделены следующие основные свойства сетевых ИО: адресность, изменчивость, доступность, структурированность и иерархичность. Предложены механизмы обеспечения доступности сетевых ИО в зависимости от их уровня. Обоснованы функциональные требования к компонентам сбора и предварительной обработки сетевых ИО: (1) обнаружение и загрузка сетевых ИО с учетом параметров заданного сегмента; (2) типизация лексем полуструктурированного и структурированного сетевого информационного контента; (3) структурная категоризация ИО; (4) выявление и преодоление механизмов блокировки автоматизированного сбора информации; (5) приоритезация ИО. Нефункциональными требованиями являются: гибкое масштабирование, децентрализованное управление, максимальная оперативность; высокая ресурсоемкость. Разработан общий подход и требования, предъявляемые к компонентам многоаспектной оценки и категоризации смыслового наполнения информационных объектов. Подход ориентирован на решение задачи автоматической классификации сетевых ИО с использованием данных, собранных в РБД ИО с помощью интеллектуальных сканеров. Этапами решения этой задачи являются: предварительная обработка текста; извлечение признаков; сокращение размерности пространства признаков; обучение классификатора методами машинного обучения; оценка классификатора. Предварительная обработка текста включает в себя токенизацию и лемматизацию, удаление стоп-слов, стемминг и морфологический анализ. На этапе извлечения признаков формируется численная модель (индексация) текста. Сокращение признаков достигается за счет удаления сильно коррелирующих и не информативных значений атрибутов. Для оценки текстового классификатора используются стандартные метрики точности. Основными метриками являются метрики полноты, однако также учитываются метрики аккуратности и F-мера. Функциональные требования определяют необходимость: поддержки предварительной обработки текстового содержания ИО; поддержки анализа структуры html-страницы; поддержки анализа цифрового содержимого; поддержки обработки дополнительной информации об ИО; идентификации технологий на серверной стороне соответствующего ИО; извлечение исполняемых сценариев. К выделенным нефункциональным требованиям относятся: точность, гибкость (адаптивность), быстродействие и масштабируемость. Разработаны общий подход и требования, предъявляемые к компонентам обеспечения своевременности многоуровневого и многомодульного анализа информационных объектов на основе использования параллельных вычислений. Подход ориентирован на параллельную обработку данных в компонентах ИСАОЦСК. С учетом преимуществ и недостатков различных способов распараллеливания вычислений, принято решение использовать в проекте для обеспечения своевременности анализа ИО с помощью машинного обучения платформу Spark Hadoop и различные алгоритмы из ее библиотеки Spark MLlib. Обоснованы основные требования к компонентам, направленные на обеспечение работоспособности всей системы, которые заключаются в обеспечении высокой масштабируемости и отказоустойчивости, а также организации распределенного хранилища данных. Разработаны общий подход и требования, предъявляемые к компонентам устранения неполноты и противоречивости оценки и категоризации смыслового наполнения информационных объектов на основе использования методов обработки неполных, противоречивых и нечетких знаний. Подход сводится к усовершенствованию классификаторов ИО с использованием методы вероятностного, нечеткого и нейросетевого оценивания ситуаций, нечеткого и нейросетевого вывода и нечеткой и нейросетевой оптимизации. Предложен состав и уровни архитектуры компонентов устранения неполноты и противоречивости с учетом «цепочки» принятия решений в условиях неопределенности. Принятие решений на каждом уровне осуществляется в условиях неопределенности, вызванной нестационарностью функционирования ИСАОЦСК, воздействиями дестабилизирующих факторов, внешней среды, нечеткостью целей и несогласованностью задач оценки и категоризации, а также другими факторами. Сформулированы частные и обобщенная постановки задач на разработку моделей и методов устранения неполноты и противоречивости оценки и категоризации цифрового контента. К их числу относятся: (1) вероятностные методы, позволяющие устранить аспекты класса стохастической неопределенности; (2) методы теории нечетких множеств, позволяющие устранить неоднозначность, неизвестность, недостаточность или нечеткость исходных данных; (3) методы теории искусственных нейронных сетей, позволяющие устранить недостоверность, недостаточность, недоопределенность, несогласованность, неполноту, неадекватность, неточность исходных данных для оценки и категоризации. Сформулированы требования к процессам оценки и категоризации в условиях неопределенности: оперативность, комплексность, адекватность, достоверность, объективность, непрерывность, полнота, точность и открытость. Сформулированы базовые (по постоянной готовности, устойчивости, масштабируемости (мобильности-переносимости), безопасности работы, производительности) и дополнительные (по модульности, функциональной избирательности, генерируемости, виртуализации, независимости программ от внешних устройств, совместимости, открытости, многозадачности, многопользовательскому режиму, защищенности, экономичности работы, а также поддержке различных файловых систем и стандартных форматов данных) требования, которые предъявляются к компонентам устранения неопределенности оценки и категоризации смыслового наполнения ИО на основе использования методов обработки неполных, противоречивых и нечетких знаний. Выполнение данных требований позволит интеллектуальным сканерам (классификаторам) оперативно, полно (достоверно), точно и адекватно выявлять признаки и противодействовать нежелательной, сомнительной и противоречивой информации в цифровой сетевом контенте. Разработаны общий подход и требования, предъявляемые к компонентам адаптации и переобучения системы анализа информационных объектов, в том числе в режиме эксплуатации. Цель подхода заключается в разработке и анализе архитектуры системы классификации нежелательной и вредоносной информации по множеству классификационных признаков с использованием текстовой информации сайтов, html-данных, данных о структуре документов и URL-данных с применением методов автоматизированной классификации веб-сайтов и их отдельных страниц с использованием методов машинного обучения. Особенность предлагаемого подхода заключается в иерархическом построении решающего правила в виде набора базовых классификаторов и объединяющего их выходные данные верхнеуровневого классификатора. Предложенный подход позволяет минимизировать временные затраты, связанные с изменением типов анализируемых исходных данных, модифицируя не систему классификации целиком, а лишь отдельное подмножество базовых классификаторов, соответствующий аспектный классификатор и итоговый классификатор, тем самым адаптируя имеющееся решение под изменившиеся требования. Подход обосновывает трехуровневую иерархическую архитектуру классификации содержимого веб-страниц. На первом уровне размещаются бинарные классификаторы, которые выполняют проверку принадлежности анализируемого объекта к определенной категории. Второй уровень включает классификаторы, предназначенные для определения аспектов веб-страницы. На третьем уровне располагается итоговый классификатор. Исходные наборы данных, представленные в виде файлов html-страниц, вначале обрабатываются компонентом извлечения признаков. Формируемые этим компонентов наборы признаков помещаются в РБД ИО. Обоснованы требования к компонентам по показателям оперативности, масштабируемости и надежности. Разработаны общий подход и требования, предъявляемые к компонентам выработки и выбора мер противодействия нежелательной, сомнительной и вредоносной информации. Подход выделяет способы и средства, применимые для защиты от информации, и действующие в РФ механизмы защиты от информации. Определены основные объекты и субъекты, взаимодействующие в рамках данного подхода: ИО, источник информации, канал распространения информации, целевая аудитория, субъект воздействия информации. Меры противодействия вводятся для защиты субъекта воздействия информации от вредоносного воздействия информации. Они зависят от классов всех перечисленных субъектов и объектов и класса информации, представленной ИО (нежелательная, сомнительная или вредоносная). Для целевой аудитории как субъекта воздействия информации предложена трехуровневая классификация. Определены каналы распространения информации и предложена их двухуровневая классификация. Меры для защиты от нежелательной, сомнительной и вредоносной информации вначале классифицируются по способу защиты, а затем по способам их реализации. Основными этапами противодействия нежелательной, вредоносной и сомнительной информации являются: определение класса информации, определение класса мер защиты, выбор оптимальных средств/мер защиты. Функциональными требованиями к компонентам выработки и выбора мер противодействия являются: управляемость процесса; учет законов Российской Федерации; ограничение доступа к нежелательной информации; учет возможного ущерба для граждан и государства; автоматизация процесса; соблюдение прав граждан на доступ к информации. Разработаны общий подход и требования, предъявляемые к компонентам реализации визуальных интерфейсов для выявления и противодействия нежелательной, сомнительной и вредоносной информации. Подход, названный «конвейер визуализации», заключается в последовательной обработке данных согласно следующих этапов: (1) анализа данных; (2) фильтрации данных; (3) разметки данных; (4) отрисовки данных. Кроме того, подход соотносит модели визуализации и структуры данных. Он позволяет реализовывать принцип повторяемости, когда множество моделей должны быть взаимозаменяемы. Определены требования к компоненту визуализации со стороны самого процесса визуализации и архитектуры этого компонента. Со стороны визуализации выдвинуты следующие требования: (1) возможность выявления lie factor (неправильной интерпретации графической метрики); (2) отсутствие chart junk (графические элементы, которые не несут какой-либо информации); (3) использование анимации. Со стороны архитектуры выдвинуты следующие требования: (1) реализация концепции «конвейера визуализации»; (2) унификация данных в соответствии со структурой; (3) учет способов человеко-машинного взаимодействия с результатом визуализации; (4) учет зависимости объема данных от способа их хранения. Разработана общая архитектура перспективных ИСАОЦСК с целью обнаружения и противодействия нежелательной, сомнительной и вредоносной информации. В предложенной архитектуре компоненты взаимодействуют через РБД ИО. В РБД поступают данные от компонентов предварительной обработки и устранения неполноты и противоречивости. Из РБД данные поступают в компоненты устранения неполноты и противоречивости, адаптации и переобучения, оценки и классификации и противодействия. Системообразующими являются компонент обеспечения оперативности и компонент визуализации. Первый из них обеспечивает реализацию методов и алгоритмов параллельной обработки данных в других компонентах. Второй компонент обеспечивает визуальный интерфейс всех компонентов и отображение результатов их работы в традиционных и специальных моделях визуализации. Для оценки архитектуры разработан стенд для экспериментальных исследований, основанный на использовании гипервизора VMware и платформ распределенных вычислений Hadoop и Spark. Сформирован тестовый набор данных, содержащий свыше 70 тыс. записей, каждая из которых является множеством атрибутов веб-страницы Интернета. Каждая веб-страница относится к одной из 18 категорий нежелательной информации. Полученный тестовый набор данных апробирован при решении задачи классификации ИО в двух сериях экспериментов: на одной машине (однопоточный режим) и на кластере параллельно работающих машин (многопоточный режим). Результаты экспериментальной оценки показали, что в обеих сериях наилучшие результаты по обучению продемонстрировали классификаторы на основе метода опорных векторов. При этом установлено, что система Spark не дала существенного выигрыша по времени обучения, что, по-видимому, связано с недостаточно большим объемом тестового набора данных. По результатам проекта сделано 8 публикаций в изданиях, индексируемых в базе Scopus, 19 – в базе РИНЦ, получено 7 свидетельств о государственной регистрации программ для ЭВМ. Материалы, посвященные проекту, находятся по адресам http://www.comsec.spb.ru/ru/projects/, http://www.comsec.spb.ru/en/projects/.

Аннотация результатов, полученных в 2019 году
Разработаны методы, модели, методики и алгоритмы сбора и предварительной обработки сетевых информационных объектов на основе применения распределенных интеллектуальных сканеров. Формальной моделью сетевого информационного объекта (СИО) является множество связанных признаков, отображающих его основные свойства. Обязательным признаком является уникальный адрес СИО. Основными свойствами СИО являются адресность, структурированность, интерпретируемость, изменчивость и иерархичность. Для определения структурных особенностей СИО и событий, соответствующих изменению их контента, используются методы анализа неструктурированных, полуструктурированных и структурированных данных. Для извлечения мета-признаков применяются методы анализа изображений и человеко-понятных текстов. Для обеспечения необходимой доступности СИО со стороны комплекса распределенных интеллектуальных сканеров используются методы обнаружения и детализации защитных механизмов, препятствующих автоматизированному сбору информации в сети Интернет. Для повышения производительности сбора и предварительной обработки СИО применяется фильтрация, которая позволяет обозначить границы анализируемого сегмента сети, достичь значительного сокращения объема собираемой информации и локализовать дальнейшее сканирование СИО в сети распределенными сканерами. Распределенный интеллектуальный сканер моделируется как самоорганизующийся вычислительный процесс, обладающий полным и самодостаточным функционалом с возможностью работы в изолированном режиме, Этим обеспечивается гибкое масштабирование работы комплекса сканеров. Функционал сканера включает методы анализа сетевого трафика, использования поисковых систем и внешних информационных ресурсов, а также методики и алгоритмы кэширования информации для глобальной оптимизации скорости загрузки. Разработаны методы, модели, методики и алгоритмы многоаспектной оценки и категоризации смыслового наполнения информационных объектов. Модели делятся на две группы: модели представления документов и модели классификаторов текста и их обучения. К первой группе моделей относятся модели «Мешок слов», Word2vec и Glove. Модель «Мешок слов» учитывает абсолютную частоту слова в документе. Модель Word2vec реализована в виде многослойной нейронной сети и имеет два вариантах исполнения: «Непрерывный мешок слов» и skip-gram. Вариант «Непрерывный мешок слов» решает прямую задачу прогнозирования слова по его окружению, а вариант skip-gram решает обратную задачу поиска окружения по входному слову. Модель Glove вычисляет вероятность того, что два слова могут совместно встречаться внутри окружения заданного размера. Обучение модели сводится к сохранению линейных преобразований при переходе от слов к их векторным представлениям для семантически схожих слов. Вторая группа содержит модели классификатора на основе «мешка слов», классификатора на основе word2vec и классификатора на основе сверточной нейронной сети. Первая модель классификатора вычисляет средние частоты вхождения наиболее популярных слов в документы каждой категории. Модель классификатора word2vec является аналогом автоэнкодера. Алгоритм ее обучения использует один из методов машинного обучения. Алгоритм обучения классификатора на основе сверточной нейронной сети предусматривает прямое и обратное распространение сигналов через слои свертки и субдискретизации, а также обновление весов с целью уменьшения среднеквадратичной ошибки. Оценка показала, что достигнутая экспериментальная точность категоризации при использовании разработанных методов, моделей, методик и алгоритмов соответствует теоретическим оценкам. Разработаны методы, модели, методики и алгоритмы обеспечения своевременности многоуровневого и многомодульного анализа информационных объектов на основе использования параллельных вычислений. В модели взаимодействия всех компонентов системы компонент обеспечения своевременности является менеджером, синхронизирующим и координирующим работу остальных компонентов, обеспечивая необходимое масштабирование системы и реализуя API взаимодействия с распределенным хранилищем. Модель распределенного хранилища ориентирована на использование в системе базы данных Apache HBase, которая является проектом Hadoop с открытым исходным кодом, линейно масштабируется, обеспечивает произвольный доступ в режиме реального времени к сверхбольшим массивам данных и позволяет создавать распределенные кластеры. Модель представления данных распределенного хранилища описывает основные сущности предметной области, к которым относятся СИО, категория нежелательной, сомнительной и вредоносной информации, классификаторы, используемые для анализа СИО, и меры противодействия опасным СИО. Методики и связанные с ними алгоритмы обеспечения своевременности многоуровневого и многомодульного анализа СИО предусматривают выполнение операций с базой HBase, которые обеспечивают формирование и обработку результатов выполнения заданий на сбор данных о СИО, их классификацию, устранение неопределенности оценки и категоризации смыслового наполнения, дообучение и визуализацию. Разработаны методы, модели, методики и алгоритмы устранения неопределенности оценки и категоризации смыслового наполнения информационных объектов на основе использования методов обработки неполных, противоречивых и нечетких знаний. Необходимое смысловое наполнение СИО в условиях неопределенности исходных данных достигается за счет реализации двух ключевых этапов. На первом этапе устраняется неоднозначность (нечеткость) на основе методов теории нечетких множеств. На втором этапе устраняется недостаточность (неполнота, противоречивость) на основе применения методов теории искусственных нейронных сетей. В основу методов, моделей, методик и алгоритмов, используемых на первом этапе, положены механизмы поддержки принятия решений по включению либо не включению анализируемых, нечетко заданных признаков информации, циркулирующей в цифровом сетевом контенте, во множество признаков нежелательной, сомнительной и вредоносной информации. Входные данные моделей и алгоритмов устранения неопределенности на первом этапе включают три группы признаков нежелательной, сомнительной и вредоносной информации. Первая группа признаков характеризует информацию, оказывающую негативное влияние на людей. Вторая группа признаков относится к информации, оказывающей негативное влияние на кибернетические подсистемы. Третья группа признаков характеризует информацию, оказывающую деструктивное влияние на физические подсистемы. Методы, модели, методики и алгоритмы второго этапа базируются на использовании искусственных нейронных сетей. Предложено использовать прямоугольную (двумерную) решетку нейронов сети Кохонена, представляющую собой самоорганизующуюся карту признаков. Методика устранения неопределенности на втором этапе предусматривает формирование векторов «важности» существенных признаков, построение матрицы связей, выбор наиболее опасных признаков с помощью двунаправленной ассоциативной памяти и расчет «важности» каждого признака СИО с учетом коллективного мнения группы экспертов. Экспериментальная оценка алгоритма показала, что нейросеть достигает стабильного состояния уже на четвертой итерации. Разработаны методы, модели, методики и алгоритмы адаптации и переобучения системы анализа информационных объектов, в том числе в режиме эксплуатации. При этом решаются две задачи: сокращение размерности векторов признаков и параллельное переобучение базовых классификаторов. Решение первой задачи основывается на использовании метода главных компонент и метода исключения сильно коррелирующих записей. В методе главных компонент осуществляется преобразование входного вектора с использованием ортонормированных собственных векторов матрицы ковариации, составленной из элементов обучающей выборки. Этим достигается снижение размерности векторов признаков с сохранением максимальной изменчивости в исходных данных. В методе исключения сильно коррелирующих записей для каждой пары различных признаков вычисляются коэффициенты корреляции. Метод параллельного переобучения разработан для базовых классификаторов, которые представляют собой комбинацию нескольких бинарных классификаторов. Распределение классификаторов по процессорам и распараллеливание процесса переобучения осуществляется в соответствии со специально разработанным алгоритмом, учитывающим текущую загрузку процессоров. Экспериментальная оценка методов, моделей, методик и алгоритмов адаптации и переобучения показала их достаточно высокую эффективность. Разработаны методы, модели, методики и алгоритмы выработки и выбора мер противодействия нежелательной, сомнительной и вредоносной информации, которые базируются на использовании модели информационной системы, моделей противодействия и мер противодействия, а также алгоритмах противодействия. Метод выбора мер противодействия основывается на положениях теории принятия решений, в том числе теории многокритериальной оптимизации. Разработанная модель противодействия основана на модели информационной системы, включающей модель СИО и их коммуникации. Модель СИО описывает класс СИО, роль СИО, тип СИО, состояние компрометации, аудиторию. Модель мер противодействия включает вид меры, класс СИО, против которого она направлена, стоимость, роль СИО, против которого направлена мера, эффективность. В методике противодействия с помощью конативной и эмотивной функций языка учитываются отягчающие факторы вредоносности контента. Методика и алгоритм противодействия нежелательной информации предусматривают определение типа и класса СИО, оценку эмотивной и конативной функций, оценку аудитории и выбор контрмер. Методика и алгоритм выбора мер противодействия учитывают границы контролируемой зоны и зоны ответственности, задаваемые законодательством и правовыми актами, а также определяют количество нежелательных, сомнительных и вредоносных СИО. Разработаны методы, модели, методики и алгоритмы реализации визуальных интерфейсов для выявления и противодействия нежелательной, сомнительной и вредоносной информации. Множество предложенных моделей визуализации включает в себя круговую диаграмму, линейный, столбчатый и пузырьковый графики, карту деревьев, диаграмму рассеивания, параллельные, радиальные и треугольные координаты, а также ящик с усами. Для каждой модели визуализации определены компоненты, которые используются для отображения количественных и качественных (категориальных) метрик. Предложен алгоритм построения конвейера визуализации, который обеспечивает автоматическую обработку данных и предусматривает анализ и фильтрацию данных, преобразование численных данных в графические и отрисовку отображения по размеченным данным. Для отображения метрики в виде компонентов визуализации используются разработанные алгоритмы разметки (преобразования) данных. Эти алгоритмы осуществляют преобразование в размер, в оттенок цвета, в насыщенность цвета, в прозрачность и в систему координат. Разработана архитектура и программные прототипы компонентов сбора и предварительной обработки сетевых информационных объектов на основе применения распределенных интеллектуальных сканеров. В архитектуре реализован децентрализованный режим анализа и сканирования ресурсов сети Интернет, а также загрузки сетевого контента. Первый уровень архитектуры образуется комплексом распределенных интеллектуальных сканеров СИО. На втором уровне располагаются сетевые ретрансляторы, позволяющие динамически распределять сетевую нагрузку. Третий уровень архитектуры составляют агенты сбора контента и модули очередей загрузки СИО. Такая организация архитектуры компонентов сбора и предварительной обработки СИО позволяет достаточно эффективно решать задачи обнаружения сетевых ресурсов в сети Интернет, загрузки сетевого контента в локальное хранилище информации и мониторинга изменения загруженных информационных объектов. Распределенные интеллектуальные сканеры на логическом уровне связаны с сетевыми ретрансляторами и модулем очередей загрузки. На физическом уровне сканеры связаны с сетью Интернет и имеют возможность физического размещения как на отдельном устройстве, так и на общем сервере. Модуль очередей загрузки является неделимым динамическим хранилищем и позволяет в реальном времени предоставлять сканерам информацию об объектах, требующих загрузки, и о сетевых трансляторах. Программные прототипы компонентов сбора и предварительной обработки СИО реализуют функции обнаружения и загрузки контента СИО, его структурной категоризации, типизация полуструктурированного и структурированного сетевого информационного контента, построения карт переходов информационных ресурсов. Разработана архитектура и программные прототипы компонентов многоаспектной оценки и категоризации смыслового наполнения информационных объектов. Загрузка Интернет-ресурсов реализована либо путем использования тонкого Web-клиента, который загружает html-страницу Интернет-ресурса и сохраняет ее в базе данных, либо путем использования компонента сбора данных об СИО. Результаты загрузки Интернет-ресурсов помещаются в базу данных. Извлечение и создание векторов признаков осуществляется путем разбора html-страниц с помощью механизма парсинга. Вектор признаков html-страницы формируется путем последовательного обхода древовидной структуры, которая является результатом работы парсера. Программные прототипы имеют командный интерфейс взаимодействия с пользователем. Имеется несколько режимов функционирования прототипа: обучение классификаторов, сериализация структуры обученных классификаторов, десериализация и анализ веб-страниц. Реализованы три типа композиции классификаторов: голосование большинством, взвешенное голосование и мягкое голосование, что позволяет повысить точность классификации. Разработана архитектура и программные прототипы компонентов обеспечения своевременности многоуровневого и многомодульного анализа информационных объектов на основе использования параллельных вычислений. Архитектура включает модули управления (менеджер) и взаимодействия с остальными компонентами системы. Предусматривается три режима работы, которыми пакетное обучение классификаторов. анализ новых веб-страниц и «дообучение» классификаторов. В программных прототипах хранилище данных реализовано на платформе HBase и распределенной файловой системе Hadoop (HDFS). Схема взаимодействия менеджера и компонентов сбора и предварительной обработки использует шаблонный метод сбора данных. Схема взаимодействия с остальными компонентами основывается на использовании неизменных приложений-контейнеров по принципу IIP (Image Immutability Principle). Тем самым достигается высокая масштабируемость работы различных классификаторов. Разработана архитектура и программные прототипы компонентов устранения неопределенности оценки и категоризации смыслового наполнения информационных объектов на основе использования методов обработки неполных, противоречивых и нечетких знаний. Архитектура ориентирована на устранение из сетевого контента двух видов неопределенности: нечетких (неоднозначных) и неполных (противоречивых) данных. Первый вид неопределенности устраняется с помощью модулей, реализующих методы теории нечетких множеств. Второй вид неопределенности устраняется модулями, реализующими методы теории искусственных нейронных сетей. При этом осуществляется взаимодействие с распределенным хранилищем. Устранение неопределенности достигается за счет реализации различных видов контент-анализа (нормативного, превентивного, дистанционного и т.д.). Функции принадлежности, матрицы связей и когнитивные карты хранятся в распределенном хранилище. Дополнительно в архитектуре выделяются подуровни взаимодействия с основными коммуникационными системами, которыми являются традиционные телекоммуникационные сети общего пользования, сеть Интернет и социальные сети. Программные прототипы компонентов устранения неопределенности оценки и категоризации смыслового наполнения информационных объектов осуществляют анализ по различным категориям активностей. Дополнительно программные прототипы имеют возможность формирования перечня самых оцененных информационных объектов и построения графов связи между авторами сообщений. По результатам проекта сделано 13 публикаций в изданиях, индексируемых в базе Scopus, 27 – в базе РИНЦ, получен 1 патент и 5 свидетельств о государственной регистрации программ для ЭВМ. Материалы, посвященные проекту, находятся по адресу http://comsec.spb.ru.

Аннотация результатов, полученных в 2020 году
Разработаны архитектура и программные прототипы компонентов адаптации и переобучения системы анализа информационных объектов. Архитектура и программные прототипы состоят из следующих частей: базы данных со структурой и записями сериализованных классификаторов; базы данных с записями информационных объектов; компонента понижения размерности; компонента распараллеливания процесса обучения. В первой базе данных хранятся структура (наименование внутренних параметров каждого классификатора) и записи (к примеру, значения весовых коэффициентов классификатора). Эта база данных предназначена для восстановления и сохранения внутренней структуры обученного классификатора. Во второй базе данных содержатся записи информационных объектов, при помощи которых должно выполняться повторное обучения десериализованных классификаторов. Компонент понижения размерности и компонент распараллеливания процесса обучения предназначены для выполнения функций переобучения классификаторов машинного обучения и их повторной настройки. При этом структуры и параметры обученных классификаторов сохраняются в базу данных для возможности их повторной загрузки. Для сокращения времени переобучения классификаторов используются методы понижения размерности и распараллеливания процесса обучения классификаторов. Компонент понижения размерности загружает векторы признаков информационных объектов и уменьшает количество значащих признаков при помощи метода главных компонент и метода удаления слабо коррелирующих с меткой класса признаков. Функционирование компонента распараллеливания процесса обучения заключается в разбиении задачи обучения таким образом, чтобы каждая из образовавшихся подзадач могла выполняться независимо друг от друга. Разработаны архитектура и программные прототипы компонентов выработки и выбора мер противодействия нежелательной, сомнительной и вредоносной информации. Архитектура и программные прототипы содержат два компонента: компонент выбора рациональных контрмер и компонент выбора оптимальной контрмеры. В зависимости от параметров поступившего на вход информационного объекта компонент выбора рациональных контрмер формирует набор рациональных контрмер, удовлетворяющих заданным параметрам. Компонент выбора оптимальных контрмер позволяет выбрать из списка рациональных контрмер оптимальную путем однокритериальной оптимизации на основе индекса выбора контрмер, учитывающего стоимость контрмеры, побочный ущерб от ее реализации и эффективность контрмеры. Оптимальная контрмера передается на вход компонента реализации визуальных интерфейсов для предоставления решения оператору. Доступные контрмеры содержатся в базе данных и описываются следующими параметрами: тип контрмеры; класс вредоносного информационного объекта; размер вредоносного информационного объекта; способ реализации контрмеры; агент реализации контрмеры; стоимость реализации. Разработаны архитектура и программные прототипы компонентов реализации визуальных интерфейсов для выявления и противодействия нежелательной, сомнительной и вредоносной информации. Они обеспечивают поддержку принятия решений с помощью следующих процессов: 1) визуальная оценка оператором ресурса, который был распознан системой классификации как нежелательный, сомнительный либо вредоносный; 2) визуальная оценка статистических данных анализируемого ресурса или группы ресурсов; 3) фильтрация и выбор ресурсов из базы данных проанализированных и классифицированных ресурсов; 4) визуальная оценка результатов работы классификатора для определённой группы ресурсов. Архитектура включает модули нормализации, маппинга и рендеринга. Модуль нормализации работает на сервере и преобразует данные из базы данных в структуры визуализации. Модуль маппинга работает на сервере и преобразует оценки точности классификации информационных ресурсов в графические параметры длины столбчатого графика. Модуль рендеринга отрисовывает данные на стороне клиента. Разработаны модели конкретных предметных областей как объектов аналитической обработки цифрового сетевого контента. Модель системы родительского контроля цифрового контента в сети Интернет имеет следующие основные функции: 1) блокировка сайтов; 2) установка/снятие запретов на компьютерах и смартфонах; 3) ограничение времени за компьютером; 4) установка запрета на доступ к отдельным играм; 5) ограничение активности в Интернете; 6) установка запретов на использование отдельных программ. Пассивный родительский контроль связан с установлением ограничений. Активный контроль предполагает отслеживание посещаемого контента сайтов, запрет порнографии, секса, насилия, отслеживание местоположения, просмотр контактов, истории звонков, SMS, мессенджеров, загружаемых фото. Базовым принципом работы системы родительского контроля является контентная фильтрация. Модель системы выявления и противодействия террористической и экстремистской активности в Интернете и социальных сетях основана на общих моделях теории коммуникации, таких как модель SMCRE Х. Лассвелла, модель коммуникации Шеннона и Уивера и интегральная модель Б. Вестли и М. Маклина. Модель включает компоненты выявления и противодействия. Для каждого компонента общими являются следующие классы признаков: 1) класс связи; 2) класс общей информация; 3) класс обратной связи. Модуль противодействия может быть реализован как на стороне некоторой общей системы противодействия, так и на на стороне получателя. Параметры и требования к контрмерам устанавливаются экспертным путем через систему управления в момент настройки системы. Модель системы анализа социальных сетей на выявление групповой вредоносной и нежелательной информационной активности рассматривает социальные сети как веб-ресурсы, состоящие из веб-страниц с высокой степенью связанности. Структурно социальная сеть рассматривается как набор следующих взаимосвязанных страниц: страниц аккаунтов пользователей, товаров, фотоальбомов, обсуждения, комментариев, постов и т.д. Веб-страницы делятся страницы пользователей и на страницы контента. Задача обнаружения групповой вредоносной активности в социальных сетях сводится к классификации множества веб-страниц пользователей, которые были получены в виде ссылок со страницы контента. Проведены теоретическая, экспериментальная и маркетинговая оценка методов, моделей, методик, алгоритмов и программных прототипов интеллектуальной аналитической обработки цифрового сетевого контента в целях защиты от вредоносной, сомнительной и нежелательной информации. Оценка проводилась по методике, разработанной на основе национальных и международных стандартов по оценке качества программных средств. Методика определяет следующие действия: выбор показателей качества программного средства; определение значений этих показателей; сравнение их с базовыми значениями. Модель процесса оценивания выделяет в нем три этапа: определение требований; подготовка к оцениванию; непосредственное оценивание. Для всех компонентов учитывался следующий набор характеристик: функциональные возможности; надежность; практичность; эффективность; сопровождаемость; мобильность. Оценка показала, что в целом система имеет класс качества «хороший», ближе к «отличному». Маркетинговая оценка показала, что, несмотря на множество разрозненных сервисов и инструментов, средств комплексного противодействия от вредоносной информации нет ни со стороны пользователя, ни со стороны платформы социальной сети, ни со стороны государства. Необходима система противодействия распространению вредоносной информации, в которой должен содержаться компонент выбора контрмер на основе многоаспектной оценки ситуации. Разработаны программные приложения, реализующие интеллектуальную аналитическую обработку веб-контента. Приложения реализуют функции системы родительского контроля и выявления и противодействия террористической и экстремистской активности в сети Интернет с учетом разработанных решений по аналитической обработке цифрового сетевого контента. Приложения реализуют обработку сетевых информационных объектов с использованием разрешенных и запрещенных контрольных списков адресов информационных объектов и их смысловых категорий. В них заложена возможность разрешения конфликтов отнесения сетевых информационных конфликтов к различным категориям информации. Приложения имеют модульную структуру. Модуль представления и обработки данных о категориях информации реализует возможности сбора исходных данных. Модуль формирования контрольных списков атрибутов производит создание и ведение контрольных списков правомерных и неправомерных информационных объектов. Модуль тестирования позволяет проверить правильность работы основных компонентов, определить ограничения, а также протестировать работу. Разработаны программные приложения, реализующие интеллектуальную аналитическую обработку цифрового контента в социальных сетях. Приложения реализуют конвейерную парадигму обработки данных и состоят из модулей анализа страниц контента, классификации страниц пользователей и оценки. Модуль анализа страниц реализует первые два шага конвейера: получение страницы контента и получение ссылок на страницы пользователей. Модуль формирует список id пользователей. Для каждого id пользователя параллельно запускаются модули классификации страниц. Модуль классификации страниц реализует следующие два шага конвейера: получение страниц пользователей и классификация страниц пользователей. Классификация происходит с использование наивного Байесовского классификатора. Модуль оценки реализует последний шаг конвейера: расчет вероятности присутствия групповой вредоносной активности. Результатом работы приложений является веб-страница контента с вероятностной оценкой присутствия на ней групповой вредоносной активности. Результаты работы каждого модуля могут быть проанализированы с использованием визуального интерфейса. Разработана информационная технология интеллектуальной аналитической обработки цифрового сетевого контента в интересах эффективного обнаружения и противодействия нежелательной, сомнительной и вредоносной информации. Технология рассматривается как взаимоувязанная совокупность методов, моделей, методик, алгоритмов, архитектур, технических и программных средств (программных прототипов компонент) и процессов, объединенных в единую технологическую цепочку, которые обеспечивают сбор, оценку и категоризацию, интеллектуальную и многоаспектную обработку информационных объектов (данных) для эффективного обнаружения и противодействия нежелательной, сомнительной и вредоносной информации. Все процессы интеллектуальной аналитической обработки цифрового сетевого контента объединены в единую технологическую цепочку. В не входят следующие процессы: сбора и предварительной обработки сетевых информационных объектов на основе применения распределенных интеллектуальных сканеров; многоаспектной оценки и категоризации смыслового наполнения информационных объектов; обеспечения своевременности многоуровневого и многомодульного анализа информационных объектов на основе использования параллельных вычислений; устранения неполноты и противоречивости оценки и категоризации смыслового наполнения информационных объектов на основе использования методов обработки неполных, противоречивых и нечетких знаний; адаптации и переобучения системы анализа информационных объектов; выработки и выбора мер противодействия нежелательной, сомнительной и вредоносной информации; реализации визуальных интерфейсов для выявления и противодействия нежелательной, сомнительной и вредоносной информации. Выработаны научно-технические предложения по применению разработанных методов, моделей, методик, алгоритмов, архитектур, программных приложений и технологии интеллектуальной аналитической обработки сетевого цифрового контента для родительского контроля сети Интернет. Предложения ориентированы на использование сервисов интеллектуальной аналитической обработки сетевого цифрового контента, выполняемых последовательно и имеющих специфицированные интерфейсы взаимодействия на основе форматов входных и выходных данных. Сбор и предварительная обработка сетевых информационных объектов в интересах родительского контроля сети Интернет должны быть реализованы с помощью специально настраиваемых распределенных интеллектуальных сканеров. Необходимо учитывать достаточно большое количество признаков нежелательной, сомнительной и вредоносной для детей информации. Необходимо обеспечить применение технологии параллельной обработки данных. Предлагается использовать методы нечетких множеств и методы искусственных нейронных сетей для реализации механизмов устранения неопределенности (неполноты и противоречивости). Процессы адаптации и переобучения системы целесообразно реализовать на основе экспертных знаний и существующих списков классифицированных информационных объектов. В процессе выработки и выбора мер противодействия нежелательной, сомнительной и вредоносной для ребенка информации должны осуществляться определение класса информации, определение класса контрмер и выбор оптимальных мер. Визуализация в интересах выявления и противодействия нежелательной, сомнительной и вредоносной для ребенка информации должна быть имплементирована путем внедрения в систему родительского контроля в сети Интернет «конвейера визуализации». Выработаны научно-технические предложения по применению разработанных методов, моделей, методик, алгоритмов, архитектур, программных приложений и технологии интеллектуальной аналитической обработки сетевого цифрового контента для выявления и противодействия террористической и экстремистской активности в Интернете и социальных сетях. Предложения содержат набор рекомендаций по использованию программных компонентов сбора информации в сети Интернет и в социальных сетях и компонентов предобработки данных. Программные компоненты могут использоваться как в рамках общей технологии интеллектуальной аналитической обработки сетевого цифрового контента, так и быть частью системы мониторинга в различных ситуационных центрах. Также разработаны предложения по применению разработанных методов, моделей, методик, алгоритмов и архитектур на этапе семантической оценки текстов и связей между информационными объектами. При семантической оценке текстов предлагается анализировались ключевые слова, а также формировать наборы слов для обучения моделей машинного обучения на обнаружение сообщений с экстремистским и террористическим содержанием. Разработаны рекомендации по применению компонента противодействия террористической и экстремистской активности. Предлагается использовать механизмы оценки распространения сообщений, содержащих информацию, связанную с террористической и экстремистской активностью. Контрмеры могут быть реализованы как на стороне пользователя через браузер, антивирус или операционную систему, так и на стороне информационной системы. Компонент противодействия может быть доступен в виде отдельного программного сервиса. Доступ ко всей системе возможен через интерфейс оператора для формирования запросов или получения отчетов, списков доступных мер противодействия террористической и экстремистской активности в Интернете и социальных сетях. Выработаны научно-технические предложения по применению разработанных методов, моделей, методик, алгоритмов, архитектур, программных приложений и технологии интеллектуальной аналитической обработки сетевого цифрового контента для анализа социальных сетей на выявление групповой вредоносной и нежелательной информационной активности. Предложения основаны на анализе метаданных и архитектур социальных сетей. Представление структуры информационных объектов, полученных из социальных сетей, в виде графа позволило реализовать множество алгоритмов, в том числе алгоритм поиска в ширину, который имеет линейную сложность. Предлагается для анализа социальных сетей также использовать алгоритм Дейкстры, который работает с ориентированными ациклическими графами и имеет логарифмическую сложность. Анализ топологии графов социальных сетей графовыми алгоритмами дает характеристику исследуемого информационного объекта и обратной связи внутри коммуникативной группы. Предлагается включить в модель данных для социальной сети следующие объекты: пользователь, группа, пост, комментарий. Объекты модели данных содержат только те характеристики, которые возможно получать путем анализа html-страниц без взаимодействия с интерфейсом API социальной сети. По результатам проекта сделано 14 публикаций в изданиях, индексируемых в базе Scopus, 8 – в базе РИНЦ, получено 7 свидетельств о государственной регистрации программ для ЭВМ и баз данных. Материалы, посвященные проекту, находятся по адресу http://comsec.spb.ru.