Аннотация результатов, полученных в 2017 году
Целью работ данного этапа является обоснование направления исследований в области интеллектуальных технологий поддержки решений в финансовой сфере на основе больших данных и предсказательного моделирования. Под финансовой сферой традиционно понимаются совокупность существующих на рынке банковских и финансовых продуктов, а также механизмы их создания и распространения. Поддержка принятия решений в финансовой сфере требует прогнозирования финансовых рынков, оценки спроса на новые финансовые продукты, определения надежности потенциальных пользователей кредитных продуктов, а также выявления других источников прибыли участников рынка. На основе анализа литературных источников сформулированы основные требования к технологиям поддержки принятия решений, учитывающим фрагментарную наблюдаемость финансового рынка, подстройку финансовых продуктов и сервисов под индивидуальные особенности клиентов и переход на омниканальные системы взаимодействия финансовых агентов. Совокупный учет описанных факторов требует разработки новых формальных постановок задач поддержки принятия решений в финансовой сфере, включающих не только функциональные элементы, связи между ними, ограничения и целевые критерии, но и закон их эволюции, в том числе для разных масштабов финансовой системы. Проведенный сравнительный анализ существующих методов, моделей и алгоритмов поддержки принятия решений в финансовой сфере по четырем характеристикам (назначение, уровень, вид модели, концепция модели), продемонстрировал тенденцию включения в традиционные модели финансовой математики достижений смежных областей, а также нефинансовых данных, в частности комбинирование индивидуальных финансовых данных с данными киберпространства, в том числе с геопространственными и медиа (аудио, видео) данными. Исходя из этого в проекте разработан метод построения агрегированных профилей (АП) субъектов финансовой среды, обеспечивающий преобразование набора неструктурированных данных, собранных из различных источников (социальных медиа, базы данных банков и предприятий сферы услуг, государственные статистические базы), в структурированную форму, позволяющую интерпретировать поведение субъекта на семантическом, психометрическом, пространственно-временном и топологическом уровнях. На его основе построен комплекс инфологических моделей, отображающих АП субъекта на подпространство параметров конкретной прикладной задачи и предназначенных для: (а) выявления предпочитаемых паттернов платежной и покупательской активности по данным о финансовых транзакциях клиента, (б) онлайн-скоринга по профилю пользователя в социальной сети, (в) моделирования рынка межбанковского кредитования. Поскольку инфологические модели могут принадлежать различным уровням обобщённой многомасштабной модели, дополнительно разработан механизм перехода между моделями разного уровня. Сами АП и инфологические модели данных используются как основа для построения предсказательных DDA (Data Driven Approach) моделей. На данном этапе проекта для конструирования и идентификации предсказательных DDA-моделей рассмотрена совокупность отдельных методов и процедур вероятностного анализа и машинного обучения, применяемых последовательно или параллельно к отдельным элементам АП. Так, для идентификации моделей в форме комплексных сетей разработаны методы восстановления топологий сетей взаиморасчетов по набору макрохарактеристик, основанные на решении задачи многокритериальной оптимизации с учетом эмпирических данных (фиксации bow-tie структуры сети). Для конструирования и идентификации параметров DDA-моделей, отражающих статистические взаимосвязи между элементами АП, реализованы варианты: (а) регрессионных методов и методов классификации "с учителем", (б) классификации методами машинного обучения "без учителя", (в) смешанных методов на основе кластеризации и регрессионных моделей, (г) решающих деревьев. Для конструирования и идентификации балансовых моделей (например, инвестиционного развития территорий) разработаны методы калибровки параметров моделей в рамках задачи эволюционных вычислений с ускорением сходимости за счет: (1) извлечения полезной информации из особей с относительно низким значением приспособленности; (2) увеличения диапазона возможных значений функции приспособленности путем более широкого использования мутаций с повышенной частотой мутаций; (3) использования операторов вариации, принимающих на вход более одной особи. В целом эти методы позволяют по фрагментам строить общую математическую модель иерархической финансовой системы, которая включает в себя описательную метамодель эволюции финансовой системы, набор изолированных содержательных моделей на разных уровнях детализации, а также набор мотивационных моделей для анализа качественных свойств системы. Описательная метамодель в форме уравнений Лиувилля отражает эволюцию инвариантов финансовой системы, используемых в различных интерпретациях в изолированных моделях, представляющих отдельные уровни. Макроуровень представлен моделью межбанковского кредитования на базе многослойной комплексной сети; мезоуровень – финансовой моделью инвестиционного развития территорий; микроуровень – моделью прогнозирования рисков в системе транснационального p2p-кредитования: имитационная модель p2p-кредитования в сетевом сообществе комбинируется с моделью оценки риска дефолтов на основе данных социальных медиа и платежно-кредитной истории клиента. Также разработан набор мотивационных моделей иерархических систем более общего вида, позволяющих исследовать различные аспекты создания, преобразования, передачи материальных и информационных потоков в финансовых средах. Для практической реализации перечисленных методов и моделей, а также создания инфраструктуры коллективного доступа к инструментам финансового моделирования проведен ряд прикладных исследований в части разработки информационно-технологической базы проекта. Разработан метод сбора, хранения и обработки слабоструктурированных данных для DDA-моделирования на различных вычислительных архитектурах с поддержкой локальных связей между структурами данных. Он позволяет, используя инфологическую модель для конкретной задачи, обеспечить индексирование данных с целью оптимизации доступа к ним из вычислительных процедур в распределенной облачной среде. Этот метод применен к данным социальных медиа (ВКонтакте, Твиттер, Инстаграм), собираемым по потенциальным клиентам банка – индустриального партнера с помощью системы краулинга. Для планирования размещения данных разработана модульная гибридная процедура, использующая как эвристические (HEFT, DCPG), так и метаэвристические алгоритмы (GA, PSO, NN), а также их гибридные модификации в форме коэволюционных метаалгоритмов, одновременно оптимизирующих конфигурацию виртуальных вычислительных ресурсов, распределение вычислений и размещение данных в распределенной среде исходя из специфики предметной задачи, заданной инфологической моделью. Предложена архитектура программной системы открытой облачной программной платформы имитационного моделирования и прогнозирования финансовых процессов, включающая сервисы сбора, агрегации и обработки данных, построения прогностических моделей, а также имитационного моделирования финансовых процессов, реализованная на основе расширения облачной платформы CLAVIRE. На языках Scala, C# и Python выполнено прототипирование основных элементов платформы в части сбора и агрегации данных, моделирования на разных уровнях детализации, сопряжения моделей различных масштабов. Подготовлен набор демонстрационных задач многомасштабного моделирования в финансовой сфере для формирования модельных сценариев на основе ретроспективных данных. Рассмотрены данные по эволюции рынка межбанковского кредитования (банковская сеть РФ за 2008–2017 гг по отчетам ЦБ), инвестиционного развития территорий (город-спутник Южный, на основе мастер-плана 2017 г.), а также финансового поведения клиентов банка - индустриального партнера (2013–2016 гг., около 60 тыс. кредитных договоров). Построенные на этих данных модели логически взаимосвязаны (межбанковское кредитование отражает условия на рынке ипотечных кредитов, развитие территорий – спрос населения на ипотечные кредиты, а скоринговая модель – возможность получения этих кредитов и риск дефолта для банков). В целом результаты демонстрируют принципиальную возможность решения задач моделирования финансовой системы за счет комплексирования моделей разного уровня, в том числе с учетом индивидуальных нефинансовых данных субъектов.

Аннотация результатов, полученных в 2018 году
Разработана онтологическая модель данных финансовой среды для описания связей атрибутов сущностей различных масштабов и связей между ними и метод снижения размерности и визуализации семантических полей для автоматизированного построения пространств концептов, ассоциированного с субъектом. Разработана дискретно-событийная модель эволюции агрегированного профиля субъекта финансовой среды на базе подхода контекстно-зависимого моделирования, связывающего изменение состояния агентов финансовой среды с информационными сообщениями о состоянии среды, мнениях и действиях других агентов. Разработанный в 2017 г. комплекс инфологических моделей данных субъектов и процессов финансовой сферы доработаны для учета временной изменчивости агрегированных профилей путем выделения базовых ценностей и переменных состояния агентов (идентифицируемых на основании данных агрегированного профиля и результатов дискретно-событийного моделирования, соответственно). Разработано и исследовано семейство масштабируемых алгоритмов машинного обучения, включающее методы улучшения производительности алгоритмов с пространством поиска большого размера на основе применения эффективных структур данных для реализации внутренних процедур; установления связности с учетом целевого критерия похожести для мультиплексных взвешенных сетей агентов финансовой среды, снижения размерности и выявления неоднородности комплексных сетей с атрибутами узлов. Разработана и исследована процедура мета-обучения, предназначенная для автоматического выбора модели машинного обучения с одновременной настройкой её гиперпараметров и процедура выбора модели для финансовых временных рядов. Разработана и исследована ансамблевая технология детерминированного и интервального прогнозирования эволюции финансовой системы с учетом воздействия внешних факторов и апробирована на задачах финансовых систем микро- и мезо-масштабов. Разработаны и исследованы процедуры оценки качества прогнозов на основе композиции метрик качества для этапа валидации, подход к оценке устойчивости метрик качества прогноза на базе метода Монте-Карло, подход к оптимизации метрик качества предсказательных моделей с учетом ограничений на характеристики реактивности. Разработан набор методов идентификации параметров предсказательных моделей финансовых процессов, включающий методы: 1) идентификации и пространственной кластеризации точек интереса по транзакционной активности, позволяющие выявлять зоны платежного интереса клиента в городе; 2) выявления трэвел-сегмента и предпочитаемых направлений заграничных поездок; 3) идентификации интересов клиента по данным открытых источников; 4) выявления функциональных ролей подписчиков в сообществе организации; 5) идентификации параметров притока / оттока подписчиков сообщества организации; 6) идентификации признаков профиля заемщика на основании данных открытых источников и транзакций; 7) кластеризации сетей переходов между категориями трат; 8) кластеризации для мультиплексных сетей похожести по разным источникам финансовых и открытых данных, с помощью которого выявлены группы клиентов, схожих по набору компонент агрегированного профиля; 9) выявления скрытых характеристик подписчиков по топологическому компоненту агрегированного профиля организации. Разработан и исследован набор эффективных параллельных алгоритмов, реализующих процедуры обработки данных и исполнения DDA-моделей для различных вычислительных архитектур, включающий: алгоритм эффективного перераспределения больших массивов данных; семейство параллельных предсказательных моделей и процедур обработки данных финансовых процессов. Разработан экспериментальный образец платформы многомасштабного имитационного моделирования и прогнозирования финансовых процессов с компонентами сбора, агрегации и обработки данных, предсказательного моделирования финансовых процессов, выполнения многомасштабных приложений, оптимизации размещения данных. Программная платформа испытана по разработанной программе и методике экспериментальных исследований в целях оценки функциональных возможностей, масштабируемости и производительности модулей и компонентов. Результаты проверки подтвердили применимость модулей и компонентов платформы для решения заявленных задач и соответствие характеристик масштабируемости и производительности заявленным номинальным значениям. Сформированы модельные сценарии и произведены экспериментальные исследования прогностических возможностей разработанной системы, показавшие возможность получения прогнозов для ряда предметных задач финансовой сферы микро-, мезо- и макро- масштабов, которые по метрикам оценки качества прогнозов относятся к категориям «хороший» и «очень хороший», и получения интерпретируемых кластеров субъектов финансовой среды. Обоснована возможность использования результатов моделирования для предметных задач кредитного, поведенческого, коллекшн скоринга, портфельного менеджмента, повышения конверсий маркетинговых акций, операционной эффективности, эквайринга. Практическим результатом исследования явилось создание программной платформы многомасштабного имитационного моделирования и прогнозирования финансовых процессов. На ее основе целесообразно реализовывать аналитические системы мониторинга и систем поддержки принятия решений для управления финансовыми процессами различных масштабов в интересах различных категорий стейкхолдеров (от органов власти – до сетей торгово-сервисных точек и банков).

Аннотация результатов, полученных в 2019 году
Целью работ данного этапа является разработка многомасштабных предсказательных моделей процессов в финансовой сфере, их интеграция в состав платформы многомасштабного моделирования и прогнозирования финансовых процессов и разработка математического, модельного, алгоритмического, технологического обеспечения эффективного решения прикладных задач классификации, регрессии, кластеризации на данных финансовой сферы с применением платформы. Разработана методика применения платформы многомасштабного моделирования и прогнозирования для решения прикладных задач предсказания, оптимизации, имитационного моделирования и выявления закономерностей для данных финансовой сферы. Разработано и скорректировано 12 модулей: а) предсказания следующей категории в цепочке трат клиента; б) предсказания категории трат в следующем временном периоде; в) скоринга по транзакционным данным/данным соцсетей; г) портфельного менеджмента; д) повышения конверсий маркетинговых акций (разработан); е) оптимизации операционной эффективности; ж) анализа ставок эквайринга; з) оптимизации ставок эквайринга; и) прогнозирования путешествий по транзакционным данным; к) имитационного моделирования потребительской активности в ритейл-сетях; л) кластеризации комплексных сетей с атрибутами узлов; м) рекомендации контрагентов; н) восстановления атрибутов комплексных сетей; о) восстановления источника распространения в комплексной сети; п) анализа сетей похожести клиентов. Таким образом, для решения предметных задач финансовой сферы в платформе доступно 24 модуля, решающих 43 прикладных задачи моделирования и оптимизации в финансовой сфере. Произведено исследование прогностических возможностей платформы для разработанных и скорректированных модулей, показавшее высокую эффективность предложенных методов и алгоритмов и их применимость для решения прикладных задач предсказательного моделирования в финансовой сфере. Разработана процедура адаптивного перестроения модели данных с учетом специфики решаемых задач и семантического содержания агрегируемых данных, а также эволюции агрегированных профилей с использованием механизма адаптивных функций агрегаций. Механизм адаптивных функций агрегаций основан на автоматизированном анализе состава, структуры и времени исполнения пользовательских запросов на извлечение данных с последующей генерацией агрегированных представлений данных. Уменьшение общего времени обработки запросов реализовано в процедуре на основании схемы реконфигурации хранения данных, использующей генетический алгоритм с адаптируемой популяцией. Эффективность разработанной процедуры исследована на примере задачи хранения и обработки временных рядов. Модификация метода автоматического выбора моделей и алгоритмов для подбора структурных параметров моделей включает обобщение предложенного в 2018 г. метода для поиска оптимальных параметров предсказательных моделей с учетом баланса точности решений и ресурсоемкости расчетов с применением: а) анализа метапризнаков исходных данных и данных целевого домена; б) обогащения обучающей выборки с применением генеративных состязательных сетей; в) оптимизации вычислительных процессов на основании коэволюционных алгоритмов. Разработанная процедура повторного использования ранее обученных моделей включает: а) обучение модели на выборке большого размера, состоящей из данных различных доменов; б) дообучение модели п. а) на целевой выборке (как правило, путем «заморозки» нескольких слоев ячеек нейронной сети с обновлением весов для остальных слоев). Для финансовых временных рядов перенос обучения даёт значительный прирост в точности прогнозирования при малом объёме (менее 3%) доступных данных по отношению к исходному домену. При переносе знаний между финансовыми биржами на фондовом рынке полносвязная и рекуррентная нейронные сети показывают более стабильные результаты по сравнению с моделью, обученной только на целевой выборке. Для увеличения эффективности организации процесса вычислений для использования в алгоритмах балансировки и реконфигурации схем хранения данных были разработаны и валидированы на ряде предметных задач финансовой сферы теоретические модели производительности приложений. Теоретические модели производительности основаны на оценке ожидаемого времени исполнения последовательного или параллельного приложения в зависимости от вычислительной сложности алгоритма и параметров вычислительной среды. Валидация моделей производительности для задач прогнозирования и выделения паттернов в финансовых временных рядах показала соответствие экспериментальных оценок времени выполнения многопоточных и многопроцессорных моделей теоретическим оценкам. На основе механизма коэволюции создан адаптивный алгоритм планирования, балансировки и реорганизации облачной инфраструктуры. Исследована производительность и масштабируемость различных компонентов платформы, а также разработанных в 2019 г. модулей решения прикладных задач. В целом результаты демонстрируют применимость разработанного платформенного решения для решения широкого спектра финтех-задач, в том числе с учетом временной изменчивости агрегированных профилей субъектов финансовой среды и с возможностью связывания масштабов моделирования.

Аннотация результатов, полученных в 2020 году
Целью работ этапа проекта является: а) расширение платформы многомасштабного моделирования и прогнозирования финансовых процессов новыми модулями и сервисами различных масштабов; б) разработка инструментов и технологий для коллаборативной разработки, использования, тестирования моделей платформы, в том числе в режиме публичного доступа; в) реализация экспериментальных образцов технологий поддержки принятия решений на основе метода комплексирования DDA-моделей различных масштабов. В 2020 г. разработано и скорректировано 20 модулей для задач классификации, регрессии, кластеризации, генерации объектов на данных платформы. Общее число модулей платформы многомасштабного моделирования и прогнозирования финансовых процессов составило 41. Модули 2020 г. классифицируются по применимости к различным масштабам финансовой среды и включают: 1) для микроуровня модели идентификации и восстановления компонентов динамических цифровых профилей субъектов финансовой сферы; 2) для мезоуровня – имитационные модели потребительского выбора в финансовой сфере; 3) для макроуровня – симуляторы маркетинговых стратегий. Разработан виртуальный полигон для коллаборативной разработки, тестирования, запуска и сопряжения предсказательных моделей как надстройка над платформой. Реализованные на базе технологий React, Kubernetes и JupyterHub проекты полигона формируют изолированную вычислительную область в виртуальном контейнере с возможностью доступа как к CPU, так и к GPU для расчетных задач. Функциональные возможности полигона показаны на ряде публичных сервисов, разработанных и интегрированных в полигон: сервис для рейтингования финансовых продуктов отечественных банков, сервисы для разработки стратегий «лучшего следующего действия» (Next Best Action, NBA) для клиентов и сотрудников. Платформа поддерживает разработку публичных сервисов и вне виртуального полигона, что демонстрируется веб-сервисом предиктивной аналитики социоэкономических данных и сервисом поиска потенциальных клиентов – юридических лиц в сетях контрагентов, развернутым в технологической песочнице банка – индустриального партнера. Для повышения эффективности функционирования виртуального полигона при коллаборативной работе над моделями доработана подсистема хранения данных платформы в части компонента распределенного хранения и обработки данных агрегированных профилей. Эксперименты по производительности данного компонента показали, что платформа применима для эффективного хранения и доступа к АП с различными компонентами с размером базы АП до 10 млн записей. На основе метода комплексирования моделей различных масштабов создан симулятор глобальной финансовой среды, основанный на подходе распределенных интеллектуальных систем в виде совокупности программных агентов, итеративно осуществляющих: а) выбор активности в среде; б) получение обратной связи от среды (агентов естественного и / или искусственного интеллекта); в) обновление параметров моделей реакций (рефлексия агента ИИ). На базе симулятора создан демонстратор экосистемы цифровых личностей клиентов банка (микромасштаб – клиент, мезомасштаб – сеть клиентов, макромасштаб – городская среда). В развитие логики когнитивных систем поддержки принятия решений как персональных цифровых ассистентов субъектов финансовой среды создан когнитивный интерфейс для работы с виртуальным полигоном и симулятором на основе концепции «цифровых аватаров» – интеллектуальных программных агентов, эволюционирующих в соответствии с потребностями и целями владельца. Пример когнитивного интерфейса реализован для задачи личного цифрового ассистента в выборе стратегий потребительской активности. В целом результаты демонстрируют применимость платформы для организации полного жизненного цикла работы с моделями финансовых процессов на больших массивах данных, в том числе в режиме коллаборативной разработки и доступа. На основе практического результата исследования – платформы многомасштабного моделирования и прогнозирования процессов финансовой сферы – целесообразно реализовывать следующие классы систем для реального сектора экономики: а) аналитические системы мониторинга и систем поддержки принятия решений для управления финансовыми процессами различных масштабов в интересах различных категорий стейкхолдеров (от органов власти до сетей торгово-сервисных точек и банков); б) экосистемы персональных цифровых ассистентов клиентов/сотрудников/руководителей на основе когнитивных интерфейсов к ядру платформы; в) симуляторы («аквариумы») поведения клиентов / сотрудников / контрагентов на базе моделей мезослоя Платформы, генеративных моделей агрегированных профилей и контактных сетей; г) дескриптивные и нормативные макромодели развития финансовых систем различных масштабов (от уровня города / субъекта страны до трансграничных сред); д) системы контроля качества и генеративного дизайна интеллектуальных моделей для финансовой сферы на основе адаптации методов метаобучения и композиции моделей в составе платформы в логике инкрементального обучения.