Аннотация результатов, полученных в 2017 году
Исследованы динамические теоретико-игровые модели двухуровневых систем управления с учетом условий устойчивого развития. Проведен сравнительный анализ эффективности различных механизмов управления для модели экосистемы мелководного водоема (на примере Азовского моря), где ведущий игрок - контрольный орган службы рыбного хозяйства, ведомый игрок - рыболовецкое предприятие. Проведены численные расчеты по модели с помощью имитационного моделирования по сценариям, отражающим правдоподобные гипотезы относительно возможных стратегий управления. Рассматривались информационные регламенты с обратной связью и без нее для принуждения и побуждения. Даны уточненные по сравнению с предыдущими работами определения решений игры и проведено исследование равновесий принуждения и побуждения с учетом требований устойчивого развития. Основные результаты относятся к сравнительному анализу указанных решений игр, полученных на примере численного исследования модели экосистемы мелководного водоема. Полученные результаты могут найти практическое применение при решении задач управления устойчивым развитием реальных динамических активных систем (эколого-экономических, организационных, социальных). Рассмотрено применение системного подхода к управлению устойчивым развитием региона на базе теоретико-игровых моделей и информационных технологий. Специфицированы понятие региональной активной системы и задача управления устойчивым развитием на уровне региона. Предложены иерархическая структура системы моделей в этой области и ее реализация в виде региональной информационно-аналитической системы. Исследована двухуровневая модель оптимального рыболовства в условиях параметрической неопределенности. Изучен случай двух иерархически упорядоченных субъектов управления: федеральное правительство (регулятор) и рыболовецкое предприятие (рыбак). Регулятор считается дальновидным, а рыбаки близорукими. Динамика рыбной популяции описана нелинейным разностным уравнением. Доказано, что функция значения этой задачи удовлетворяет уравнению Айзекса-Беллмана и описывает оптимальную налоговую стратегию регулятора. Решены два численных примера, соответствующих различным предположениям относительно параметров. Предложен подход к теоретико-игровому моделированию распределения ресурсов в иерархической системе "Центр - агенты", который обладает следующими особенностями: 1) явно описывается динамика ресурса в зависимости от управления Центра; 2) Центр распределяет ресурс между агентами пропорционально их действиям, что побуждает агентов к выбору более напряженного плана; 3) управление Центра не может меняться резко, что формализуется как липшицево свойство функции управления; 4) на основе предыдущей гипотезы разработан генетический алгоритм нахождения оптимальной стратегии Центра в иерархической дифференциальной игре. Концепция управления устойчивым развитием активных систем на базе иерархических теоретико-игровых моделей применена для описания информационно-аналитических систем управления в различных областях. Так, предложены проекты информационно-аналитических систем взаимодействия центрального и коммерческого банка и работы кредитного отдела банка. Создана демонстрационная версия системы на языке С# с использованием системы управления базой данных PostgreSQL и визуальным интерфейсом, реализованном с помощью HTML, CSS, JQuery. Построена иерархическая теоретико-игровая модель контроля качества поверхностных вод, учитывающая интересы субъектов управления двух уровней. Предложен алгоритм построения равновесия Штакельберга при побуждении, проведена его реализация для входных функций частного вида. Рассмотрена схема оперативного мониторинга загрязнения атмосферы, а также предложена модель системы наблюдений. Выявлена основная роль автотранспорта в загрязнении атмосферы, сделаны предположения о взаимосвязи областей разовых превышений ПДК по некоторым загрязняющим веществам с дорожной инфраструктурой и интенсивностью движения. Предложен метод качественно репрезентативных сценариев в имитационном моделировании, позволяющий одновременно организовать проведение вычислительных экспериментов и идентификацию модели. Идея метода состоит в том, что при управлении сложными (активными) системами реального мира (социальными, экономическими, организационными) можно указать очень небольшое количество значений управляющих переменных и параметров модели управления, которые ведут к качественно различным траекториям развития управляемой системы и соответственно дают достаточно полную картину. Остальные же значения управлений и параметров существенно не отличаются от одной из качественно репрезентативных траекторий. Эта идея формализована применительно к иерархической дифференциальной игре и дифференциальной игре с равноправными участниками. Метод апробирован для моделей рыболовства в мелководном водоеме и социального партнерства в системе дополнительного профессионального образования с достаточно хорошими результатами численных экспериментов. Исследованы динамические теоретико-игровые модели инновационного развития корпорации, основанные на согласовании частных и общественных интересов агентов. Основной вклад работы - сравнительный анализ эффективности методов иерархического управления для информационных регламентов Штакельберга/Гермейера при принуждении/побуждении с помощью индексов системной согласованности. Рассмотрена модель стимулирования с марковской динамикой и дисконтированным критерием в случае дискретного времени и бесконечного горизонта планирования. Динамика системы, доходы регулятора и затраты исполнителя зависят от состояния системы и действий исполнителя, но не зависят явно от времени в силу бесконечности периода рассмотрения. Показано, что ε-оптимальная стратегия основана на решении задачи оптимального управления с целевым функционалом, равным разности функций дохода ведущего и затрат ведомого, т.е. получено непосредственное обобщение соответствующего результата для статической модели стимулирования. При этом в доказательстве явно не используется построение механизма поощрения-наказания. Теорема первоначально доказана для полунепрерывных сверху стратегий регулятора и затем распространена на универсально измеримые стратегии. Рассмотрена задача предсказания индивидуальных последовательностей в режиме онлайн. Цель предсказания состоит в том, чтобы суммарная ошибка L_n после n шагов была как можно ближе к суммарной ошибке E_n лучшего эксперта из заданного конечного класса. Из теории динамического обучения (online learning) хорошо известно, что в типичной ситуации суммарное сожаление R_n=L_n-E_n удовлетворяет оценке R_n≤C√n . Предлагаемый поход основан на представлении задачи в форме последовательности игр предсказания и формальном предельном переходе при n→∞. Данный предельный переход приводит к нелинейному параболическому уравнению типа Айзекса–Беллмана. Его гладкие суперрешения специального вида соответствуют известным в теории динамического обучения потенциальным функциям в смысле Cesa-Bianci, Lugosi (2003) и порождают алгоритмы взвешивания экспертных решений. Традиционная верхняя оценка наибольшего сожаления выводится с помощью стандартного в теории оптимального управления метода верификации. Опубликованы четыре статьи в журналах из списка WoS/Scopus и дополнительно пять статей в изданиях, индексируемых в РИНЦ, защищены 23 магистерские диссертации по направлению подготовки "Прикладная математика и информатика". Результаты представлены на четырех конференциях.

Аннотация результатов, полученных в 2018 году
Изучена оригинальная модель продвижения инноваций в организациях, в которой предусмотрена возможность использования двух информационных регламентов, соответствующих дифференциальным играм Гермейера с обратной связью по управлению и без нее. Численно реализованы алгоритмы построения равновесий, что позволяет выбрать информационный регламент и метод иерархического управления, которые обеспечивают максимальный экономический эффект от внедрения инноваций для всех субъектов и лучшую системную согласованность Рассмотрена динамическая задача стимулирования для нескольких ведомых, вовлеченных в марковскую игру с конечным пространством состояний и конечными множествами действий. Показано, что ε-оптимальная стратегия лидера определяется задачей стохастического оптимального управления, в которой требуется максимизировать разность между доходами лидера и суммарными затратами ведомых. Решив эту задачу, лидер должен сообщить каждому ведомому оптимальный план и покрыть его расходы со стимулирующей надбавкой порядка ε (при условии, что ведомый следует указанному плану). Данный результат обобщает близкий результат авторов для случая одного ведомого и известные результаты статической теории организационных систем. В рамках простой модели управления запасами рассмотрен пример, в котором менеджер компании (лидер) размещает заказы на производство компонент сложного товара у нескольких поставщиков (ведомых). Рассмотрена игра между лидером и ведомым, в которой действия игроков влияют на стохастическую динамику процесса состояний x_t,t∈Z_+. Игроки наблюдают свои выигрыши и состояние x_t системы. Переходное ядро процесса x_t и функции доходов оппонента им неизвестны. На каждом шаге игры лидер выбирает действие〖 a〗_t первым. При выборе действия b_t ведомому известно a_t. Действия ведомого лидеру неизвестны (неинформированный лидер). Каждый из игроков стремится максимизировать дисконтированный критерий, применяя алгоритм Q-обучения. Рандомизированные стратегии игроков определяются распределениями Больцмана, зависящими от Q-функций лидера и ведомого, обновляемых в процессе обучения. Особенность рассматриваемого алгоритма состоит в том, что при обновлении своей Q-функции ведомый считает, что действие лидера в следующем состоянии будет таким же, как в текущем (наивный ведомый). Показано, что для сходимости алгоритма достаточно существования детерминированных стационарных стратегий, порождающих неразложимую марковскую цепь. Предельное поведение Q-функций игроков при больших значениях времени описано в терминах управляемых марковских процессов. Распределения действий игроков сходятся к распределениям Больцмана, зависящим от предельных Q-функций. Рассмотрена модель, в которой менеджер распределяет фиксированный капитал между N рациональными агентами с целью максимизации суммарного объема производства. Прибыль i-го агента равна разности между вознаграждением, полученным от менеджера и производственными затратами. Проведено сравнение (i) нормативной схемы компенсации, в которой менеджер экономически принуждает агентов следовать оптимальной кооперативной стратегии; (ii) линейной сдельной схемы компенсации, в которой менеджер определяет оптимальное вознаграждение за единицу произведенного товара; (iii) пропорциональной схемы компенсации, в которой вознаграждение агента пропорционально его вкладу в общее производство. Пусть соответствующие уровни производства равны s^*,s ̂ и s ̅ соответственно, где последний соответствует единственному равновесию Нэша. Исследованы пределы цен анархии A_N=s^*/¯s,A_N^'=¯s/¯s при N→∞. Эти пределы вычислены для случаев одинаковых выпуклых функций затрат со степенной асимптотикой в нуле и для степенных функций затрат, соответствующих производственным функциям Кобба-Дугласа и обобщенным CES-функциям. Полученные результаты показывают, что асимптотически потери эффективности отсутствуют в терминах A_N^' и не превышают 31% в терминах A_N. Исследован алгоритм обучения в обратной игре Штакельберга при отсутствии информации об издержках агентов в задаче стимулирования. Разработан алгоритм вычисления вероятности выхода за барьер субординированного геометрического броуновского движения. Для динамической обратной задачи Штакельберга предложен алгоритм вычисления равновесия, использующий эволюционное моделирование, для динамической обратной задачи Штакельберга предложен алгоритм вычисления кусочно-постоянной аппроксимации равновесной стратегии лидера с дихотомическим разбиением интервалов. Предложен линейный прогноз в бинарной модели Кокса-Росса-Рубинштейна с шумом и определен фильтр Калмана для прогноза в модели стохастической волатильности. Рассмотрена задача динамического распределения ресурса. Рассмотрены три варианта постановки задачи. Сопоставляется динамическое программирование с генетическим алгоритмом. Предложена междисциплинарная методология исследования социального партнерства на примере дополнительного профессионального образования. Использование математического аппарата дифференциальных игр позволяет провести количественный сравнительный анализ эффективности различных способов организации социального партнерства (изоляция, иерархия, кооперация), учесть необходимость согласования частных и общественных интересов. Описаны методика идентификации математических моделей с использованием реальных данных социологических опросов и сценарный подход к решению дифференциальных игр на базе компьютерной имитации. Найдено аналитическое решение задачи стимулирования сбора и переработки пластиковых отходов для случаев трехуровневой системы управления государство - предприятия - население и нескольких агентов в двухуровневой системе государство - предприятия. Модель представляет собой иерархическую игру, для решения которой использована двухэтапная процедура оптимизации. Особое внимание уделено идентификации модели на реальных данных, доступных в Интернете. При решении задачи поиска оптимального уровня вторичной переработки пластиковой тары выявлено, что распределение финансовой нагрузки позволяет значительно увеличить объем переработки, а налоговые льготы являются действенным механизмом управления. При увеличении объемов субсидирования значительно возрастает объем перерабатываемого пластика, что позволяет участникам системы достигать больших выигрышей. Дана интерпретация известных моделей влияния и управления на сетях применительно к маркетингу. Анализируемая социальная сеть трактуется как целевая аудитория некоторой фирмы, действующей как субъект управления. Мнение агента (представителя целевой аудитории) отражает сумму денег, которую агент готов потратить на покупку товаров или услуг данной фирмы. Фирма заинтересована в максимизации этой величины на рассматриваемом отрезке времени посредством маркетинговых воздействий на целевую аудиторию при ограничениях на маркетинговый бюджет, что порождает задачу оптимального управления. На этапе анализа в составе целевой аудитории выделяются сильные подгруппы и спутники. Поскольку финальные мнения всех агентов зависят только от начальных мнений членов сильных подгрупп, то маркетинговые воздействия следует оказывать на них и только на них, что существенно снижает расходы на управление. Для решения задачи прогноза разработан оригинальный алгоритм, реализованный на языке программирования R. Другие поставленные задачи могут быть решены стандартными средствами этого языка, что проиллюстрировано на тестовом примере вместе с результатами авторского алгоритма.

Аннотация результатов, полученных в 2019 году
Описана методика исследования задачи управления устойчивым развитием активных систем, включающая следующие этапы. 1. Построить дифференциальную игру активных агентов в нормальной форме. Найти множество равновесий Нэша в этой игре как условие согласования интересов агентов. Найти множество управлений агентов, обеспечивающих выполнение условия гомеостаза, исследовать зависимость найденных множеств от параметров модели. Проверить выполнение условия разрешимости задачи управления устойчивым развитием активной системы, т.е. наличие непустого пересечения найденных множеств. 2. Ввести суммарный функционал выигрыша и найти множество кооперативных решений, исследовать его зависимость от параметров модели. Вычислить индекс системной согласованности, провести сравнительный анализ независимого и кооперативного поведения агентов. 3. Добавить Центр и получить иерархическую дифференциальную игру в нормальной форме с учётом требования гомеостаза. Выяснить условия разрешимости задачи управления устойчивым развитием в данной постановке. 4. Построить и проанализировать дифференциальные игры в форме характеристической функции на основе дифференциальных игр в нормальной форме и иерархические дифференциальные игры в форме характеристической функции на основе иерархической дифференциальной игры. Здесь согласование интересов формализуется как принцип распределения выигрыша максимальной коалиции между всеми агентами. Выяснить условия динамической устойчивости решения и при необходимости провести процедуру распределения дележа по Л.А. Петросяну. Предложена теоретико-игровая модель внедрения инноваций в организациях. В ней использованы два информационных регламента, соответствующие прямым и обратным играм Штакельберга. Реализация предложенных алгоритмов построения равновесий проведена численно путём имитационных экспериментов методом качественно репрезентативных сценариев. Сделан вывод о том, что для внедрения инноваций целесообразна иерархическая организация системы управления. Рассмотрена система управления устойчивым развитием для мелководного водоёма с учётом пространственной неоднородности вдоль одного направления, представленная двухуровневой теоретико-игровой моделью. Указаны алгоритмы построения равновесий в прямой и обратной играх Штакельберга. При численной реализации предложенных алгоритмов использован метод качественно репрезентативных сценариев имитационного моделирования. Исследована игра между лидером и ведомым, в которой действия игроков влияют на стохастическую динамику процесса состояний. Игроки наблюдают свои выигрыши и состояние системы. Переходное ядро процесса и функции доходов оппонента им неизвестны. На каждом шаге игры лидер выбирает действие первым. При выборе действия ведомому известно действие лидера. Действия ведомого лидеру неизвестны. Каждый из игроков стремится максимизировать дисконтированный критерий, применяя алгоритм Q-обучения. Рандомизированные стратегии игроков определяются распределениями Больцмана, зависящими от Q-функций, обновляемых в процессе обучения. Особенность рассматриваемого алгоритма состоит в том, что при обновлении своей Q-функции ведомый считает, что действие лидера в следующем состоянии будет таким же, как в текущем (наивный ведомый). Показано, что для сходимости алгоритма достаточно существования детерминированных стационарных стратегий, порождающих неразложимую марковскую цепь. Распределения действий игроков сходятся к распределениям Больцмана, зависящим от предельных Q-функций. Сформулированы простые условия, гарантирующие выполнение условий Роббинса-Монро для алгоритма Q-обучения с локальной скоростью обучения, зависящей от числа посещений конкретного состояния (локальное время) и номера итерации (глобальное время). Предполагается, что управляемый марковский процесс является неразложимым и используемая стратегия обеспечивает стойкое изучение (persistent exploration). Ограничения накладываются на функциональную зависимость скорости обучения от локального и глобального времени. Изучена задача максимизации прибыли большой корпорации путём распределения имеющихся фондов между производителями (ведомыми). Поставленная задача формализована как стохастическая обратная игра Штакельберга с дискретным временем и бесконечным горизонтом, в которой прибыли менеджера и каждого производителя определяются дисконтированным критерием качества. Установлено, что для реализации ε-оптимального стимулирующего механизма лидер должен решить задачу стохастического оптимального управления, в которой требуется максимизировать разность между доходом корпорации и суммарными затратами производителей, сообщить оптимальную стратегию каждому производителю и покрыть его расходы со стимулирующей надбавкой ε. Рассмотрена задача о распределении ресурсов в сетях связи с большим числом пользователей, которая состоит в определении механизма назначения цен на скорости передачи данных с целью стимулирования оптимального использования имеющихся ресурсов. Критерием оптимальности является сумма полезностей всех пользователей. В отличие от обычного подхода, предложенный алгоритм не использует информацию о суммарном трафике на каждом соединении. Его входными данными являются общее число пользователей N, пропускные способности соединений и оптимальные близорукие реакции случайно выбранных пользователей на текущие цены. Динамическая схема назначения цен основана на двойственном стохастическом методе проекции градиента. Для специального класса функций полезности получены верхние оценки для невязок в ограничениях и отклонения целевой функции от оптимального значения. Эти оценки равномерны по N и имеют порядок O(T^(-1\/4) ) по числу T реакций пользователей. Изучен широкий класс задач оптимального управления стохастическими динамическими системами с разладкой. Качество управления определяется функционалом, задаваемом на конце интервала управления. Разладка динамической системы наступает в случайный момент остановки относительно фиксированной фильтрации. Получен результат, базирующийся на представлении мартингала, позволяющий вычислять оптимальное управление. Научная новизна заключается в рассмотрении в задачах оптимального управления процессов с разладкой, которые образуют подкласс процессов с непрерывными траекториями. Результаты применимы в задачах управления с неопределённым описанием динамики объекта управления. Решена задача вычисления вероятности невыхода случайного процесса из полосы на заданном временном интервале. Получен эффективный метод вычисления вероятности, в котором ключевыми моментами выступают случайное разбиение интервала, использование факторизации Винера-Хопфа и применение метода Монте-Карло. Кроме этого, исследовалась возможность использования преобразования Гирсанова для упрощения имитации траектории. Получена более высокая точность вычислений по сравнению со стандартным методом Монте-Карло. Результаты применимы в задачах, связанных с проблемой гомеостаза, условия которого формулируются в стохастических терминах. Решена задача вычисления равновесия в игре Штакельберга, моделирующей распределение ресурсов в иерархической системе управления. Эта игра сведена к задаче бесконечномерной оптимизации, для которой подбиралась её конечномерная аппроксимация. Получены условия трансформации игры Штакельберга в задачу конечномерной оптимизации на примере задачи распределения ресурса. Исследованы генетический алгоритм, алгоритм имитации отжига и метод половинного разбиения временного интервала со случайным выбором. Предложен алгоритм, сочетающий имитацию отжига с обучением с подкреплением, и алгоритм половинного деления, сочетающий аппроксимацию решения в вейвлет-базисе со случайным выбором очередного интервала дробления. Решена задача квантильного хеджирования. Её основная сложность заключается в неполноте данного рынка, что потребовало дополнительных усилий для вычисления экстремальной мартингальной меры. Основная новизна – метод вычисления оптимального управления рисковым активом. Критерием оптимальности в задаче управления служит риск в смысле Марковица. Развит авторский подход к решению задач управления мнениями в социальных сетях применительно к маркетингу. Анализируемая социальная сеть трактуется как целевая аудитория некоторой фирмы (или нескольких конкурирующих фирм), действующей как субъект управления. Мнение агента (представителя целевой аудитории) отражает сумму денег, которую агент готов потратить на покупку товаров или услуг данной фирмы. Фирма заинтересована в максимизации этой величины на рассматриваемом отрезке времени посредством маркетинговых воздействий на целевую аудиторию при ограничениях на маркетинговый бюджет, что в совокупности и порождает задачу оптимального управления (или теоретико-игровую задачу). На этапе анализа в составе целевой аудитории выделяются сильные подгруппы и спутники. Целесообразна также дополнительная количественная характеристика членов сильных подгрупп с помощью различных мер влияния вершин графа. Поскольку финальные мнения всех агентов зависят только от начальных мнений членов сильных подгрупп, то маркетинговые воздействия следует оказывать на них и только на них, что существенно снизит расходы на управление.