Аннотация результатов, полученных в 2018 году
Обучение с подкреплением является одним из разделов машинного обучения, в котором в явном виде присутствует взаимодействие интеллектуального агента (робота) со средой и учитывается обратная связь, возникающая при совершении действий агентом. Принятая в обучении с подкреплением постановка задачи, объединяющая приобретение знаний, планирование и применение плана, наиболее естественна в области когнитивной робототехники, где предполагается, что робот обучается в процессе взаимодействия с внешней средой. Однако, классические методы решения задачи обучения с подкреплением малоэффективны при большой размерности пространства состояний внешней среды и при отложенной обратной связи, поступающей от среды с задержкой. В этом случае применяются две модификации классических методов: приближенные подходы, в которых в качестве универсальных аппроксиматоров могут использоваться, например, глубокие нейронные сети (так называемое глубокое обучение с подкреплением) и иерархическое обучение с подкреплением, в котором допускается образование более сложных операций, мета-действий или навыков, на основе элементарных изначально доступных операций. В ходе работ по первому этапу проекта был разработан новый алгоритм иерархического обучения с подкреплением, включающий процедуру абстрагирования действий и абстрагирования состояний внешней среды в процессе обучения. Особое внимание было уделено автоматическому формированию иерархии действий. В качестве основы был использован метод абстрактных автоматов, который хорошо подходит для робототехнических задач. Для автоматического формирования иерархии было введено понятие внутренней среды, действия в которой приводят к изменению иерархии. Для определения подцелей была использована концепция «узких местах», которые являются состояниями среды, обязательными для посещения. Для определения таких подцелей была предложена новая метрика. В построенном алгоритме CHAMs используется идея функциональной кластеризации, которая предполагает, что каждая подцель должна соответствовать своему классу состояний. В CHAMs происходит одновременное определение кластеров и построение общего абстрактного автомата, который объединяет вспомогательные, необходимые для решения частных подзадач. В направлении аппроксимационных подходов на приближенных к реальным робототехническим условиям средах была продемонстрирована эффективность использования аппроксиматоров на базе глубоких нейронных сетей в комбинации с иерархическим подходом. Было показано, что существует возможность дообучения, работающая за счет того, что полученные знания о мета-действиях не зависят от конкретных условий задачи и применимы для всего класса таких задач. Было продемонстрировано, что в схожих архитектурах аппроксиматоров, используемых для обучения мета-действий нижние слои моделей могут быть объединены. Реализация этой идеи привела к созданию прототипа единого нейросетевого аппроксиматора, который позволяет определять количество необходимых мета-действий динамически и проводить обучение всем стратегиям и подстратегиям в едином цикле. В ходе работ по проекту были разработаны новые модельные среды, приближенные к реальным робототехническим задачам. Данные, используемые агентом в решаемых задачах представляют собой в первую очередь набор сенсорных данных, определяющих состояние внешней среды. В первой среде манипулятор с магнитом производит действия над металлическими кубиками, а во вторая предложенная среда предназначена для имитации движение беспилотного транспортного средства на перекрестке равнозначных дорог. Были получены результаты сравнительных экспериментов разработанных методов и подходов в предложенных средах, продемонстрировавших превосходство разработанных алгоритмов по сравнению с существующими аналогами.

Аннотация результатов, полученных в 2019 году
Обучение с подкреплением является одним из разделов машинного обучения, в котором в явном виде присутствует взаимодействие интеллектуального агента (робота) со средой и учитывается обратная связь, возникающая при совершении действий агентом. Классические методы решения задачи обучения с подкреплением малоэффективны при большой размерности пространства состояний внешней среды и при отложенной обратной связи, поступающей от среды с задержкой. В настоящем проекты мы предлагаем развивать новый метод, которые комбинирует два известных подхода по адаптации обучения с подкреплением для сложных сред. Это приближенные подходы, в которых в качестве универсальных аппроксиматоров могут использоваться различные архитектуры глубоких нейронные сети, в том числе и новые кортикоморфные, и иерархическое обучение с подкреплением, в котором допускается образование более сложных операций, мета-действий или навыков, на основе элементарных изначально доступных операций. На втором этапе проекта были продолжены работы по развитию этого метода. Были проведены работы по расширению существующих и разработанных на первом этапе проекта иерархических методов обучения с подкреплением путем добавления биологически правдоподобных методов обучения и кортикоморфных архитектур нейронных сетей. Были предложены две реализации таких моделей, которые могут выступать универсальными аппроксиматорами параметризованных функций полезности и стратегии агента. Первая модель использует понятие капсулы, являющейся расширением модели сверточного слоя глубоких нейронных сетей, в которой признаки объектов представляются не скалярными значениями, а векторами, содержащими характеристики выделяемых объектов из входных данных. Капсульные слои которые позволяют динамически формировать множество значимых признаков в задачах распознавания и классификации и показывают некоторое преимущество в задачах обучения с подкреплением, но предложенная нами реализация требует существенно больше вычислительных ресурсов для достижения необходимых результатов по сравнению с классическими подходами. Более перспективный с точки зрения производительности подход на базе иерархической временный памяти был нами реализован в задаче классификации изображения, где за передвижение фокуса внимания отвечает один из вариантов обучения с подкреплением. Иерархическая временная память предназначена для поиска и распознавания частых последовательностей во входных данных, а также для прогнозирования последующих значений входных сигналов. Способность такого аппроксиматора более эффективно обобщать пространственные признаки и выделять причинно-следственные связи показала свою эффективность, и предложенная нами модель обучения продемонстрировала возможность воспроизводить оптимальные паттерны движения. Была усовершенствована модель каузальных сетей с целью построения механизма добавления новых узлов, представляющих как обобщенные состояния среды, так и обобщенные мета-операции. Базовым элементов узлов каузальных сетей является каузальная матрица. Структура каузальной матрицы позволяет единым образом кодировать как статическую информацию и признаки объекта, так и динамические процессы. Встроенная возможность задания причин и эффектов позволяет кодировать базовое отношение, выделяемое по данным о внешней среде – причинно-следственное. Формирование иерархической структуры действий и мета-действий в результаты работы иерархических методов обучения с подкреплением позволяет автоматически формировать процедурные каузальные матрицы и таким образом пополнять узлы каузальной сети. Существовавшая ранее модель каузальных сетей была развита с целью построения механизма модификации сетей по результатам обучения с подкреплением и получила название акторная каузальная сеть. Алгоритм пополнения сети на базе модели аткор-критика состоит из двух базовых шагов: оценка действий и мета-действий (действий более высокого уровня иерархии) и улучшение стратегии. В настоящей реализации используются параметризованные функции аппроксимации, в роли которых могут выступать кортикоморфные модели. Было проведено экспериментального исследования алгоритмов обучения с подкреплением, способных работать с непрерывным множеством действий, с использованием одной из разработанных ранее или других симуляционных сред. Развитые в настоящем проекте иерархически идеи были применены в сложной задаче обучения поведения агента в среде Minecraft, где агенту ставится цель по сбору ресурсов и конструированию новых предметов. Данная среда считается одной из самых сложных для алгоритмов обучения с подкреплением, т.к. агенту поступает только визуальная информация, в среде много различных подцелей, а пространство действий является гибридным – в нем сочетаются как дискретные, таки непрерывные действия. Для повышения эффективности работы агента использовались экспертные демонстрации, которые могут быть неэффективными и зашумленными с точки зрения достижения определенных подцелей. В рамках проекта были предложены различные механизмы извлечения данных из экспертных демонстраций и организации иерархической памяти агента, которая соответствует иерархии подцелей в среде. Участники проекта предложили решение на базе разработанных в проекте методов и подходов, которое на международном соревновании MineRL заняло первое место при решение агентом комплексной задачи по добыче ресурсов в среде Minecraft. Проведение данных экспериментов призвано расширить область применения методов обучения с подкреплением, в том числе иерархических, в перспективе их использования на реальных робототехнических задачах.