Аннотация результатов, полученных в 2021 году
Проведен анализ литературных источников, выполнена систематизация информации и классификация методов интеллектуального анализа данных при обработке цифровых многомерных сигналов применительно к задаче коллаборативной робототехники. Сравнительный анализ методов распознавания изображений показал, что в настоящее время не реализованы помехоустойчивые, пригодные для практического использования методы распознавания действий в видеопотоке вне коммерческих коллаборативных робототехнических комплексов. Современные методы должны удовлетворять следующим требованиям: инвариантность к проективным преобразованиям объекта и выполняемым действиям; вычислительная сложность должна быть минимально достижимой для применения решения задач в режиме реального времени. Кроме того, системы управления робототехническими комплексами на основе жестовых команд демонстрируют ограниченность в условиях наличия посторонних объектов в зоне наблюдения, слабом освещении, быстром выполнении жестовых команд. В рамках решения задачи построения метода комплексирования данных сенсоров видимого диапазона света с данными, полученными с датчиков различной физической природы, использован поход, основанный на получении новой модели многоспектрального сигнала в пространстве гиперкомплексных чисел (кватернионы и октонионы). В случае представления цветного изображения каждый из трех мнимых слагаемых заменяется каналом цвета (спектральным каналом). Использована мультипликативная специфика конечномерных гиперкомплексных алгебр при умножении элементов при представлении преобразований 3-D пространства кватернионными вращениями. Для объединения информации предложен метод для слияния разнородных данных, основанный на глубинной нейронной сети, которая состоит из трех частей: кодировщик, слияние и декодер. В качестве стратегии адаптивного объединения используется новый алгоритм объединения изображений видеопоследовательности видимого спектра и карт глубины на основе параметризованной модели логарифмической обработки изображений. Разработаны методы оценки качества видеоданных с использованием нейронных сетей глубокого обучения применительно к задаче взаимодействия робототехнических систем с человеком в условиях ухудшения визуального качества и потере участков изображений. Входом метрики визуального качества служит динамическое изображение, трехмерный массив элементов растра, расположенных в узлах сетки кадров видеопоследовательности соответственно. Функция вычисления дескриптора представляет собой отображение из пространства блоков видеопоследовательности в признаковое пространство. Вычисление дескриптора производится таким образом, чтобы «похожим» блокам видеопоследовательности соответствовали близкие, в смысле эвклидова расстояния, точки признакового пространства. В качестве функции потерь в предложенном методе используется одиночная дивергенция между совместной вероятностью пространстве дескрипторов и совместной вероятностью в пространстве низкой размерности. Минимизация функции потерь производится методом градиентного спуска с учетом момента первого порядка. Для решения задачи повышения контраста и детализации видеоданных при плохих условиях освещения предлагается метод объединении локальной и глобальной обработки в частотной области. Предлагается использовать метод усиления и модификации частот в спектральной области на каждом непересекающемся блоке в скользящем окне с разными размерами. Данный подход заключается в поиске похожих блоков с различными масштабами и дальнейшим нелинейным изменением коэффициентов Фурье в пространстве 3D. Комбинирование полученных изображений осуществляется на основе выбора весов с помощью глубинного обучения. Разработан метод первичной обработки видеоданных с различных сенсоров с использованием нейронных сетей глубокого обучения для решения задачи реконструкции и восстановления искаженных данных. Подход основан на модифицированном алгоритме поиска похожих блоков, использующем концепцию кватернионов. Предлагаемый метод позволяет корректно восстанавливать границы объектов на изображении карты глубины при восстановлении трехмерных сцен, что способствует повышению точности планирования траектории движения исполнительных механизмов робототехнических и мехатронных систем. Высокая эффективность предложенного метода обусловлена использованием концепции кватернионов для вычисления функции приоритета, а также применением предварительно обученной нейронной сети для формирования наиболее похожего блока. Данный метод восстановления трехмерных сцен может быть использован как для реконструкции RGB-изображений, так и карты глубины. Разработана математическая модель оптических свойств объектов с неламбертовыми поверхностями. С целью моделирования сложных оптических свойств поверхностей сцены входное изображение рассматривается как сумма ламбертовой и зеркальной составляющих. Для этого вводится уравнение собственного разложения, основанное на уравнении рендеринга, в котором каждый пиксель входного изображения представляется как интеграл произведения функций падающего освещения и отражательной способности поверхности. В общем случае отражательная способность поверхности является четырехмерной функцией, определяемой как двунаправленная функция распределения отражательной способности (BRDF). При моделировании оптических свойств поверхностей используется u-net подобная сеть для получения дескрипторного описания, адекватно моделирующая оптические свойства сканируемой поверхности. Разработаны методы и алгоритмы реконструкции видеоданных с целью поиска и восстановления утраченных областей пикселей, полученных системами технического зрения в робототехнических системах. Для реконструкции пикселей используется полносверточная сеть кодер-декодер обучения по прецедентам. Задача реконструкции изображений рассматривается как задача регрессии, которая осуществляет с помощью трехмерной сверточной нейронной сети, имеющей две части: кодирующую и декодирующую. Для решения задачи реконструкции изображений предлагается использовать полносверночную глубокую нейронную сеть U-образной формы с прямыми связями. Для построения 3-D сцены предлагается осуществлять выбор точки фиксации кадра, с минимизацией количества утраченных элементов, с использованием нейросетевого алгоритма определения следующего лучшего вида, учитывающего оптические свойства поверхности на основе анализа изображения. С целью моделирования сложных оптических свойств поверхностей сцены входное изображение рассматривается как сумма ламбертовой и зеркальной составляющих. Разработаны алгоритмы получения трехмерных моделей объектов на основе методов глубинного обучения. Предлагаемый метод трехмерного сканирования сцены с неламбертовыми эффектами освещения позволяет получать трехмерные модели сцены в виде облака точек. Информационный ресурс в сети Интернет, посвященный выполняемому проекту размещен по адресу https://sites.google.com/view/viacheslav-voronin/my-projects/%D1%80%D0%BD%D1%84?authuser=4

Аннотация результатов, полученных в 2022 году
Разработан метод разделения полученного объединённого видео контента на наборы статических, динамических текстур и фона, с целью поиска и идентификации объектов и человека по анализу динамической составляющей видеопотока на основе теории графов и глубинного обучения. Для реализации поиска границ и базовых точек разработан метод, основанный на последовательном анализе каждого из изображений сцены и построения объединённой границы для каждого из объектов. На основе разработанных на первом этапе методов и алгоритмов реконструкции видеоданных с целью поиска и восстановления утраченных областей пикселей решена задача разработки метода, использующего принципы дополненной реальности для идентификации объектов, находящихся в зоне непрямой видимости. Для реконструкции пикселей используется полносверточная сеть кодер-декодер обучения по прецедентам. Задача реконструкции изображений рассматривается как задача регрессии, которая осуществляться с помощью трехмерной сверточной нейронной сети, имеющей две части: кодирующую и декодирующую. Для решения задачи реконструкции используется полносверночная глубокая нейронная сеть U-образной формы с прямыми связями. Метод классификации объектов, находящихся в кадре, основан на комбинации линейной машины опорных векторов и сверточных нейронных сетей. Разработан алгоритм для привязки систем координат CAD модели и трёхмерных структур заготовки, в том числе с неламбертовыми поверхностями, который основан на техническом зрении и глубинном обучении. Основной функцией данного подхода является адаптация процесса для всех обрабатываемых элементов деталей, то есть принятие решения о необходимости доработки по результатам анализа размеров 3D CAD модели изделия и определения конфигурации робототехнической ячейки. Разработана математическая модель системы сканер-объект для получения трехмерных моделей объектов с неламбертовыми поверхностями, включая критерии построения оптимальной траектории сканирующей системы на основе анализа оптических свойств поверхности сканируемого объекта. Разработан алгоритм определения и восстановления ошибок, возникающих при построении трёхмерных моделей на основе нейронной сети для получения трехмерной модели объектов с неламбертовыми поверхностями. Разработаны критерии построения оптимальной траектории сканирующей системы на основе анализа оптических свойств поверхности сканируемого объекта. Для распознавания типов действий с целью планирования реакции многоцелевых робототехнических систем при взаимодействии с человеком разработан метод, основанный на глубинном обучении. Частотный спектр после фильтрации ядрами Габора в области 3D, вычисленный для видеопоследовательности эффективно описывает как сцену, так и информацию о движении. Применение текстурного дескриптора плотной разности микроблоков в трехмерном пространстве позволяет сохранить временные характеристики и обеспечит более информативное описание сцены и действий. Предлагается объединение изображений видеопоследовательности видимого спектра и карт глубины на основе параметризованной модели логарифмической обработки изображений (ЛОИ), которая заменяет линейную арифметику (сложение, вычитание и умножение), что более точно характеризует нелинейность компьютерной арифметики изображений. Модель ЛОИ удовлетворяет закону Вебера, а именно: интенсивность ощущения чего-либо прямо пропорциональна логарифму интенсивности раздражителя, и характеристикам насыщенности зрительной системы человека. Метод построения биомеханической трехмерной модели скелета человека для распознавания действий в коллаборативных многоцелевых робототехнических системах основан на рекуррентной нейронной сети с построением карты внимания, что позволяет объединять промежуточные представления функций для изучения контекстной информации и улучшения окончательных прогнозов тепловой карты. Основная цель представленной нейронной сети – предсказание ключевых (суставных) точек скелета человека. Моделирование тепловых карт ключевых точек и частей тела позволяет получить дополнительную информацию и помогает определить ограничения тела. Обучение представленной сети будет выполнено с использованием обратного распространения ошибки и стохастического градиентного спуска. На основе разработанной нейронной сети сгенерирован скелет человеческого тела с 16 ключевыми точками суставов (правая щиколотка, правое колено, правое бедро, левое бедро, левое колено левая щиколотка, торс, шея, подбородок, макушка головы, правое запястье, правый локоть, правое плечо, левое запястье, левый локоть, левое плечо). Для каждого кадра видеопоследовательности строится скелет человека и выделяются координаты особых точек. Для анализа позы и распознавания действий человека использован набор геометрических признаков, который информативно описывает расстояния между суставами тела человека. Геометрические признаки позы человеческого тела содержат информацию о расстоянии между определенными суставами, которая может характеризовать особенности представленной позы. На заключительном этапе дескрипторы подаются в классификатор для выполнения категоризации действий, выполняемых на видеопоследовательности. Данный этап можно характеризовать двумя подходами: объединение скелетного дескриптора и плотной разности микроблоков в единый вектор и его классификация, или классификация каждого из дескрипторов по отдельности с последующем объединением результатов, с присвоением весов каждому из них. Предлагается последовательно объединять дескрипторы в единый вектор признаков и произвести классификацию итогового дескриптора. Для классификации итогового дескриптора использована нейронная сеть. По результатам проводимых научных исследований создан научно-технический задел в области цифровой обработки изображений и построения алгоритмов реализации методов обработки в системах автоматизированного управления и технического зрения, являющиеся неотъемлемыми элементами разрабатываемого комплекса. Разработка алгоритмов выявления особенностей поведения человека позволяет создать научно-технический задел для широкого круга практического применения, а также программные модули, которые могут быть использованы в медицине, строительстве, робототехнике, системах безопасности, социальных программах и др. Информационный ресурс в сети Интернет, посвященный выполняемому проекту размещен по адресу https://sites.google.com/view/viacheslav-voronin/my-projects/%D1%80%D0%BD%D1%84?authuser=4