Аннотация результатов, полученных в 2017 году
Проведен анализ литературных источников и патентных документов России, США, ЕС и Японии по тематике проекта, анализ показал, что существующие системы обработки изображений, функционирующие на основе обнаружения особенностей на изображениях возникающих в реальных условиях эксплуатации мобильных роботов, не во всех случаях позволяют обеспечить достижение устойчивого и эффективного обнаружения особенностей сцены. В ряде охранных документов отмечается, что к факторам, оказывающим влияние на правильность работы и приводящим к отказу систем визуальной навигации относятся потеря кадров при повороте, появление артефактов при захвате видеоизображений, малое число или полное отсутствие особенностей видеоизображения, перемещение крупногабаритных объектов в поле зрения или быстрое перемещение навигационной системы, затрудняющее слежение за характерными особенностями сцены. В свою очередь недостаточное число особенностей сцены приводит к сложностям в оценке положения и ориентации робота в случае априорно неизвестных условий наблюдения. Наибольший интерес представляют случаи, когда в процессе наблюдения возникают значительные изменения освещённости сцены. Изменение условий наблюдения из-за отличий в освещённости сцены приводит к изменению числа особенностей, выделяемых обнаружителем либо к появлению большого числа ложных срабатываний детектора. Очевидно, что качество и количество найденных ориентиров определяет эффективность функционирования системы навигации. Кроме задач навигации, обнаружение особенностей сцены является необходимым этапом для широкого спектра задач, возникающих при обработке изображений в системах технического зрения. Например, задачи, решаемые при отслеживании перемещений объектов в поле зрения телевизионной системы, также требуют устойчивого обнаружения особенностей на телевизионных изображениях. Следует отметить, что в этих работах недостаточно внимания уделено вопросам обработки изображений, подверженных воздействию возмущающих факторов внешней среды. В ходе работы в отчётном периоде был проведён сравнительный анализ современных алгоритмов обнаружения особенностей на телевизионных изображениях и дана их классификация. Выполнен анализ основных характеристик и определены основные недостатки рассмотренных обнаружителей. В результате сделан вывод, что существующие алгоритмы обнаружения особенностей на телевизионных изображениях не способны обеспечить устойчивое обнаружение особенностей при значительных изменениях условий наблюдения (освещённости сцены, направления на объект). Получена структура и основные расчетные соотношения позволяющие произвести оценку устойчивости и эффективности робастного обнаружителя (вероятность ложных тревог и правильного обнаружения) тёмных и светлых разноплановых особенностей произвольного размера. Разработан алгоритм формирования описаний обнаруженных особенностей на основе использования алгоритма выделения геометрических примитивов обнаружителем особенностей меньшей размерности. Реализована инвариантность алгоритма формирования описания особенности к повороту за счёт параллельного формирования отклика обнаружителя в различных взаимных пространственных ориентациях элементов опорной и анализируемой выборок. Выполнено имитационное моделирование разработанного модифицированного робастного обнаружителя. Моделирование подтвердило устойчивость робастного обнаружителя в условиях изменения условий наблюдения. Отклонение значения вероятности ложных тревог от заданного выбором пороговой константы значения, полученное в результате моделирования работы обнаружителя не превышает 6% для случаев с малым количеством статистических испытаний. В качестве аналога для сравнения эффективности обнаружения был использован детектор Харриса обнаруживающий угловые особенности в произвольных ориентациях. Моделирование показало, что уровень ложных тревог для детектора Харриса зависит не только от значения пороговой константы, но и от уровня среднеквадратичного отклонения и математического ожидания мощности фонового процесса. При работе в области малых значений СКО и математического ожидания фонового процесса испытания показывают, что детектор Харриса характеризуется меньшим уровнем ложных тревог, чем в робастном обнаружителе. Однако с ростом значения СКО и математического ожидания мощности фонового процесса уровень ложных тревог становится неустойчив и возрастает на несколько порядков, что превышает, значение, фиксируемое в робастном обнаружителе. Кроме этого увеличение значения пороговой константы в детекторе Харриса приводит к увеличению неустойчивости уровня ложных тревог к изменению математического ожидания. При этом зависимость вероятности ложных тревог от значения пороговой константы в детекторе Харриса имеет нелинейный характер. Устойчивость к изменению освещённости, демонстрируемая робастным обнаружителем, позволяет эффективно его использовать при изменении условий наблюдения (как для случая линейного, так и нелинейного изменения освещённости сцены) . Эффективность робастного обнаружителя превышает эффективность детектора Харриса не менее чем в 3 раза для синтетических сцен, использованных в имитационном моделировании. Имитационное моделирование показало совпадение теоретических расчётных соотношений с результатами моделирования. Проведена оценка влияния размера анализируемой и опорной выборок на эффективность обнаружения особенностей робастным обнаружителем. Выявлено, что особенности с большим числом элементов в опорной / анализируемой выборках позволяют обеспечить более высокую вероятность обнаружения при прочих равных условиях по сравнению с особенностями имеющими меньший объем опорной / анализируемой выборок. Показано, что незначительные отклонения в интенсивности элементов изображения не приводят к значительному снижению эффективности робастного обнаружителя.

Аннотация результатов, полученных в 2018 году
Анализ структуры обнаружителя показал, что непосредственная реализация полученного обнаружителя на базе ПЛИС сопряжена с необходимостью вычисления таких сложных для реализации на ПЛИС с точки зрения используемых ресурсов функций как квадратный корень, что требует большого числа ячеек ПЛИС. Предложенная адаптивная структура позволяет реализовать универсальность обнаружителя за счёт использования коммутационных связей определяющих состав элементов сигнальной и фоновой выборок. Использование детерминированной структуры робастного обнаружителя на основе ПЛИС позволяет не менять структуру обнаружителя при необходимости обнаружения особенностей со структурой отличной от текущей реализации на ПЛИС. К особенности модифицированной для реализации на ПЛИС структуры обнаружителя следует отнести его способность обнаруживать как тёмные участки на светлом фоне, так и светлые участки на тёмном фоне. Вид особенности определяется знаком разности средних значений по выборкам сигнальных и фоновых элементов. В соответствии с полученной в результате модификации структурой на базе ПЛИС был реализован робастный обнаружитель. Для создания описания обнаружителя был использован язык Verilog. В качестве аппаратной платформы была использована отладочная плата Nexys Video Artix-7 FPGA на основе ПЛИС XC7A200T-1SBG484C. Источником изображения являются камеры Sony XCD-710 с разрешением 1024x768 элементов с 1024 оттенками серого. Реализация одной ячейки для обработки ,блока из 16 элементов использует менее 0.1% макроячеек ПЛИС, таким образом реализация обработки по группе из 3 строк изображения использует порядка 30 % макроячеек ПЛИС, при этом остаётся свободным для дальнейшего использования 70% макроячеек ПЛИС Проведен анализ существующих реализаций систем навигации на основе реконструкции трёхмерных сцен, выявлено, что системы навигации испытывают сложности с оценкой местоположения носителя навигационной системы при наличии значительных изменений условий наблюдения (ориентации, освещённости) в процессе выполнения транспортных задач. При этом быстрое изменение ориентации носителя системы навигации приводит к выбору другого ракурса на идентичной сцене. Наличие переменных участков с резким изменением контраста - теней на изображении также затрудняет обнаружение особенностей на исследуемой сцене. Для получения информации о траектории перемещения на начальном этапе обработки информации в системе навигации на основе бинокулярной телевизионной системы необходимо устойчивое обнаружение особенностей на телевизионном изображении. Получены расчётные соотношения для оценки точности определения местоположения на основе данных, поступающих от бинокулярной системы технического зрения. Установлено, что не только качество и количество найденных ориентиров определяет эффективность функционирования системы навигации, накопление ошибок в процессе перемещения приводит к некорректному определению местоположения на величину накопленной ошибки. С одной стороны ошибки возникают из-за некорректных соответствий пар особенностей, с другой стороны из-за особенностей проецирования изображения сцены в бинокулярной системе видеокамер из-за конечного числа элементов изображения в матрице ПЗС возникает геометрическая неидентичность представления объекта сцены в поле зрения системы технического зрения. Установлено, что неидентичность представления снижается для объектов сцены расположенных на перпендикуляре проходящем через центр отрезка соединяющего оптические центры видеокамер. Осуществлено исследование свойств робастного обнаружителя на синтетических сценах формируемых в пакете Vue Xstream (для оценки влияния величины базы стереосистемы, фокусных расстояний видеокамер на устойчивость и эффективность робастного обнаружителя). Для оценки влияния параметров системы регистрации была создана синтетическая сцена в пакете Vue Xstream. Установлено, что полученный робастный обнаружитель эффективно функционирует при недостаточной освещённости. С увеличением интенсивности засветки эффективность обнаружения падает, однако не снижается менее чем до 35% от максимального числа обнаруженных особенностей. Неравномерное изменение освещённости приводит к ухудшению эффективности обнаружения особенностей только на том участке, на котором наблюдается значительная засветка. Разработан алгоритм оценки ориентации носителя подсистемы регистрации по трём точкам. Полученный алгоритм позволяет оценивать изменение ориентации носителя навигационной системы без использования данных от внешних систем очувствления. На основе полученных в результате реализации робастного обнаружителя на ПЛИС данных уточнены расчетные соотношения для оценки параметров робастного обнаружителя. Произведена проверка разработанного алгоритма формирования описаний обнаруженных особенностей на объектах реальных сцен. Для проверки на объектах реальных сцен была произведена проверка устойчивости и эффективности работы обнаружителя в условиях изменения освещенности. Для доказательства устойчивости работы обнаружителя в условиях неравномерности освещённости сцены проведено исследование работы обнаружителя на реальной сцене из набора изображений (PHOS dataset) в котором приведена сцена с различной экспозицией и перемещением источника освещения. В каждом наборе изображений при равномерной освещенности присутствует 9 изображений: с недостаточной выдержкой (-4..-1) с нормальной выдержкой (0) и передержанное изображение (1..4). Для данного случая в робастном обнаружителе использовалась пороговая константа, обеспечивающая вероятность ложных тревог равную 0.01. В результате обработки первого набора изображений с равномерным изменением освещённости робастным обнаружителем было выявлено, что наибольшее число найденных особенностей соответствует нормальной экспозиции. При недостаточной экспозиции число особенностей снижается, однако превышает 70% от максимального значения. При избыточной экспозиции число особенностей снижается до 35 % от максимально возможного, что однако не препятствует эффективной работе этапа вторичной обработки, например для задач навигации. Если в процессе поиска особенности на изображении присутствует априорная неопределённость в отношении статистических параметров фонового излучения и шумового процесса во времени (от кадра к кадру), то лучшей эффективностью обладают обнаружители с принятием решения на основе информации с масок большого размера. В условиях неравномерности освещённости сцены предлагаемый алгоритм обнаружения сохраняет свойство устойчивости, поддерживая вероятность ложных тревог не выше заданного уровня. При выборе размера маски должен учитывать возможный диапазоне изменений приращения математического ожидания фонового излучения и шумового процесса в пределах сцены. Очевидно, что увеличение размера маски для обнаруживаемых особенностей даёт более точную информацию о фоновом (шумовом) процессе, поскольку растёт размер опорной выборки. Но это справедливо только при априорной неопределённости в отношении статистических параметров фонового излучения и шумового процесса во времени (от кадра к кадру, но неизменны в пределах сцены). В условиях неравномерности освещённости сцены информация о фоновом (шумовом) процессе искажается. Таким образом, выбор размера маски должен учитывать возможный диапазоне изменений приращения математического ожидания фонового излучения и шумового процесса в пределах сцены. Анализ реальной сцены показал, что на сцене присутствуют значительно отличающиеся участки сцены как по освещённости и текстурам, так и объектам сцены. Использование детерминированных шаблонов для обнаружения особенностей приводит к тому, что число особенностей значительно меняется даже в пределах кадра. При этом количество обнаруженных особенностей на порядок отличается в зависимости от выбранной конфигурации выбранных элементов сигнала и фона. Избыточное количество малоинформативных особенностей приводит к повышенной нагрузке на блоки вторичной обработки для нахождения соответствий между особенностями. Для увеличения количества информативных особенностей в состав робастного обнаружителя был внедрен модуль выбора информативных особенностей на основе нейронной сети. В процессе подготовки к работе на основе известного изображения сцены нейронной сетью производится формирование редких с точки зрения повторяемости на изображении конфигураций сигнальных и фоновых элементов.