Совершенствование фундаментальных основ локализации и распознавания активностей человека без нательных датчиков с использованием динамической информации о состоянии канала связи

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 24-21-00360

НазваниеСовершенствование фундаментальных основ локализации и распознавания активностей человека без нательных датчиков с использованием динамической информации о состоянии канала связи

Руководитель Астафьев Александр Владимирович, Кандидат технических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых" , Владимирская обл

Конкурс №89 - Конкурс 2023 года «Проведение фундаментальных научных исследований и поисковых научных исследований малыми отдельными научными группами»

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-727 - Специализированные системы обработки и анализа изображений и сигналов

Ключевые слова Локализация внутри помещений, Позиционирование внутри помещений, распознавание активности, WiFi, информация о состоянии канала связи, AutoML

Код ГРНТИ20.53.19

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
В настоящее время всё большее количество приложений и устройств используют информацию о местоположении человека. Согласно последнему обзору современных алгоритмов локализации внутри помещений к решаемым практическим задачам можно отнести контроль за состоянием здоровья, безопасность человека в чрезвычайных ситуациях и на опасных территориях и анализ поведения потребителей. Для решения приведенных практических задач необходимо использовать высокоточные алгоритмы локализации человека на наблюдаемой территории в реальном времени. Алгоритмы локализации, в свою очередь, можно разделить на две большие группы: алгоритмы локализации внутри помещений и на открытом пространстве. Для локализации человека в открытом пространстве в основном используются датчики глобальных систем навигации, таких как GPS, GLONASS, Chinese BeiDou и прочие. Такие подходы используются в навигаторах, системах оказании помощи на дорогах и т.д. Однако, применение подходов, основанных на работе с глобальными системами навигации для решения задачи локализации внутри помещений значительно осложняется наличием ослабления мощности за чёт большого количества физических преград, наличием эффекта многолучевого распространения и задержкой передачи сигнала. Исходя из этого, для реализации алгоритмов позиционирования внутри помещений необходимо использовать технологии, позволяющие достичь высокой точности, стабильности и скорости работы. В рамках проекта предлагается проведение исследований в направлении использования информации о состоянии канала связи для совершенствования фундаментальных основ локализации и распознавания активностей человека без нательных датчиков. Разработка лабораторного стенда, позволяющего извлекать информацию о состоянии канала связи с девяти пар антенн при ширине канала связи в 40 МГц, что позволит получать 2 052 анализируемых параметра. Совершенствование существующих подходов к построению радиокарт помещений с использованием концепции цифрового отпечатка за счет использования автоэнкодеров. Построение модели изменения динамической информации о состоянии канала связи в зависимости от среды распространения сигнала и наличия людей на наблюдаемой территории. Исследование моделей нейронных сетей с учителем, включая подходы AutoML для автоматизации процесса обучения. Достижение поставленных целей потенциально позволит превзойти современный уровень мировых научных исследований и разработать новые алгоритмы для построения сложных технических систем.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Аннотация результатов, полученных в 2024 году
В ходе первого года работы над проектом были проведены следующие работы: Была выполнена модернизация лабораторного стенда. На начало года, основными компонентами стенда являлись маршрутизаторы TP-Link WDR4300. Из большого количества маршрутизаторов, использующих чипы Atheros коллективу удалось создать стенд для передачи информации по 9 парам антенн и по 56 подортогональным поднесущим только на базе маршрутизатора TP-Link WDR4300. Коллективом успешно проведены испытания по извлечению канальных матриц с использованием микроконтроллеров на базе ESP32. Успешно проведены настройки чипов в роли принимающего маршрутизатора и в роли передающего. Более того, адресация чипов на конкретный MAC-адрес, позволяет передавать на принимающий маршрутизатор информацию с произвольного количества передающих. Изменение состава лабораторного стенда потребовало пересмотра всего программного обеспечения для извлечения канальных матриц. С целью перехода на анализ динамической информации о состоянии канала связи, были проведены эксперименты по распознаванию человеческой активности. Идея заключается в том, что человеческая активность – это процесс и анализировать его необходимо в динамике. Таким образом, на вход алгоритма распознавания необходимо передавать не единичный пакет, а последовательность. Был проведен эксперимент по сбору информации о наличии и отсутствии руки между передающим и принимающим маршрутизаторами, а также её движении (вход в зону, выход и тряска). Набор данных составил более 5000 пакетов. Для сбалансированности набора данных было использовано по 700 пакетов в классе. Результирующее количество классов составило 5. Другой эксперимент исследованы такие активности как положение стоя, положение лёжа, положение сидя, ходьба на месте и бег на месте. Итоговое количество классов составило 5. В процессе эксперимента было собрано более 20000 пакетов, однако, для обеспечения сбалансированности выборки было использовано по 2500 пакетов в каждом классе. Для реализации алгоритма распознавания были использованы следующие подходы: LSTM, 1D-CNN, 1D-LSTM и BLSTM. Выбор предложенных моделей обосновывается тем, что все эти подходы используются на практике для обработки больших последовательностей данных, таких как видеопотоки и естественный язык. В первом эксперименте самой точной моделью, по результатам исследований, стала модель LSTM со значением точности в 90,6%. При чем, точность распознавания всех классов кроме бега приближалась к 100%. Во втором эксперименте самой точной моделью, по результатам исследований, стала модель BLSTM со значением точности в 86,26%. При чем, точность всех проведенных испытаний не на много, но выше конкурентов. Результаты проведенных экспериментов показали возможность реализации алгоритмов распознавания человеческих активностей с использованием информации о состоянии канала связи. В настоящее время поставлена цель на создание прототипа системы для работы в реальном времени. Для этого необходимо модернизировать алгоритмы таким образом, чтобы они анализировали текущие показания оборудования рекуррентно, т.е. «окном». Для этого собраны дополнительные наборы данных, включающие в себя различные движения нескольких испытуемых. Комбинация начал отсутствия движения, входа в зону контроля, самих движений и выхода из зоны контроля позволит спроектировать алгоритмы, работающие в реальном масштабе времени. Сейчас предложена модель свёрточной нейронной сети, получающей на вход набор пакетов информации о состоянии канала связи для классификации активностей. Предварительные результаты показывают точность в распознавания 75-80%. В настоящее время ведутся дополнительные исследования. Этот эксперимент вскрыл еще одну проблему – наличие класса отсутствия движения. Этот класс, хоть и детектируется методами искусственного интеллекта, но всё же снижает общую точность алгоритмов. В связи с этим инициировано еще одно исследование – предварительное детектирования факта отсутствия движения для того, чтобы классифицировать только те данные, которые действительно содержат полезную информацию. Предварительные исследования показали, что комбинация медианного фильтра, фильтра Калмана и фильтра Баттерворта, совместно с применением метода главных компонент и алгоритмов поиска локальных максимумов позволяет с высокой точность детектировать отсутствие движения в получаемом сигнале. Результаты, полученные коллективом в области локализации человека в пространстве, показали высокую точность позиционирования при использовании статической информации о состоянии канала связи. Однако, при реализации систем локализации реального времени, точность локализации падает, за счет наличия большого количества выбросов. При чем, выражается это и при использовании датчиков, так и без них. В связи с этим, в проекте ведутся исследования по совершенствованию алгоритмов локализации с использованием динамической информации о состоянии канала связи. Для сбора данных были проведены измерения на 15 квадратах со сторонами 50 см. Измерения были проведены на мужчине и женщине ростом 180 см и 163 см соответственно. Общее количество значений CSI для измерений с мужчиной составило 45 364 480 значений, а для измерений с женщиной – 47 745 152 значения. В результате проведенного эксперимента была выявлена точность предложенного метода в диапазоне от 96,15% до 99,37% для обучающей выборки и в диапазоне от 87,34% до 94,01% для тестовой выборки. Наихудший показатель точности на тестовом наборе был в экспериментах, обучающем и тестовом наборах, которые составляли 8000 и 2000 пакетов соответственно, а именно 91,42%. А лучший показатель тестовой выборки был в экспериментах, обучающей и тестовой выборках, которые составили 8500 и 2500 пакетов соответственно, а именно 92,79%. Из этого можно сделать вывод, что большее количество пакетов, загружаемых для обучения модели нейронной сети, дает более точные результаты для определения местоположения человека в помещении.

Публикации

1. Астафьев А.В., Ерофеев А.Р., Карпычева Л.И. Device-Free Indoor Localization of a Person Based on Channel State Information 2024 International Conference on Industrial Engineering, Applications and Manufacturing (ICIEAM), Astafiev A., Erofeev A., Karpycheva, L. “Device-Free Indoor Localization of a Person Based on Channel State Information”, Proceedings - 2024 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2024, 2024, pp. 922–926. (год публикации - 2024)
10.1109/ICIEAM60818.2024.10553778

2. Астафьев А.В., Привезенцев Д.Г., Ерофеев А.Р., Карпычева Л.И., Белякова А.С. A Novel Approach to Device-based Indoor Positioning Using Channel State Information 2024 Dynamics of Systems, Mechanisms and Machines (Dynamics) (год публикации - 2024)

3. Астафьев А.В., Астафьева О.С., Привезенцев Д.Г., Ерофеев А.Р., Карпычева Л.И. Локализация человека в помещении без использования устройств на основе информации о состоянии канала МАШИНОСТРОЕНИЕ: СЕТЕВОЙ ЭЛЕКТРОННЫЙ НАУЧНЫЙ ЖУРНАЛ, Астафьев А.В., Астафьева О.С., Привезенцев Д.Г., Ерофеев А.Р., Карпычева Л.И. «Локализация человека в помещении без использования устройств на основе информации о состоянии канала», «Машиностроение: сетевой электронный научный журнал», Том 11, Номер 3, Страницы: 34-38, Год: 2024 (год публикации - 2024)
10.24892/RIJIE/20240305

4. Астафьев А.В., Астафьева О.С., Ежков Д.А., Ерофеев А.Р. Algorithm for Indoor Positioning Radio Device Based on Channel State Information 2024 26th International Conference on Digital Signal Processing and its Applications (DSPA), Astafiev A., Astafieva O., Ejkov D., Erofeev, A. “Algorithm for Indoor Positioning Radio Device Based on Channel State Information”, 26th International Conference on Digital Signal Processing and its Applications, DSPA 2024. (год публикации - 2024)
10.1109/DSPA60853.2024.10510152

5. Ерофеев А., Карпычева Л Определение местонахождения человека в помещении на основе значений фаз, извлеченных из информации о канале связи «Молодежь и наука XXI века: реалии и перспективы»: Международная научно-практическая конференция. ‒ Астана: «Esil University» БПО, 2024. ‒ 885 с., Ерофеев А.Р., Карпычева Л. И. Определение местонахождения человека в помещении на основе значений фаз, извлеченных из информации о канале связи, «Молодежь и наука XXI века: реалии и перспективы»: Международная научно-практическая конференция. ‒ Астана: «Esil University» БПО, 2024. ‒ стр. 18-21 (год публикации - 2024)

6. Астафьев А.В., Ерофеев А.Р., Карпычева Л.И., Ежков Д.А., Астафьева О.С. Device-free Human Activity Recognition by Radio Engineering Systems Based on Neural Network Technologies 2024 Dynamics of Systems, Mechanisms and Machines (Dynamics) (год публикации - 2024)

Аннотация результатов, полученных в 2025 году
За второй год выполнения проекта проведены комплексные исследования, направленные на развитие методов анализа информации о состоянии канала связи Wi-Fi для решения задач позиционирования, детектирования движения, распознавания активности и визуализации в помещении. Ключевым достижением стал переход от статического к динамическому анализу временных последовательностей канальных матриц, что позволило существенно повысить точность и устойчивость алгоритмов в изменяющихся условиях. Проведена значительная работа по масштабированию и совершенствованию лабораторного стенда. Разработано и внедрено программное обеспечение, обеспечивающее полуавтоматическую разметку данных и ускоренный сбор пакетов по UDP-протоколу, что сократило время проведения экспериментов с нескольких дней до менее часа. Исследованы возможности перехода на ширину канала 40 МГц и использование микроконтроллеров ESP32 для гибкого увеличения количества антенных пар. Выявлена и изучена проблема доменного сдвига, возникающего при изменении условий среды передачи данных, и начата разработка методов его компенсации для повышения масштабируемости решений. Результаты по совершенствованию стенда опубликованы в журнале ВАК «Радиотехнические и телекоммуникационные системы». Разработан и экспериментально апробирован высокоэффективный алгоритм предварительного детектирования движения. Алгоритм включает извлечение амплитудных характеристик, подавление шумов упрощённым фильтром Калмана, снижение размерности методом главных компонент и динамическую пороговую фильтрацию на основе статистических параметров, полученных в калибровочный период. Метод показал точность детектирования факта движения до 99,5% при оптимальном размере сегмента, а его результаты представлены на конференции ММРО-2025 и приняты к публикации в журнале «Pattern Recognition and Image Analysis». Существенный прогресс достигнут в области распознавания человеческой активности. Разработанный алгоритм, основанный на анализе динамических последовательностей CSI-данных и интегрирующий этап предварительного детектирования, продемонстрировал точность классификации различных активностей до 96,8%. Это подтверждает эффективность учета временных зависимостей и фильтрации неинформативных периодов. Результаты исследования также приняты к публикации в журнале «Pattern Recognition and Image Analysis», а сам алгоритм исследуется для применения в мониторинге реабилитационной гимнастики. Успешно решена задача визуализации силуэта человека с использованием генеративных методов. Создан алгоритм, который преобразует динамическую CSI-информацию (фазу и амплитуду) в полутоновое изображение силуэта человека размером 64x64 пикселя. Комплексный подход, включающий синхронизированный сбор данных и нейросетевую модель на основе полносвязных и сверточных слоёв, был валидирован в двух помещениях разной конфигурации. Достигнута точность реконструкции 88% для трёх локаций и 93% для девяти позиций с классом «отсутствие человека», что открывает перспективы для систем бескамерного наблюдения с сохранением приватности. Для обеспечения работы в режиме реального времени реализован рекуррентный подход и разработан алгоритм предварительной калибровки оборудования. Калибровка, проводимая в отсутствие движения, позволяет определить эталонные шумовые характеристики среды и адаптивно настраивать параметры фильтрации и классификации, значительно повышая чувствительность системы к полезным высокочастотным компонентам. Проведены комплексные экспериментальные исследования, подтвердившие эффективность предложенных методов в практических задачах: позиционировании устройства и человека (точность >90%), распознавании движений (точность до 96,85%) и визуализации силуэтов. Научные результаты проекта представлены в 5 статьях, индексируемых Scopus, и 3 работах уровня РИНЦ. Участники проекта успешно защитили и готовят магистерские диссертации, участвуют в конференциях и олимпиадах, а также ведут активную научно-просветительскую деятельность. Продолжается работа над докторскими диссертациями руководителя и исполнителя проекта.

Публикации

1. Позиционирование человека в помещении на основе значений амплитуд и фаз, получаемых от Wi-Fi маршрутизаторов Позиционирование человека в помещении на основе значений амплитуд и фаз, получаемых от Wi-Fi маршрутизаторов Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений. Распознавание – 2025: сборник материалов XVIII Международной научно-технической конференции, 9‒12 сентября 2025 года / ред. кол.: С. Г. Емельянов [и др.]; Минобрнауки России, Юго-Западный гос. ун-т. – Курск: ЮЗГУ, 2025. – 302 с., А.Р Ерофеев, Л.И. Карпычева, А.В. Астафьев Позиционирование человека в помещении на основе значений амплитуд и фаз, получаемых от Wi-Fi маршрутизаторов. Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений. Распознавание – 2025: сборник материалов XVIII Международной научно-технической конфе- ренции, 9‒12 сентября 2025 года / ред. кол.: С. Г. Емельянов [и др.]; Минобрнауки России, Юго-Западный гос. ун-т. – Курск: ЮЗГУ, 2025. с. 102-104. (год публикации - 2025)

2. Разработка системы сбора, хранения и управления канальными матрицами для построения алгоритмов позиционирования и локализации внутри помещений Разработка системы сбора, хранения и управления канальными матрицами для построения алгоритмов позиционирования и локализации внутри помещений Радиотехнические и телекоммуникационные системы, Астафьев, А. В. разработка системы сбора, хранения и управления канальными матрицами для построения алгоритмов позиционирования и локализации внутри помещений / А. В. Астафьев, А. Л. Жизняков, Д. А. Ежков // Радиотехнические и телекоммуникационные системы. – 2025. – № 1(57). – С. 59-67. – DOI 10.24412/2221-2574-2025-1-59-67. – EDN ZKIBQZ. (год публикации - 2025)
10.24412/2221-2574-2025-1-59-67

3. Система визуализации человеческого силуэта с использованием данных CSI Human Silhouette Visualization System Using CSI Data 2025 International Russian Smart Industry Conference (SmartIndustryCon), A. Astafiev, A. Erofeev and L. Karpycheva, "Human Silhouette Visualization System Using CSI Data," 2025 International Russian Smart Industry Conference (SmartIndustryCon), Sochi, Russian Federation, 2025, pp. 528-532, doi: 10.1109/SmartIndustryCon65166.2025.10986142. (год публикации - 2025)
10.1109/SmartIndustryCon65166.2025.10986142

4. Высокоточное позиционирование в помещении с использованием информации о состоянии канала Wi-Fi и глубоких нейронных сетей High-Accuracy Indoor Positioning Using Wi-Fi Channel State Information and Deep Neural Networks 2025 International Russian Automation Conference (RusAutoCon), A. Erofeev, A. Astafiev, L. Karpycheva and O. Astafieva, "High-Accuracy Indoor Positioning Using Wi-Fi Channel State Information and Deep Neural Networks," 2025 International Russian Automation Conference (RusAutoCon), Sochi, Russian Federation, 2025, pp. 943-947, doi: 10.1109/RusAutoCon65989.2025.11177427. (год публикации - 2025)
10.1109/RusAutoCon65989.2025.11177427

5. Определение точного местоположения человека в помещении с использованием информации о состоянии канала от маршрутизатора Wi-Fi Determining the Exact Indoor Location of a Person Using the Channel State Information from the Wi-Fi Router 2025 International Russian Smart Industry Conference (SmartIndustryCon), Erofeev A., Astafiev A., Karpycheva, L. Determining the Exact Indoor Location of a Person Using the Channel State Information from the Wi-Fi Router. Proceedings 2025 International Russian Smart Industry Conference Smartindustrycon 2025, DOI: 10.1109/SmartIndustryCon65166.2025.10986233 (год публикации - 2025)
10.1109/SmartIndustryCon65166.2025.10986233

6. Нейросетевой алгоритм распознавания человеческой активности по радиосигналам без нательных датчиков с предварительным детектированием движения Нейросетевой алгоритм распознавания человеческой активности по радиосигналам без нательных датчиков с предварительным детектированием движения МАТЕМАТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ ОБРАЗОВ Тезисы докладов 22-й всероссийской конференции с международным участием. Москва, 2025, АСТАФЬЕВ А.В. НЕЙРОСЕТЕВОЙ АЛГОРИТМ РАСПОЗНАВАНИЯ ЧЕЛОВЕЧЕСКОЙ АКТИВНОСТИ ПО РАДИОСИГНАЛАМ БЕЗ НАТЕЛЬНЫХ ДАТЧИКОВ С ПРЕДВАРИТЕЛЬНЫМ ДЕТЕКТИРОВАНИЕМ ДВИЖЕНИЯ, МАТЕМАТИЧЕСКИЕ МЕТОДЫ РАСПОЗНАВАНИЯ ОБРАЗОВ Тезисы докладов 22-й всероссийской конференции с международным участием. Москва, 2025, с. 70-72. (год публикации - 2025)

7. Визуализация силуэта человека с использованием данных Wi-Fi: Новый подход к мониторингу опасных зон Визуализация силуэта человека с использованием данных Wi-Fi: Новый подход к мониторингу опасных зон Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений. Распознавание – 2025: сборник материалов XVIII Международной научно-технической конференции, 9‒12 сентября 2025 года / ред. кол.: С. Г. Емельянов [и др.]; Минобрнауки России, Юго-Западный гос. ун-т. – Курск: ЮЗГУ, 2025. – 302 с., Л.И. Карпычева, А.Р. Ерофеев, А.В. Астафьев Визуализация силуэта человека с использованием данных Wi-Fi: Новый подход к мониторингу опасных зон. Оптико-электронные приборы и устройства в системах распознавания образов и обработки изображений. Распознавание – 2025: сборник материалов XVIII Международной научно-технической конфе- ренции, 9‒12 сентября 2025 года / ред. кол.: С. Г. Емельянов [и др.]; Минобрнауки России, Юго-Западный гос. ун-т. – Курск: ЮЗГУ, 2025. с. 134-137. (год публикации - 2025)

Возможность практического использования результатов
Результаты проекта обладают высоким потенциалом практического использования в экономике и социальной сфере, формируя технологический задел для импортозамещения в области систем бесконтактного мониторинга и радиочастотного компьютерного зрения. Полученные алгоритмы и программно-аппаратные решения позволяют создавать новые и совершенствовать существующие продукты для промышленной безопасности (мониторинг опасных зон в условиях задымления и отсутствия освещения), здравоохранения (неинвазивный контроль реабилитации пациентов после инсульта), умных городов и зданий (энергоэффективное управление и безопасность), логистики и автономного транспорта. Это способствует развитию отечественных высокотехнологичных решений, повышению производительности, снижению аварийности и улучшению качества социальных услуг, внося вклад в цифровизацию экономики и социальное развитие Российской Федерации.