Бионические методы сенсорики и окружающего интеллекта для реализации интернет-систем мониторинга жизнестойкости человека в условиях северных территорий

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-11-20040

НазваниеБионические методы сенсорики и окружающего интеллекта для реализации интернет-систем мониторинга жизнестойкости человека в условиях северных территорий

Руководитель Корзун Дмитрий Жоржевич, Кандидат физико-математических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет" , Республика Карелия

Конкурс №66 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» (региональный конкурс)

Область знания, основной код классификатора 01 - Математика, информатика и науки о системах; 01-521 - Интеллектуальные Интернет-технологии

Ключевые слова Интернет вещей, сенсорика, окружающий интеллект, электронное здравоохранение

Код ГРНТИ28.17.19

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
В данном проекте предлагается выполнить исследование фундаментальной научной проблемы по разработке новых бионических методов сенсорики и окружающего интеллекта. Методы обеспечивают разработку интернет-систем мониторинга жизнестойкости человека в условиях северных территорий. Разрабатывается концептуальная модель бионического костюма, обеспечивающая постоянный мониторинг человека в повседневных условиях. Мониторинг направлен на анализ свойств жизнестойкости человека на основе технологий распознавания в системах окружающего интеллекта. Разрабатываемые интернет-системы мониторинга здоровья предназначены для построения различных информационных сервисов-ассистентов для: а) медицинских работников для помощи при работе с пациентов, б) пациента для мотивированного участия в сохранении собственного здоровья, в) организаций, занимающихся анализом состояния здоровья населения, для получения аналитической информации. Свойства жизнестойкости человека (от англ. Resilience) – адаптация к стрессам, дисфункциям, болезням, трудным условиям жизни и другим негативным воздействиям на (ментальное) здоровье. Технологии окружающего (искусственного) интеллекта (от англ. Ambient Intelligence) основаны на технологиях периферийных вычислений интернета вещей, построении персональных профилей объектов взаимодействия, контекстной ориентированности и упредительность при построении сервисов, разнообразии вариантов человеко-машинного взаимодействия с множеством окружающих вычислительных устройств и интернет-ресурсов, возможностях тактильного интернета по передаче и восприятию человеком информации (в т.ч. на основе бионических принципов). Элементы доверенного ИИ включают: а) обоснование предоставляемой аналитической информации медицинским работникам, б) персонализированное обоснование и мотивация к выполнению рекомендаций для пациента, в) оценка качества аналитической информации для выполнения экспертом анализа состояния здоровья населения. Элементы «сильного» ИИ включают: а) действия в условиях неопределенности в данных мониторинга, б) обучение по результатам построения информационных сервисов-ассистентов, в) человеко-машинное взаимодействие на естественном языке, г) способность «почувствовать» объект мониторинга здоровья. Объект мониторинга свойств жизнестойкости человека – процесс, в котором задействована автономная, когнитивная и/или двигательная функции человека. Данные об объекте мониторинга: параметры здоровья (оперативная информация, накопленная клиническая информация), параметры физической среды (местоположение, климат, окружающие объекты, происходящие рядом события), параметры выполняемых человеком автономной, когнитивной и/или двигательной функции (ЭМК, интервью, аудио, инерциальные данные, видео, текст, экспертные оценки, справочники, социальные медиа). В принятие решений вовлекаются не только медицинский персонал, но и сам человек, за которым выполняется наблюдение. Исследуется следующий стек уровней вычислений окружающего интеллекта в тактильном интернете. - Реализация методов сенсорики на периферийных IoT-устройствах с учетом: а) слабопроизводительности и миниатюрности таких устройств (проблема повсеместных вычислений); б) разнообразия возможных данных для измерения (проблема многопараметрического мониторинга для объектов физического, информационного и социального окружений человека). - Реализация протоколов информационно-управляемого взаимодействия периферийных IoT-устройств (т.е. непосредственно у места сбора данных) с учетом необходимости совместной обработки данных с быстрой обратной связью (проблема распределения вычислительной нагрузки и доступных ресурсов в сети). - Реализация алгоритмов распознавания событий на периферийных IoT-устройствах с учетом необходимости обработки потоковых данных измерений в оперативном режиме с использованием нейронных сетей (проблема построения онлайн сервисов-ассистентов для человека). Мониторинговая система в тактильном интернете требует реализации вычислений на каждом из этих уровней. Ключевой проблемой является баланс между вычислительной мощностью аппаратного обеспечения и трудоемкостью выполняемого программного обеспечения.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Величко А., Хуют М.Т., Беляев М., Изотов Ю., Корзун Д. Machine learning sensors for diagnosis of covid-19 disease using routine blood values for internet of things application Sensors, Volume 22, pp.1-29 (год публикации - 2022)
10.3390/s22207886

2. Мейгал А.Ю., Герасимова-Мейгал Л.И.,Рего Г.Э., Корзун Д.Ж. Motor Activity Sensorics for mHealth Support of Human Resilience in Daily Life Conference of Open Innovations Association, FRUCT, Volume 32, Issue 1, pp. 169-177 (год публикации - 2022)
10.23919/FRUCT56874.2022.9953829

3. Баженов Н.А., Рыбин Е.И., Корзун Д.Ж. An Event-Driven Approach to the Recognition Problem in Video Surveillance System Development Conference of Open Innovations Association, FRUCT, Volume 32, Issue 1, pp.65-74 (год публикации - 2022)
10.23919/FRUCT56874.2022.9953883

4. Корзун Д.Ж., Богоявленская О.Ю., Кулаков К.А. Применение алгоритма случайной отсрочки при активном управлении обменом информации в интернет-среде Программная инженерия, Т.14, №.5. С.207-216 (год публикации - 2023)
10.17587/prin.14.207-216

5. Величко А.А., Корзун Д.Ж., Мейгал А.Ю. Artificial Neural Networks for IoT-Enabled Smart Applications: Recent Trends Sensors MDPI, Editorial. Vol.23, pp.4853 (год публикации - 2023)
10.3390/s23104853

6. Величко А.А., Корзун Д.Ж., Мейгал А.Ю. Artificial Neural Networks for IoT-Enabled Smart Applications Basel: MDPI, This book is a reprint of the Special Issue Artificial Neural Networks for IoT-Enabled Smart Applications that was published in Sensors (год публикации - 2023)
10.3390/books978-3-0365-8429-4

7. Рего Г.Э. Mathematical Modeling Method for Detecting the Fuzzy Occurrence of Dangerus Events Программная инженерия, Vol. 14, No. 9. pp. 442-451 (год публикации - 2023)
10.17587/prin.14.442-451

8. Беляев М.А., Муругаппан М.,Величко А.А., Корзун Д.Ж. Entropy-Based Machine Learning Model for Fast Diagnosis and Monitoring of Parkinson’s Disease Sensors MDPI, Vol.23, pp.8609 (год публикации - 2023)
10.3390/s23208609

9. Мейгал А.Ю., Герасимова-Мейгал Л.В.,Корзун Д.Ж. A Concept Model of mHealth Sensorics for Digital Assistance of Human Cognitive Resilience 4th Conference of Open Innovations Association (FRUCT), Vol.34, pp.100-107 (год публикации - 2023)
-

10. Борисенков М.,Величко А.А.,Беляев М.А., Корзун Д.Ж., Тсерне Т., Бакутова Л., Губин Д. Objective Features Extracted from Motor Activity Time Series for Food Addiction Analysis Using Machine Learning Computer Methods and Programs in Biomedicine, На рссмотрении в Q1 журнале Computer Methods and Programs in Biomedicine (год публикации - 2025)

11. Ивашнев К. Р., Корзун Д. Ж. Digital Modeling of Territory for Smart e-Tourism Services 35th Conference of Open Innovations Association (FRUCT), Conference of Open Innovations Association, FRUCT. – 2024. – No. 35. – P. 805-811. (год публикации - 2024)

12. Мейгал А.Ю., Герасимова-Мейгал Л.И., Корзун Д.Ж. Smartphone-Enabled mHealth Sensorics for Digital Assistance of Human Autonomic Resilience to Stress Conference of Open Innovations Association, FRUCT, Conference of Open Innovations Association, FRUCT. – 2024. – No. 36. – P. 885-891. (год публикации - 2024)

Публикации

Аннотация результатов, полученных в 2024 году
Выполнена разработка прототипа цифрового ассистента человека по сопротивляемости ментального здоровья., проведено экспериментальное исследование, уточнены свойства предлагаемых моделей и алгоритмов. В результате, выполнены уточнение и систематизация теоретических и экспериментальных результатов, на основе которых далее возможно проведение прикладных научных исследований и разработок для создания различных персонализированных цифровых ассистентов человека. А. Развитие подхода «интеллектуальная сенсорика человека». Технологии интеллектуальной сенсорики человека предназначены для расширения и усиления пяти естественных органов чувств человека (зрение, слух, осязание, обоняние, вкус). Также к органам чувств часто относят шестое - вестибулярный аппарат (чувство равновесия и положения в пространстве, ускорение). Технологии интернета проработаны для таких органов чувств человека как зрение (чтение и визуальное восприятие информации) и слух (восприятие аудио-информации). В частности, развиваются технологии виртуальной и дополненной реальности, в том числе с выходом на общий вид иммерсивных технологий (технологии погружения человека в цифровой мир). Технологии для цифрового усиления осязания прорабатываются в рамках тактильного интернета. Методы интернет-сенсорики для обоняния и вкуса пока находятся на стадии зарождения. Вестибулярный аппарат может использовать инерциальные датчики и датчики геопозиции. Методы интернет-сенсорики можно расширять на датчики параметров физической среды. В то же время, ряд физических параметров человека (напр., вес, параметры крови) являются трудно оцениваемыми в оперативном режиме (близком к реальному времени). Б. Разработка концепции бионического костюма для интернет-систем мониторинга жизнестойкости человека. Предлагается построить вокруг человека интернет-среду мониторинга (цифровой ассистент в виде «бионического костюма»), которая способна сопровождать деятельность. Сопровождение подразумевает регулярный сбор данных о происходящих процессах при выполнении человеком автономной (работы организма), когнитивной (восприятие и познавание) и двигательных (физическая активность) функций. На основе обработки этих данных выполняется построение информационных сервисов, усиливающих органы чувств человека. В общем случае, такие сервисы позволяют человеку «заглянуть» в происходящие с ним процессы. Концептуальная модель ориентирована на разработку различных цифровых ассистентов, каждый способен обеспечивать следующие виды поддержки жизнестойкости человека: а) сопротивляемость ментального здоровья к стрессам и другим негативным внешним факторам; б) адаптация к условиям работы и проживания; в) сопротивляемость к усталости; г) мотивация к сохранению здоровья в условиях северных территорий. Определены три ключевых элемента бионического костюма. а) Умные датчики, формирующие «цифровой кокон» вокруг человека. Используются технологии интеллектуальной сенсорики, интернета вещей, тактильного интернета. б) Смартфон, как центральный программно-аппаратный элемент бионического костюма как мобильной системы. Используются мобильные интернет-технологии, технологии mHealth (мобильное здравоохранение). в) 3D-моделирование для создания цифрового образа человека. Используются иммерсивные технологии (технологии погружения): AR/VR/XR, 3D-интернет. В. Исследование бионических методы сенсорики и окружающего интеллекта для двигательной, когнитивной и автономной функций человека на основе прототипа персонализированного цифрового ассистента человека по сопротивляемости ментального здоровья. Выделены референтные группы пользователей ассистенты с учетом условий жизни и производства на северных территориях. - Сенсорная система цифрового ассистента предназначена для работы в тяжелых условиях (климат, снег, грязь, затруднено передвижение и т.п.). - Производство на территории Республики Карелия. Ассистенты сотрудника (на открытом воздухе или в цехе). Малолюдное и безлюдное производство - Пожилые одинокие люди. Ассистенты человека в быту и повседневной жизни. Пациенты на дому. - Приезжающие в РК с южных территорий (напр., студенты). - Рабочее место дистанционного сотрудника (операторы, диспетчеры, ИТ-специалисты). Прототип состоит из следующих программно-аппаратных компонент. 1. Прототип цифрового ассистента, обеспечивающий отслеживание движения человека и формирования 3D-модели движения. Используется для задач реабилитации движения человека на дому. Реализуется на основе технологий виртуальной и дополненной реальности. 2. Прототип цифрового ассистента, отслеживающий результаты работы человека при выполнении физических упражнений, в т.ч. на спортивных тренажерах. Используется в спорте (судейство, тренировки) и здоровом образе жизни (ведение журнала). Реализуется на основе мобильных технологий инерциальных данных (акселерометр, гироскоп). 3. Прототип цифрового ассистента, обеспечивающий усиление органов чувств человека за счет роботизированных датчиков с частично автономным движением. Используется при работе человека на открытой территории (напр., в лесу при выполнении работ по уходу за лесом и учету биоресурсов). Реализуется на основе технологий роботизированной и мобильной сенсорики. 4. Прототип цифрового ассистента, обеспечивающий диагностику состояния здоровья человека (сенсорика тела/организма). В качестве примера болезни используется болезнь Паркинсона, COVID-19, ожирение и пищевая зависимость. Реализуется на основе технологий машинного обучения и периферийных вычислений интернета вещей. 5. Прототип цифрового ассистента, обеспечивающего наблюдение за территорией на предмет движения человека и использования человеком технологического оборудования. Используется для ассистирования сотруднику на производстве. Реализуется на основе технологий компьютерного зрения и промышленного интернета вещей. Указанные прототипы выступают стартовыми точками для организации проектов по прикладным НИР, в т.ч. в соответствии с потребностями по цифровизации предприятий Республики Карелия (гранты Главы Республики Карелия).

Публикации

Возможность практического использования результатов
Исследованные в проекте прототипы цифрового ассистента выступают стартовыми точками для организации проектов по прикладным НИР и стартапов, в т.ч. в соответствии с потребностями по цифровизации предприятий Республики Карелия.