КАРТОЧКА
ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ
Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.
ОБЩИЕ СВЕДЕНИЯ
Номер 22-11-20040
НазваниеБионические методы сенсорики и окружающего интеллекта для реализации интернет-систем мониторинга жизнестойкости человека в условиях северных территорий
РуководительКорзун Дмитрий Жоржевич, Кандидат физико-математических наук
Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Петрозаводский государственный университет", Республика Карелия
Период выполнения при поддержке РНФ | 2022 г. - 2024 г. |
Конкурс№66 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» (региональный конкурс).
Область знания, основной код классификатора 01 - Математика, информатика и науки о системах, 01-521 - Интеллектуальные Интернет-технологии
Ключевые словаИнтернет вещей, сенсорика, окружающий интеллект, электронное здравоохранение
Код ГРНТИ28.17.19
ИНФОРМАЦИЯ ИЗ ЗАЯВКИ
Аннотация
В данном проекте предлагается выполнить исследование фундаментальной научной проблемы по разработке новых бионических методов сенсорики и окружающего интеллекта. Методы обеспечивают разработку интернет-систем мониторинга жизнестойкости человека в условиях северных территорий. Разрабатывается концептуальная модель бионического костюма, обеспечивающая постоянный мониторинг человека в повседневных условиях.
Мониторинг направлен на анализ свойств жизнестойкости человека на основе технологий распознавания в системах окружающего интеллекта. Разрабатываемые интернет-системы мониторинга здоровья предназначены для построения различных информационных сервисов-ассистентов для: а) медицинских работников для помощи при работе с пациентов, б) пациента для мотивированного участия в сохранении собственного здоровья, в) организаций, занимающихся анализом состояния здоровья населения, для получения аналитической информации.
Свойства жизнестойкости человека (от англ. Resilience) – адаптация к стрессам, дисфункциям, болезням, трудным условиям жизни и другим негативным воздействиям на (ментальное) здоровье.
Технологии окружающего (искусственного) интеллекта (от англ. Ambient Intelligence) основаны на технологиях периферийных вычислений интернета вещей, построении персональных профилей объектов взаимодействия, контекстной ориентированности и упредительность при построении сервисов, разнообразии вариантов человеко-машинного взаимодействия с множеством окружающих вычислительных устройств и интернет-ресурсов, возможностях тактильного интернета по передаче и восприятию человеком информации (в т.ч. на основе бионических принципов).
Элементы доверенного ИИ включают: а) обоснование предоставляемой аналитической информации медицинским работникам, б) персонализированное обоснование и мотивация к выполнению рекомендаций для пациента, в) оценка качества аналитической информации для выполнения экспертом анализа состояния здоровья населения.
Элементы «сильного» ИИ включают: а) действия в условиях неопределенности в данных мониторинга, б) обучение по результатам построения информационных сервисов-ассистентов, в) человеко-машинное взаимодействие на естественном языке, г) способность «почувствовать» объект мониторинга здоровья.
Объект мониторинга свойств жизнестойкости человека – процесс, в котором задействована автономная, когнитивная и/или двигательная функции человека. Данные об объекте мониторинга: параметры здоровья (оперативная информация, накопленная клиническая информация), параметры физической среды (местоположение, климат, окружающие объекты, происходящие рядом события), параметры выполняемых человеком автономной, когнитивной и/или двигательной функции (ЭМК, интервью, аудио, инерциальные данные, видео, текст, экспертные оценки, справочники, социальные медиа). В принятие решений вовлекаются не только медицинский персонал, но и сам человек, за которым выполняется наблюдение.
Исследуется следующий стек уровней вычислений окружающего интеллекта в тактильном интернете.
- Реализация методов сенсорики на периферийных IoT-устройствах с учетом: а) слабопроизводительности и миниатюрности таких устройств (проблема повсеместных вычислений); б) разнообразия возможных данных для измерения (проблема многопараметрического мониторинга для объектов физического, информационного и социального окружений человека).
- Реализация протоколов информационно-управляемого взаимодействия периферийных IoT-устройств (т.е. непосредственно у места сбора данных) с учетом необходимости совместной обработки данных с быстрой обратной связью (проблема распределения вычислительной нагрузки и доступных ресурсов в сети).
- Реализация алгоритмов распознавания событий на периферийных IoT-устройствах с учетом необходимости обработки потоковых данных измерений в оперативном режиме с использованием нейронных сетей (проблема построения онлайн сервисов-ассистентов для человека).
Мониторинговая система в тактильном интернете требует реализации вычислений на каждом из этих уровней. Ключевой проблемой является баланс между вычислительной мощностью аппаратного обеспечения и трудоемкостью выполняемого программного обеспечения.
Ожидаемые результаты
А. Решения для применения бионических методов сенсорики и окружающего интеллекта на основе технологий виртуальной и дополненной реальности.
- новые виды ПО для предобработки «быстрых» потоковых сенсорных данных с управлением баланса «точность/трудоемкость»;
- адаптивные стратегии доступа к приоритетной сенсорной информации из множества источников для организации быстрой обратной связи в условиях северных территорий;
- концептуальная модель бионического костюма с применением технологий виртуальной и дополненной реальности для организации человеко-машинного взаимодействия в тактильном интернете.
Б. Решения для формирования бионических методов сенсорики и окружающего интеллекта:
- Интеллектуализация объекта мониторинга здоровья – способность «рассказать» о себе, в т.ч. персонализация;
- Интеллектуализация доступа к информации – способность дистанционного пользователя взаимодействовать онлайн с объектом мониторинга здоровья, в т.ч. на основе бионических методов;
- Рекомендательная система для поддержки обоснования и принятия человеком решений по управлению объектом мониторинга, в т.ч. анализируя параметры здоровья (оперативная информация, накопленная клиническая информация), параметры физической среды (местоположение, климат, окружающие объекты, происходящие рядом события), параметры выполняемых человеком автономной, когнитивной и/или двигательной функции (ЭМК, интервью, аудио, инерциальные данные, видео, текст, экспертные оценки, справочники, социальные медиа).
В. Прототип персонализированного ассистента человека по сопротивляемости ментального здоровья к стрессам и другим негативным внешним факторам, адаптация к условиям работы и проживания, сопротивляемость к усталости, мотивация к сохранению здоровья в условиях северных территорий.
В целом, результаты выполнения проекта приведут к появлению новых научных публикаций в высокорейтинговых российских и международных изданиях в области сопряжения искусственного интеллекта, периферийных вычислений и «умной» бионической микроэлектроники, к формированию отечественной интеллектуальной собственности в виде патентов на изобретения и полезные модели, а также свидетельств о регистрации программ для ЭВМ. На их основе становится возможным формирование передовых российских бионических технологий сенсорики и окружающего интеллекта, что способствует реализации стратегических направлений развития РФ по цифровой экономике, цифровому обществу и искусственному интеллекту.
ОТЧЁТНЫЕ МАТЕРИАЛЫ
Аннотация результатов, полученных в 2022 году
Сформировано поисковое научное направление исследований «интеллектуальная сенсорика», которое предполагает, что методы сенсорики реализуют не только функции сбора данных и измерения, но и следующие «интеллектуальные» функции:
а) Распознавание образов в сенсорных данных (на основе ИИ-технологий и технологий периферийных интернет-вычислений).
б) Сетевое взаимодействие с другими участниками интернет-системы (на основе мобильных интернет-технологий, технологий центров обработки данных).
в) Виртуализация объекта наблюдения сенсорной системы (на основе технологий цифровых двойников).
г) Оценка качества получаемых сенсорных данных - (само)диагностика, достоверность (на основе ИИ-технологий и технологий периферийных интернет-вычислений).
В рамках такого исследования организованы еженедельные научные семинары в центре искусственного интеллекта Петрозаводского государственного университета:
- Интеллектуальная сенсорика и видеоаналитика в интернете вещей, https://ai.petrsu.ru/events/iot
- Задачи анализа человекоподобного движения и робототехнические интернет-системы, https://ai.petrsu.ru/events/robots
Интеллектуальная сенсорика позволяет отслеживать работу трех функций человека: двигательная, когнитивная и автономная. Двигательная функция требует отслеживания и распознавания движения человека и окружающих его физических объектов. Когнитивная функция требует отслеживания, как человек мыслит и рассуждает, в каком (эмоциональном) состоянии находится. Автономная функция требует отслеживания, как работает организм человека. Выделены следующие прикладные области для разработки и применения бионических методов сенсорики и окружающего интеллекта в интернет-системах мониторинга жизнестойкости человека в условиях северных территорий.
1. Отслеживание движения человека, в т.ч. по отношению человека к другим объектам физического окружения (сенсорика движения). Связана с работой двигательной функции человека.
2. Разработка цифровых ассистентов, сопровождающих человека в повседневной жизни (мобильная сенсорика). Связана с работой двигательной, когнитивной и автономной функций человека.
3. Роботизированные датчики, обеспечивающие дистанционное усиление органов чувств человека - дистанционный оператор оборудования или мониторинг дистанционных объектов (мобильная роботизированная сенсорика). Связана с работой двигательной, когнитивной и автономной функций человека.
4. Диагностика состояния здоровья человека (сенсорика тела/организма). Связана с работой автономной функции человека.
5. Технологии тактильного интернета на основе датчиков деформации (тактильная сенсорика). Связана с работой двигательной и когнитивной функций человека.
Для каждой прикладной области разработаны модели и алгоритмы, необходимые для реализации программно-аппаратных прототипов бионического костюма.
Публикации
1. Баженов Н.А., Рыбин Е.И., Корзун Д.Ж. An Event-Driven Approach to the Recognition Problem in Video Surveillance System Development Conference of Open Innovations Association, FRUCT, Volume 32, Issue 1, pp.65-74 (год публикации - 2022) https://doi.org/10.23919/FRUCT56874.2022.9953883
2. Величко А., Хуют М.Т., Беляев М., Изотов Ю., Корзун Д. Machine learning sensors for diagnosis of covid-19 disease using routine blood values for internet of things application Sensors, Volume 22, pp.1-29 (год публикации - 2022) https://doi.org/10.3390/s22207886
3. Мейгал А.Ю., Герасимова-Мейгал Л.И.,Рего Г.Э., Корзун Д.Ж. Motor Activity Sensorics for mHealth Support of Human Resilience in Daily Life Conference of Open Innovations Association, FRUCT, Volume 32, Issue 1, pp. 169-177 (год публикации - 2022) https://doi.org/10.23919/FRUCT56874.2022.9953829
4. - В России создали алгоритм, выявляющий ковид по двум показателям крови ТАСС. Наука, 26.10.2022 (год публикации - )
5. - ПетрГУ на международной конференции UBICOMM 2022 Пресс-служба ПетрГУ, 25.11.2022 (год публикации - )
6. - Проблемы современных информационно-вычислительных систем Пресс-служба ПетрГУ, 07.12.2022 (год публикации - )
Аннотация результатов, полученных в 2023 году
Свойство жизнестойкости человека определяет объект постоянного мониторинга –наблюдение за процессом, в котором задействованы автономная, когнитивная или двигательная функции человека. Сенсорные данные об объекте мониторинга: параметры здоровья (оперативная информация, накопленная клиническая информация), параметры физической среды (местоположение, климат, окружающие объекты, происходящие рядом события), параметры выполняемых человеком автономной, когнитивной и/или двигательной функции (ЭМК, интервью, аудио, инерциальные данные, видео, текст, экспертные оценки, справочники, социальные медиа).
Определено понятие «интеллектуальная сенсорика человека» на основе расширения функций сбора данных и измерения, в том числе для условий северных территорий.
Разработаны концептуальные модели и алгоритмы для построения бионического костюма, обеспечивающие постоянный мониторинг человека в повседневных условиях. Бионический костюм реализует эффективное взаимодействие человека с объектами свойств жизнестойкости. Реализуется цифровой ассистент, обеспечивающий следующие виды поддержки жизнестойкости человека:
а) сопротивляемость ментального здоровья к стрессам и другим негативным внешним факторам;
б) адаптация к условиям работы и проживания;
в) сопротивляемость к усталости;
г) мотивация к сохранению здоровья в условиях северных территорий.
Понятие «сенсорика человека» предполагает использование комплексного набора датчиков и разнообразных сенсорных систем для отслеживания: а) двигательной функции (как двигается человек), б) когнитивной функции (как воспринимает информацию) и в) автономной функции (как работает организм) человека, а также ситуации вокруг человека. Жизнестойкость тесно связана с работой этих функций человека, в т.ч. для поддержания жизнестойкости человека необходимо дать ему возможность наблюдать и анализировать работу этих функций.
«Интеллектуальность» сенсорики проявляется в виде следующим образом.
а) Обучаемый датчик. Алгоритмы распознавания (ИИ) работают рядом с местом сбора данных, т.е. на самом датчике или вычислительном устройстве рядом. Соответствует подходу периферийной аналитики (edge computing).
б) Самоотслеживание (активный контроль наблюдений). Оценка качества сенсорных данных. Реакция в случае обнаружения снижения качества (так называемые self-* свойства датчика).
в) Мобильность коммуникаций (мобильная сенсорика). Датчик определяет, когда, кому и какие данные передать далее. В том числе, с учетом имеющихся ресурсов мобильной сети (переход к технологиям 5G/6G).
г) Дистанционная автономность (роботизированная сенсорика). Датчик может быть удаленным от самого человека, способен управлять мониторингом без участия человека (роботизация датчика).
д) Человеко-машинное взаимодействие (цифровое расширение органов чувств человека). Персонализированная доставка информации человеку, в т.ч. использование технологий дополненной и виртуальной реальности, технологий бионических костюмов.
Выделены следующие условия северных территорий, влияющие на мониторинг жизнестойкости человека.
а) Датчики интернет-системы мониторинга должны быть способны работать в тяжелых условиях внешней среды (климат, снег, грязь, передвижение и др.).
б) Предлагаемые к реализации интернет-системы мониторинга должны ориентироваться на существующее производство на территории РК, способствуя цифровой трансформации производственных процессов. В частности, цифровые сервисы реализуются в виде ассистентов для сотрудников. Должна обеспечиваться возможность работы сотрудника на открытом воздухе или в цехе.
в) Возможной целевой группой являются пожилые люди. Многие из них одинокие. Малая плотность населения и удаленность места проживания от крупных населенных пунктов или от центров помощи. В частности, цифровые сервисы реализуются в виде ассистентов для пожилых одиноких людей, помогая человеку в повседневной жизни, в бытовых задачах.
г) Возможной целевой группой являются люди, приезжающие в РК с южных территорий. Частный случай - студенты, приезжающие на учебу в ПетрГУ и другие учебные заведения. Необходимо отслеживать и усиливать жизнестойкость, помогая адаптироваться к новым условиям проживания.
д) Территория Региона привлекательна для создания рабочих мест для дистанционных сотрудников различных организаций РФ. Возможная целевая группа людей для мониторинга жизнестойкости человека - это операторы, диспетчеры, ИТ-специалисты, эксперты.
В рамках такого исследования организованы еженедельные научные семинары в центре искусственного интеллекта Петрозаводского государственного университета:
- Интеллектуальная сенсорика и видеоаналитика в интернете вещей, https://ai.petrsu.ru/events/iot
- Задачи анализа человекоподобного движения и робототехнические интернет-системы, https://ai.petrsu.ru/events/robots
Разработаны и экспериментально исследованы следующие прототипы для цифрового ассистирования.
1. Прототип цифрового ассистента, обеспечивающий отслеживание движения человека и формирования 3D-модели движения. Работа прототипа представлена в докладе и статье:
- Assessment of Operation Quality for Robotic Manipulator in Real-Time / N. Bazhenov, G. Rego, E. Rybin, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 34. – P. 200-203. https://elibrary.ru/item.asp?id=54884910
- Сосновский, И. В. Визуализация 3D-пространства в виде облака точек на основе технологий дополненной реальности / И. В. Сосновский, Т. С. Кипрушкина // Путь в науку: прикладная математика, информатика и информационные технологии : Тезисы докладов Всероссийской молодёжной научно-практической конференции, Ярославль, 17–21 апреля 2023 года. – Ярославль: Ярославский государственный университет им. П.Г. Демидова, 2023. – С. 67-69. https://elibrary.ru/item.asp?id=53843935
2. Прототип цифрового ассистента, отслеживающий результаты работы человека при выполнении физических упражнений, в т.ч. на спортивных тренажерах.
Работа прототипа представлена в докладе и статье:
- A Mobile Application for Assessing the Strength Exercises on Sports Training Equipment / K. Smirnov, V. Ermakov, E. Topchiy, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 33. – P. 391-394. https://elibrary.ru/item.asp?id=53943950
- Real-Time Evaluation of Hands Position at Sport Training Machine / K. Smirnov, E. Topchiy, V. Ermakov, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 34. – P. 278-281. https://elibrary.ru/item.asp?id=54884926
3. Прототип цифрового ассистента, обеспечивающий усиление органов чувств человека за счет роботизированных датчиков с частично автономным движением
Работа прототипа представлена в докладе и статье:
Костин Д.А. СЕНСОРНАЯ СИСТЕМА МОБИЛЬНОГО РОБОТА ДЛЯ ОРИЕНТАЦИИ, ПОСТРОЕНИЯ КАРТЫ МЕСТНОСТИ И РАСПОЗНАВАНИЯ ПРЕПЯТСТВИЙ / Д.А. Костин, Д.С. Мельников, Д.А. Устинов, С.Д. Яскеляйнен, В.А. Ермаков, Д.Ж. Корзун // Материалы XVII всероссийской научно-практической конференции «Цифровые технологии в образовании, науке, обществе» / Издательство ПетрГУ. - г. Петрозаводск, 2023. - С.55-57. - https://it2023.petrsu.ru/.
4. Прототип цифрового ассистента, обеспечивающий диагностику состояния здоровья человека (сенсорика тела/организма). В качестве примера болезни используется болезннь Паркинсона. Работа прототипа представлена в M.Belyaev, M.Murugappan, A.Velichko, D.Korzun. Entropy-Based Machine Learning Model for Fast Diagnosis and Monitoring of Parkinson’s Disease. Sensors 2023, 23, 8609. https://doi.org/10.3390/s23208609.
5. Прототип цифрового ассистента, обеспечивающего наблюдение за территорией на предмет движения человека и использования человеком технологического оборудования. Работа прототипа представлена в докладе и статье:
- Evaluation of the Human Use for Sport Training Equipment based on Multicamera Video Surveillance / N. Bazhenov, E. Rybin, S. Zavyalov, D. Korzun // Conference of Open Innovations Association, FRUCT. – 2023. – No. 33. – P. 342-345. https://elibrary.ru/item.asp?id=53943941
Публикации
1. Беляев М.А., Муругаппан М.,Величко А.А., Корзун Д.Ж. Entropy-Based Machine Learning Model for Fast Diagnosis and Monitoring of Parkinson’s Disease Sensors MDPI, Vol.23, pp.8609 (год публикации - 2023) https://doi.org/10.3390/s23208609
2. Корзун Д.Ж., Богоявленская О.Ю., Кулаков К.А. Применение алгоритма случайной отсрочки при активном управлении обменом информации в интернет-среде Программная инженерия, Т.14, №.5. С.207-216 (год публикации - 2023) https://doi.org/10.17587/prin.14.207-216
3. Мейгал А.Ю., Герасимова-Мейгал Л.В.,Корзун Д.Ж. A Concept Model of mHealth Sensorics for Digital Assistance of Human Cognitive Resilience 4th Conference of Open Innovations Association (FRUCT), Vol.34, pp.100-107 (год публикации - 2023) https://doi.org/-
4. Рего Г.Э. Mathematical Modeling Method for Detecting the Fuzzy Occurrence of Dangerus Events Программная инженерия, Vol. 14, No. 9. pp. 442-451 (год публикации - 2023) https://doi.org/10.17587/prin.14.442-451
5. Величко А.А., Корзун Д.Ж., Мейгал А.Ю. Artificial Neural Networks for IoT-Enabled Smart Applications Basel: MDPI, This book is a reprint of the Special Issue Artificial Neural Networks for IoT-Enabled Smart Applications that was published in Sensors (год публикации - 2023) https://doi.org/10.3390/books978-3-0365-8429-4
6. Величко А.А., Корзун Д.Ж., Мейгал А.Ю. Artificial Neural Networks for IoT-Enabled Smart Applications: Recent Trends Sensors MDPI, Editorial. Vol.23, pp.4853 (год публикации - 2023) https://doi.org/10.3390/s23104853
7. - Искусственный интеллект поможет жителям Карелии сохранять здоровье Пресс-служба Фонда венчурных инвестиций Республики Карелия, Опубликовано 20 апреля 2023 г. (год публикации - )
8. - Сенсорное поле: болезнь Паркинсона выявят с помощью домашней техники Известия, Мария Недюк. 21 ноября 2023, 10:00 (год публикации - )