Управление траекторией кинематического движения пальцев антропоморфного биопротеза кисти руки на основе нейронной сети

КАРТОЧКА ПРОЕКТА ФУНДАМЕНТАЛЬНЫХ И ПОИСКОВЫХ НАУЧНЫХ ИССЛЕДОВАНИЙ,
ПОДДЕРЖАННОГО РОССИЙСКИМ НАУЧНЫМ ФОНДОМ

Информация подготовлена на основании данных из Информационно-аналитической системы РНФ, содержательная часть представлена в авторской редакции. Все права принадлежат авторам, использование или перепечатка материалов допустима только с предварительного согласия авторов.

ОБЩИЕ СВЕДЕНИЯ

Номер проекта 22-19-20095

НазваниеУправление траекторией кинематического движения пальцев антропоморфного биопротеза кисти руки на основе нейронной сети

Руководитель Безъязычный Вячеслав Феоктистович, Доктор технических наук

Организация финансирования, регион федеральное государственное бюджетное образовательное учреждение высшего образования "Рыбинский государственный авиационный технический университет имени П. А. Соловьёва" , Ярославская обл

Конкурс №66 - Конкурс 2022 года «Проведение фундаментальных научных исследований и поисковых научных исследований отдельными научными группами» (региональный конкурс)

Область знания, основной код классификатора 09 - Инженерные науки; 09-107 - Мехатроника и робототехника

Ключевые слова Антропоморфный биопротез кисти руки, кинематическая схема, нейронная сеть, машинное обучение, поверхностная электромиография, распознавание сигналов, микропривод

Код ГРНТИ76.09.35

ИНФОРМАЦИЯ ИЗ ЗАЯВКИ

Аннотация
На сегодняшний день, наиболее коммерчески успешными разработками в области биопротезирования верхних конечностей являются биопротезы фирм BeBionic (Ottobock, Великобритания), Michelangelo (Ottobock, Германия) и I-LIMB (Touch Bionic, США). Эти биопротезы функционируют на основе системы электромиографического (далее по тексту – ЭМГ) типа, которая считывает и обрабатывает данные с датчиков мышечной активности. Принцип взаимодействия современных биопротезов с объектами окружающей среды основан на использовании определенного набора схватов, осуществляющих захват и удержание предметов. Подбор типа схвата выполняет система управления, организованная на основе снимаемых с кожного покрова верхней конечности остаточных биоэлектрических сигналов. Вследствие ограниченного количества типов схватов и необходимостью их переключения в ручном режиме, современные биопротезы не могут иметь статус полноценной альтернативы живой человеческой руки. Кроме того, процесс обучения человека основам использования такого биопротеза может занимать до нескольких лет. Биопротез подбирается, производится и настраивается индивидуально для каждого человека, что, в конечном итоге, делает каждое устройство уникальным, при этом увеличивая его стоимость. Проблемы создания и обучения биопротезов рассматриваются во многих научных трудах. Предложены варианты организации системы управления биопротезом на основе нейронной сети. Однако практическое подтверждение работоспособности и эффективности предлагаемых методик на данный момент не представлено. В рамках конкурса на получение грантов Российского научного фонда предлагается проект по созданию системы управления траекторией кинематического движения пальцев антропоморфного биопротеза верхней конечности на основе нейронной сети. Производится разработка моделей для описания кинематических траекторий движения пальцев биопротеза, разработка аппаратно-программного комплекса для считывания и обработки ЭМГ-сигналов иннервированных мышечных волокон верхней конечности, разработка и обучение нейронной сети на основе рационального набора форм и размеров захватываемых объектов. Достоверность и практическая реализуемость результатов каждого этапа исследования будет подтверждена апробационным путем. По окончании разработки запланированы апробационные работы в профильных медицинских учреждениях при участии квалифицированных медицинских работников и пациентов с проблемами утраты верхних конечностей. Будущая практическая реализация разрабатываемых систем и методик, а также планируемое опытное подтверждение их работоспособности и эффективности, выгодно выделяет настоящий научный проект и способствует его коммерческому развитию. Научная новизна проекта будет заложена в нескольких областях фундаментальных научных исследований. Организация алгоритма работы системы управления биопротезом на основе нейронной сети предполагает проведение обширных исследований в областях информационных технологий, в частности технологий машинного обучения. Для обеспечения регистрации, кластеризации, интерпретации ЭМГ-сигналов требуется изучение специфических областей медицинской диагностики и статистики. Разработка моделей кинематического движения пальцев биопротеза относится к областям фундаментальных исследований: кинематике и математике. Объединение нескольких областей научных исследований, комплексность решаемых задач и высокая значимость получаемых в ходе реализации проекта научных результатов предполагают высокую трудоемкость и ресурсозатратность проекта. Предлагаемый к реализации проект относится к категории значимых, поскольку может повысить качество жизни людей с ограниченными возможностями верхних конечностей.

ОТЧЁТНЫЕ МАТЕРИАЛЫ

Публикации

1. Елисеичев Е.А., Михайлов В.В., Боровицкий И.В., Жилин Р.М., Сенаторова Е.О. A Review of Devices for Detection of Muscle Activity by Surface Electromyography Biomedical Engineering, Vol. 56, No. 1, pp. 69-74. (год публикации - 2022)
10.1007/s10527-022-10169-4

2. Елисеичев Е.А., Михайлов В.В., Беляев В.Ю., Жилин Р.М., Сенаторова Е.О. Устройство для регистрации мышечной активности методом поверхностной электромиографии «ЭЛЕКТРОННАЯ ТЕХНИКА. Серия 3. МИКРОЭЛЕКТРОНИКА», № 1 (185). – С. 35-41. (год публикации - 2022)
10.7868/S2410993222010043

3. Безъязычный В.Ф., Елисеичев Е.А., Гусев О.В., Юдин А.В., Михайлов В.В. Моделирование траектории кинематического движения пальцев антропоморфного биопротеза кисти руки Вестник машиностроения, Т. 102, № 3, С. 232-240 (год публикации - 2022)
10.36652/0042-4633-2023-102-3-232-240

4. Безъязычный В.Ф., Елисеичев Е.А., Воробьев П.С., Михайлов В.В., Тяптин А.А. Обзор способов считывания ЭМГ-сигналов в области предплечья для управления бионическими протезами верхних конечностей Биомедицинская радиоэлектроника, Т. 26, № 1, С. 35-44 (год публикации - 2022)
10.18127/j15604136-202301-04

5. Елисеичев Е.А., Блинов И.С., Воробьев П.С. Микропривода, использующиеся в бионических протезах кисти руки НОО «Цифровая наука», Сборник статей XV Международной научно-практической конференции «Междисциплинарные исследования науки и техники». – С. 37-45. (год публикации - 2022)

6. В.Ф. Безъязычный, Е.А. Елисеичев, И.С. Блинов, В.В. Михайлов, А.А. Тяптин Определение оптимального набора схватов для протезов предплечья с биоэлектрическим управлением Физическая и реабилитационная медицина, Т. 5. – № 3. – С. 59-65. (год публикации - 2023)
10.26211/2658-4522-2023-5-3-59-65

7. Безъязычный В.Ф., Юдин А.В., Елисеичев Е.А., Панкратов М.В., Михайлов В.В. Формирование хватов антропоморфной бионической кисти Вестник машиностроения, Т. 103, № 11, С. 908-916 (год публикации - 2024)
10.36652/0042-4633-2024-103-11-908-916

8. Юдин А.В., Елисеичев Е.А., Блинов И.С. Применение математической модели антропоморфной бионической кисти для сокращения времени реабилитации Математические методы в технологиях и технике, Т. 26, № 1, С. 35-44 (год публикации - 2023)
10.18127/j15604136-202301-04

9. Безъязычный В.Ф., Елисеичев Е.А., Сенаторова Е.О., Юдин А.В., Гусев О.В. Обзор зарубежного рынка протезов верхней конечности с биоэлектрическим управлением Медицинская техника, №2 (334), С. 50-54 (год публикации - 2024)

10. Елисеичев Е.А., Тяптин А.А., Жилин Р.М., Воробьев П.С., Блинов И.С. Различия паттернов интерференционной миограммы с мышц предплечья при разных вариантах кистевого хвата Нервно-мышечные болезни, № 3 (14), С. 24-31 (год публикации - 2024)
10.17650/2222-8721-2024-14-3-24-31

11. Безъязычный В.Ф., Юдин А.В., Панкратов М.В., Елисеичев Е.А., Воробьев П.С., Блинов И.С. Классификация движений ИНС для управления бионической кистью Искусственный интеллект и принятие решений (год публикации - 2025)

12. Безъязычный В.Ф., Елисеичев Е.А., Сенаторова Е.О., Роенко О.Н., Михайлов В.В. Обзор отечественного рынка протезов верхней конечности с биоэлектрическим управлением Медицинская техника, № 1 (343), С. 48-51 (год публикации - 2024)

13. Безъязычный В.Ф., Юдин А.В., Михайлов В.В., Елисеичев Е.А., Панкратов М.В., Воробьев П.С., Блинов И.С. Оценка точности выполнения хватов антропоморфной бионической кисти Вестник машиностроения (год публикации - 2025)

Публикации

Аннотация результатов, полученных в 2024 году
1. Разработан и изготовлен стенд проверки формирования хватов. Функционально стенд делится на три основные части: система регистрации ЭМГ-данных, блок управления, исполнительное устройство. Система регистрации ЭМГ-данных состоит из двух компонентов – массив ЭМГ-датчиков и блок обработки данных (БОД). БОД данных имеет две гальванически развязанные части – регистрирующую и передающую. Принимающая часть обеспечивает регистрацию данных с ЭМГ-датчиков и преобразование их в цифровую форму. Передающая часть обеспечивает передачу этих данных на ПК и в блок управления. Блок управления объединяет в себе вычислительную часть и силовые компоненты для управления 6 микроприводами в исполнительной части стенда. Исполнительное устройство представляет собой антропоморфную бионическую кисть, закрепленную на технологическом основании. Система управления позволяет выполнять остановку движения пальцев по току и измерять время сгиба пальцев. 2. Произведена доработка системы распознавания команд хватов на основе паттернов ЭМГ-сигналов с помощью ИНС (ИНС1). Программная часть методического обеспечения включает в себя модуль предварительной обработки, представляющий собой набор инструментов для разметки сигнала и расчета признаков ЭМГ-сигнала. При проведении исследований применялся алгоритм определения участков мышечной активности по огибающей ЭМГ-сигнала с адаптивными порогами. Кроме того, применяется цифровая фильтрация сигналов с помощью цифрового фильтра Баттерворта 3-го порядка с полосой пропускания от 10 до 150 Гц. Для выявленных участков мышечной активности рассчитывались оценки сигнала. Само обучение ИНС1 проводилось средствами тулбокса ClassificationNeuralNetwork (Matlab) по 3 оценкам сигнала. Проведены испытания на здоровом и на ампутированном предплечье. Испытания проводили в два этапа. На первом этапе производился сбор данных мышечной активности предплечья для обучения ИНС1, а на втором этапе производилась проверка точности распознавания движений обученной ИНС1. По результатам испытаний на здоровом предплечье лучший результат распознавания составляет 85,75%. По результатам испытаний на ампутированном предплечье лучший результат распознавания – 51,67%, худший результат – 29,17%. Осуществлен перенос ИНС1 в портативное вычислительное устройство на базе микроконтроллера STM32L4R5ZI с помощью пакета расширений STM32Cube.AI для среды разработки. 3. С целью формирования предобученной ИНС для формирования управляющих воздействий при захвате предметов различных форм и размеров (ИНС2) по разработанной математической модели произведена генерация обучающих выборок. Для этого были определены 13 типовых объектов: кружка, стакан, молоток, теннисный мяч, кухонный нож, ручка для межкомнатных дверей, ручка-скоба, банковская карта, школьный дневник, кубик Рубика, шариковая ручка, шестигранная гайка, пятирублевая монета. Для генерации обучающих выборок разработан алгоритм автоматического формирования хватов для сгенерированных поверхностей. Произведен выбор структуры ИНС2 и ее обучение. Задачами ИНС2 является обобщение исходной информации о сформированных хватах при различных начальных условиях. Входными данными для ИНС2 являются координаты смещения объекта относительно кисти, а выходными значения управляющих координат. Используется двухслойная сеть прямого распространения с сигмоидальной функцией активации в скрытом слое и линейной функцией в выходном слое. Особое внимание следует уделить алгоритму обучения, приемлемый результат удалось получить только при применении алгоритма 'trainbr'. Функция trainbr обучает нейронную сеть, используя алгоритм Левенберга – Марквардта, дополненный регуляризацией по Байесу. Проведены натурные испытания по захватыванию объектов. Разница полученных значений углов сгибания/разгибания пальцев между моделированием (расчетная модель) и натурными испытаниями (стенд проверки формирования хватов) составила порядка 2-3 %. 4. Для проверки эффективности хватов всех предметов рационального набора применялось твердотельное динамическое моделирование. Для построения имитационной динамической модели кисти использовалась среда Simulink в составе пакета прикладных программ Matlab. Предварительно разработанная трёхмерная модель кисти в САПР SolidWorks импортирована в Simulink в виде блок-схемы, состоящей из блоков твёрдых тел, кинематических сопряжений, силовых элементов и других. Разработана методика определения взаимного расположения захватываемого объекта относительно кисти, применяемая для оценки эффективности хватов. Методика включает в себя: принятие допущений о начале координат, а также взаимном позиционировании кисти и объекта в пространстве; определение 4 граничных точек для оценки диапазона возможного расположения захватываемого объекта; многовариантное моделирование хвата предмета в каждой точке заданного диапазона (при фиксированном шаге между соседними точками); формирование набора значений управляющих координат, соответствующих точкам касания, для каждой точки диапазона. Разработана методика выявления рекомендуемых геометрических характеристик объектов, захватываемых биопротезом. Сначала задаются условные диапазоны изменения координат позиционирования объекта и его размеров, а также шаг изменения варьируемых параметров (определяемый требуемой точностью). Далее в системе Simulink проводится многовариантное моделирование хватов с перебором всех значений координат позиционирования объекта и его размеров. Результатом применения методики является диапазон размеров заданного объекта, выбранный хват в отношении которого будет успешно реализован кистью. 5. Выполнена реализация ИНС2 с помощью объектно-ориентированного языка Python. Для обучения нейронной сети использовалась библиотека Keras. Выполнено моделирование и сравнение результатов работы ИНС2 в варианте реализации в программном пакете Matlab и в варианте, реализованном на основе языка программирования Python. По результатам моделирования разность результатов классификации между двумя нейронными сетями составила не более 4,5%. Выполнен перенос (аналогично п.2) и проверка ИНС2 в портативно-вычислительном устройстве. 6. Проведены испытания стенда проверки формирования хватов с портативным вычислительным устройством в режиме реального времени. Испытания проводились на базе ЯГМУ Минздрава России при участии пациентов филиала «Ярославский» АО «Московское ПрОП», которые принимали участие в испытаниях ИНС1, отвечающей за распознавание хватов, и специалиста функциональной диагностики, врача-невролога. Испытания проводились на захватываемых объектах, которые были изготовлены из определенного минимально необходимого множества. Эффективность полученных результатов испытаний ИНС2 была определена по эффективности работы ИНС1. В результате было установлено полное соответствие движений, распознаваемых ИНС1 и реализуемых ИНС2.

Публикации

Возможность практического использования результатов
Полученные в рамках выполнения проекта научно-технические результаты (методики, алгоритмы, схемные решения и т.д.) потенциально могут быть использованы для создания мультимодального человеко-машинного взаимодействия для "умных" эндопротезов и экзоскелетов. Это позволит улучшить социальное качество жизни людей с утратами верхних и нижних конечностей, а также с проблемами опорно-двигательного аппарата.