Новости

3 февраля, 2023 11:11

В Санкт-Петербурге создали систему для общения врачей с глухими пациентами

Источник: ТАСС.Наука
Специалисты Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) разработали цифровую систему, которая позволяет пациентам с нарушениями слуха общаться с врачами и получать необходимую помощь. Новая программа распознает язык жестов в медицинской сфере и преобразует его в текст для врачей в режиме реального времени, сообщил ТАСС старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрий Рюмин. Проект поддержан грантом РНФ, специалисты института планируют продолжить разработки для повышения качества жизни глухих людей. Результаты исследования опубликованы в научном журнале Scientific and Technical Journal of Information Technologies, Mechanics and Optics.
Источник: Drazen Zigic/Freepik
«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Для того чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», - рассказал агентству Дмитрий Рюмин.Разработанная система функционирует следующим образом: установленная видеокамера фиксирует жесты пациентов, после этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы, по словам разработчиков, составляет более 90%.

В основу системы легла база данных, собранная специалистами СПб ФИЦ РАН совместно с межрегиональным центром реабилитации лиц с проблемами слуха города Павловска. Датасет включает в себя 85 жестовых высказываний, актуальных для приема у врача, каждое из которых записано 12 дикторами в пяти вариантах. Такое разнообразие необходимо для повышения точности машинного обучения и считывания языка жестов пациентов в реальных условиях.

Это связано с тем, что русский жестовый язык (РЖЯ) может отличаться в разговорах людей разного возраста, пола, региона происхождения. Кроме того, в России кроме "литературного" РЖЯ существует живая "калькирующая жестовая речь", которая отличается от базового языка жестов. Этот фактор также учтен в созданной системе.

Ученые напомнили, что, согласно данным ВОЗ, на 2021 год в мире насчитывалось примерно 466 млн человек (более 5% от общего количества населения земного шара, из них 34 млн - дети), которые страдают полной глухотой или испытывают проблемы со слухом. Такие люди испытывают трудности в получении государственных услуг, в том числе в медицине.

11 апреля, 2024
Гомологический подход поможет подбирать материалы для топливных элементов
Ученые впервые применили гомологический подход, чтобы описать механизм кислородного обмена в одном и...
11 апреля, 2024
Создана долгоживущая культура клеток для регенеративной медицины
Российские молекулярные биологи выяснили, что продолжительность жизни культур MSC-стволовых клеток...