«К нам обратились представители одной из организаций для реабилитации глухих людей с проблемой посещения больниц. Для того чтобы подробно объяснить свой недуг, глухой пациент вынужден брать с собой переводчика, которых часто не хватает. Для решения этой задачи мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст», - рассказал агентству Дмитрий Рюмин.Разработанная система функционирует следующим образом: установленная видеокамера фиксирует жесты пациентов, после этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы, по словам разработчиков, составляет более 90%.
В основу системы легла база данных, собранная специалистами СПб ФИЦ РАН совместно с межрегиональным центром реабилитации лиц с проблемами слуха города Павловска. Датасет включает в себя 85 жестовых высказываний, актуальных для приема у врача, каждое из которых записано 12 дикторами в пяти вариантах. Такое разнообразие необходимо для повышения точности машинного обучения и считывания языка жестов пациентов в реальных условиях.
Это связано с тем, что русский жестовый язык (РЖЯ) может отличаться в разговорах людей разного возраста, пола, региона происхождения. Кроме того, в России кроме "литературного" РЖЯ существует живая "калькирующая жестовая речь", которая отличается от базового языка жестов. Этот фактор также учтен в созданной системе.
Ученые напомнили, что, согласно данным ВОЗ, на 2021 год в мире насчитывалось примерно 466 млн человек (более 5% от общего количества населения земного шара, из них 34 млн - дети), которые страдают полной глухотой или испытывают проблемы со слухом. Такие люди испытывают трудности в получении государственных услуг, в том числе в медицине.
