Ученый из лаборатории речевых и многомодальных интерфейсов Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) Дмитрий Рюмин сказал:
"Мы получил запрос из организации для реабилитации глухих людей с проблемой посещения больниц. Для того чтобы подробно описать жалобы, глухой пациент должен брать с собой переводчика, которых очень мало. Для решения этой проблемы мы разработали программное обеспечение, которое распознает язык жестов и преобразует его в текст", - рассказал агентству Дмитрий Рюмин.
Аппарат работает по принципу: видеокамера фиксирует жесты пациентов, затем программа автоматически трансформирует язык жестов в текст в онлайн режиме. Специалисты говорят, что умная система переводит на 90% точно.
Базу, которая легла в основу такого способа распознавания, была аккумулирована сотрудниками СПб ФИЦ РАН и центром реабилитации лиц с проблемами слуха города Павловска.
В датасете больше 80 жестовых высказываний, которые чаще всего употребляют глухие пациенты. Они есть в голосовм воспроизведении 12 дикторов в пяти вариантах. Эту помогает машине лучше распознавать и считывать язык жестов в онлайне.
Ранее мы писали о том, что инвалиды по слуху получат доступные и качественные средства реабилитации. Во Фрязино производят слуховые аппараты, которые не уступают мировым аналогам.