Сибирские ученые впервые добились от программы 90% распознавания жестового языка

Специалисты Новосибирского государственного технического университета НЭТИ завершают разработку уникальной системы для распознавания русского жестового языка. Она распознает движения с помощью камер и нейронных сетей и переводит их в текст или голос.

«Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка. Сделали программное обеспечение распознавания жестов и их компонент, точность которого составляет до 90%. Сейчас мы работаем над улучшением этого показателя», — рассказал профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф.

Сейчас ученые продолжают работать над распознаванием дактильной азбуки — вспомогательной системы русского жестового языка, где каждому жесту соответствует буква. На данный момент точность ее распознавания составляет 92%.

Еще одной сложной задачей стало выделение эпентезы — движения между жестами. Нейросеть обучали на 350 записанных предложениях на жестовом языке. В результате она верно определяет начало и конец жеста в 85—90% случаев.

Теперь специалисты сосредоточились на разработке и внедрении компьютерного переводчика, качество которого удовлетворит требованиям глухих людей. Сначала они планируют разработать переводчик для русского жестового языка, а в дальнейшем и для других жестовых языков мира.

• #IT