Разработка позволит повысить качество жизни людей с ограниченными возможностями и упростит их взаимодействие с различными видами техники.
Исследователи Санкт-Петербургского Федерального исследовательского центра Российской академии наук (СПб ФИЦ РАН) научили нейросеть распознавать несколько десятков слов русского жестового языка на основе анализа видео.
В мире от проблем со слухом страдает несколько сотен миллионов человек, и это количество ежегодно увеличивается. В частности, в России проживает более 13 млн людей с нарушением слуха, из них более 1 млн — дети.
Для общения эти люди используют специальный язык жестов, который различается в зависимости от стран и диалектов. Этот фактор усложняет возможность использования цифровых помощников, управляемых голосом, на смартфонах, компьютерах и других системах.
При этом, машинный перевод с жестовых языков более сложен по сравнению с обработкой звучащих языков из-за дополнительной задачи распознавания динамических жестов.
Ученые СПб ФИЦ РАН создали специальную систему на основе нейросети, которая для обучения использует жесты людей, зафиксированные на видеозаписи.
На основе этих данных были созданы трехмерные модели, благодаря которым система училась распознавать определенные жесты.
В качестве респондентов в исследовании участвовали студенты и преподаватели Межрегионального центра реабилитации лиц с проблемами слуха города Павловска. Всего в учреждении для исследования было отснято более 3 тыс. видеозаписей.
«Мы испытали нейросеть в лабораторных условиях. Для этого был создан прототип специальной роботизированной тележки для супермаркетов, на которой разместилась камера и портативный компьютер с программным обеспечением для распознавания жестов.
Глухой человек на языке жестов объяснял, зачем он пришел в магазин, а тележка вела его к месту, где лежит нужный покупателю товар. На выборке жестов, которую мы использовали для обучения, точность распознавания составила более 90%», — рассказал Дмитрий Рюмин, старший научный сотрудник Санкт-Петербургского института информатики и автоматизации РАН (СПИИРАН — входит в СПб ФИЦ РАН).
Проект реализован в 2018-2020 гг. в ходе Федеральной целевой программы совместно с учеными из Чехии. В дальнейшем исследователи планируют усовершенствовать систему.