Разработка позволила снизить коэффициент ошибок при прочтении омонимов и расшифровке сокращений. Алгоритм LUWRAIN Books размещен в свободном доступе.
LUWRAIN Books, используя системы глубокого обучения, преобразует русскоязычный текст в устную речь. Эта возможность необходима при издании аудиокниг, созданных синтезаторами речи, и при озвучивании сайтов.
Сложность задачи в том, что только при понимании текста возможна корректная обработка сокращений. Например, когда в тексте есть фрагмент «я получил письмо от о. Петра», человек понимает, что сокращение «о.» в данном случае означает «отца», но для компьютера произвести подобную подстановку невозможно без задействования нейронных сетей.
«При обработке текста мы использовали две нейросети: одна – мелкая, для семантического анализа, нужного для снятия неопределённости сокращений, вторая – глубокая, двунаправленная, для синтаксического анализа текста. Именно вторая определяет, что в предложении “мы положили литературу XIX в. в цифровой ларец” слово “литература” стоит в родительном падеже, поэтому при расшифровке будет произнесено “девятнадцатого”», – объясняет доцент кафедры теоретических основ информатики Института прикладной математики и компьютерных наук Томского госуниверситета Михаил Пожидаев.
Отдельной проблемой при расшифровке текста выступает наличие двух и более сокращений в одном предложении. «Мы забрались на вершину г. Эверест, а потом вернулись в г. Томск» – пример того, как в тексте «г.» используется в двух вариантах: город и гора. В этом случае нейросеть на основе смыслового анализа окружающих слов корректно определяет, как это озвучивать.
«Мы давно над этим работали, но задача крайне непростая, и без современных интеллектуальных алгоритмов такую обработку провести невозможно. Форма на сайте может пока работать нестабильно, так как это экспериментальный режим. Но с таким инструментом можно почти целиком исключить использование ручного труда при автоматизации выпуска аудиокниг, который пока необходим в большинстве случаев», – добавил Михаил Пожидаев.
Над сервисом ученые Томского госуниверситета работают в партнерстве с компанией «Директ-Медиа», которая в прошлом году сделала первый заказ на озвучивание 100 книг. В настоящий момент исследователи занимаются автоматизацией процесса для увеличения количества выпускаемых книг.
Также еще предстоит устранить оставшийся процент ошибок и вывести проект на рынок. При этом принципиальна и социальная составляющая – для незрячих людей сервис и дальше будет работать бесплатно, его эффективность уже опробовали в школе-интернате для детей с нарушениями зрения.