Японский холдинг SoftBank разработала набор алгоритмов, который в режиме реального времени переводит язык жестов в текст. На данный момент выпущена альфа-версия приложения для ограниченного круга пользователей.
Начиная с 2017 года SoftBank работает над ИИ-переводчиком с языка жестов. Им, совместно с учеными из стартапа Abeja и Токийского университета, удалось разработать набор алгоритмов, который изучил более 50 тыс. видео с движениями рук, характерными для языка жестов. Это позволило программе выучить около 5 тыс. размеченных слов, необходимых для повседневного общения. У искусственного интеллекта получается переводить слова на языке жестов на японский за 1 секунду или быстрее.
Сейчас разработчики работают над улучшением алгоритма анализа жестов и повышением точности перевода. Как и с разговорной речью, люди, общающиеся на языке жестов, коммуницируют с разной скоростью. Также и положение рук варьируется в зависимости от индивидуальных особенностей каждого человека. В среднем ИИ переводит с точностью более 90%, однако при необычной или очень быстрой жестикуляции точность падает до 50%. Чтобы повысить скорость распознавания знаков, алгоритму необходимо считать более 100 вариаций одного жеста на каждое слово.
На данный момент алгоритм от SoftBank работает на базе популярных видеомессенджеров, преобразуя слова говорящего и жесты плохослышащего в текст, который отображается на экране.
В ближайшие месяцы SoftBank предоставит доступ к алгоритму для японских организаций, которые специализируются на поддержке людей с нарушениями слуха и речи. После улучшения работы ИИ, алгоритмы будут переданы медицинским центрам и операторам общественного транспорта. И только в 2024 году ИИ-переводчик попадет в открытый доступ.