Исследователи из Техасского университета в Остине создали неинвазивный семантический декодер — систему, способную преобразовать мозговую активность человека во время прослушивания истории или работы воображения в непрерывный поток текста, пишет hightech.fm.
Разработка в будущем поможет общаться людям, которые находятся в сознании, но не могут говорить, например, после перенесенного инсульта.
Чтобы научить систему распознавать речь, ее обучают на паттернах мозговой активности конкретного человека. Участника помещают в сканер для функциональной МРТ (фМРТ), где он в течение нескольких часов слушает подкасты, в то время как система записывает данные об активности мозга.
Обученный на основе такого набора данных семантический декодер позволяет довольно точно распознавать мысли человека при прослушивании других подкастов или истории, которые он рассказывает в воображении.
Результат не является дословной расшифровкой сказанного - он лишь улавливает суть высказывания и передает главную мысль. Генерируемый ИИ текст близко (реже точно) соответствует предполагаемому значению исходных слов. Например, для участника, который слышал фразу "У меня еще нет водительских прав", декодер генерировал текст: "Она еще даже не начала учиться водить".
Хотя такая система все еще несовершенна — это большой прогресс для неинвазивных систем распознавания речи, отмечают исследователи. Предыдущие разработки требовали имплантируемых в мозг устройств и работали только с ограниченным запасом слов.
Для практического применения потребуется дальнейшее развитие технологии: как в части точности распознавания речи, так и в отсутствии необходимости для участника постоянно находиться в сканере фМРТ.