Женщина с параличом может говорить, думая с помощью мозгового имплантата и искусственного интеллекта

Экспериментальный интерфейс позволяет пациентке общаться через цифровой аватар, и это быстрее, чем ее нынешняя система.

Уилл Салливан

Ежедневный корреспондент

После того, как Энн Джонсон перенесла инсульт 18 лет назад, ее парализовало и она потеряла способность говорить. Теперь, с помощью мозгового имплантата и искусственного интеллекта, она снова может общаться устно через цифровой аватар.

В исследовании, опубликованном на прошлой неделе в журнале Nature, ученые имплантировали на поверхность мозга Энн множество электродов, чтобы передавать ее мозговую активность на компьютеры. Там алгоритмы ИИ преобразуют сигналы в слова. После небольшой задержки экранный аватар произносит слова Энн вслух и передает ее чувства мимикой лица.

«Нет ничего, что могло бы передать, насколько приятно видеть, как что-то подобное действительно работает в реальном времени», — сказал Эдвард Чанг, соавтор исследования и нейрохирург из Калифорнийского университета в Сан-Франциско (UCSF), на конференции новостной брифинг, согласно Арии Бендикс из NBC News.

«Это настоящий скачок по сравнению с предыдущими результатами», — говорит Ник Рэмси, нейробиолог из Утрехтского университета в Нидерландах, который не принимал участия в исследовании, рассказал корреспонденту Guardian Ханне Девлин. «Мы находимся на переломном этапе».

Согласно заявлению UCSF, в настоящее время Энн общается с помощью устройства, которое позволяет ей печатать слова на экране, двигая головой. Это устройство производит всего 14 слов в минуту, а разговорная человеческая речь в среднем составляет около 160 слов в минуту. Но благодаря новому интерфейсу, который Энн может использовать только в рамках исследования, она может произносить 78 слов в минуту, что приближает ее к естественному темпу речи. Устройство расшифровало ее предполагаемую речь с точностью около 75 процентов.

Интерфейс является большим шагом вперед по сравнению с более ранней версией той же исследовательской группы, которая переводила предполагаемую речь в текст со скоростью 15 слов в минуту, пишет Эмили Маллин из Wired.

Усовершенствованная система основана на имплантате с 253 электродами, расположенном над частями мозга, важными для общения. До инсульта Энн эти области мозга посылали сигналы мышцам, участвующим в речи, например мышцам гортани, губ и языка. Теперь кабель, подключенный к порту на голове Энн, передает сигналы на компьютеры.

Затем ИИ переводит эти сигналы в отдельные звуки — фрагменты слов, называемые фонемами. Затем он объединяет фонемы в слова. Цифровой аватар, который произносит эти слова, был спроектирован так, чтобы выглядеть как Энн, а его голос был обучен так, чтобы он звучал как она, используя фрагменты ее речи в ее свадебном видео. Лицо аватара также движется и визуально выражает эмоции на основе сигналов мозга Энн.

«Простой факт слышать голос, похожий на ваш собственный, вызывает эмоции», — сказала Энн исследователям после исследования, по словам Мирьям Наддаф из Nature News.

Энн пришлось тренироваться с интерфейсом неделями, молча повторяя одни и те же фразы снова и снова, чтобы он мог понимать сигналы ее мозга. В ходе этих испытаний алгоритм научился распознавать термины из банка из 1024 разговорных слов.

«Она чрезвычайно предана своему делу и трудолюбива», — рассказывает Эрин Пратер из Fortune Кайло Литтлджон, соавтор исследования и инженер-электрик из Калифорнийского университета в Сан-Франциско. «Она готова записывать столько, сколько необходимо, и она действительно понимает, что ее усилия будут направлены на создание речевого нейропротеза, которым смогут пользоваться многие люди с такого рода инвалидностью».

Во втором исследовании разных исследователей, опубликованном в тот же день в журнале Nature, женщина, потерявшая способность говорить из-за БАС, использовала другой речевой интерфейс «мозг-компьютер», который преобразует предполагаемую речь в текст. Интерфейс декодировал ее речь со скоростью 62 слова в минуту с вероятностью ошибок 23,8 процента при словарном запасе в 125 000 слов.

«Теперь можно представить будущее, в котором мы сможем восстановить плавность разговора с человеком, страдающим параличом, позволяя ему свободно говорить все, что он хочет сказать, с достаточно высокой точностью, чтобы его можно было достоверно понять», — Фрэнк Уиллетт, соавтор исследования вторая статья и научный сотрудник Стэнфордского университета, заявил на брифинге для прессы, согласно Wired.