Когда Вальтера спросили, хочет ли он кофе, его виртуальный аватар дал неожиданный ответ: вместо того чтобы кивнуть, он помахал на прощание. Эта забавная ошибка показывает серьёзную проблему: когда технология говорит за человека, неверный жест может изменить смысл всего разговора.
Вальтер, у которого боковой амиотрофический склероз, или БАС, знает, как много теряется, когда общение становится трудным. Его речь стала невнятной примерно за полгода. В итоге он мог общаться только с помощью электронной почты, программ преобразования текста в речь и телефонных служб-посредников. БАС — это прогрессирующее неврологическое заболевание, которое повреждает нервные клетки, отвечающие за произвольные движения мышц. Оно постепенно влияет на способность человека говорить, глотать, двигаться и дышать, но не обязательно нарушает мышление.
«Пытаешься как-то поддерживать общение, но приходится жертвовать всем, кроме самого необходимого, — говорит Вальтер. — Для эмоций и жестов совсем не остаётся места».
В поисках более эффективного способа общения Вальтер начал изучать мозговые компьютерные интерфейсы. На вебинаре Ассоциации БАС он узнал об исследовании нейрохирурга Эдварда Чанга из Калифорнийского университета в Сан-Франциско. Вальтер сам связался с командой учёных, не испугавшись необходимости вживить имплантат. Болезнь сокращает его жизнь, и он увидел в участии возможность помочь развитию технологии, которая пригодится будущим пациентам.
Команда начала работать с Вальтером летом 2025 года. Систему постепенно обучали распознавать его попытки говорить и двигаться — сначала по отдельности, а затем вместе. «Каждый шаг и достижение казались увлекательными и в то же время невероятными», — вспоминает он. Но решающий момент наступил, когда аватар успешно расшифровал его речь и жесты одновременно.
Какой великий рубеж!
— Вальтер
Как это работает
Мозговой компьютерный интерфейс, разработанный исследователями, одновременно расшифровывает попытки речи и жестов с помощью одного имплантата. Эти сигналы переводятся в слова и движения, которые выполняет персонализированный виртуальный аватар. Исследование, опубликованное в журнале Nature Neuroscience, даёт представление о технологии, способной восстановить нечто большее, чем просто слова, — выразительные стороны человеческого общения.
Процесс начинается с электрокортикографии — записи электрической активности с электродов, размещённых на поверхности мозга. Имплантат покрывает обширную область сенсомоторной коры, которая участвует в управлении речью и движениями. Разные участки этой коры связаны с разными движениями тела, что даёт подсказки моделям машинного обучения для различения попыток речи и жестов.
Однако исследователи столкнулись с неожиданной сложностью. «Нас удивило, что модели, обученные на речи и жестах по отдельности, работали хуже, когда участники пытались делать и то и другое одновременно», — говорит Саманта Брослер, исследовательница из Калифорнийского университета и одна из первых соавторов исследования.
Проблема заключалась в пересекающейся нейронной активности. Некоторые области мозга реагируют и при попытке говорить, и при попытке жестикулировать, и характер их активности может меняться, когда эти действия происходят вместе. Дженнифер Коллинджер, исследовательница нейропротезов из Питтсбургского университета, не участвовавшая в работе, называет это контекстно-зависимой нейронной активностью. Она объясняет, что нейронная активность, связанная с определённым движением, например взмахом руки, может различаться в зависимости от того, говорит ли человек в этот момент.
Чтобы решить эту проблему, команда под руководством Эдварда Чанга обучила две параллельные модели, используя записи, на которых участники пытались говорить и жестикулировать как по отдельности, так и вместе. Например, когда участник пытался сказать «привет» и одновременно махал рукой, полученная нейронная активность использовалась для обучения одной модели распознаванию фразы, а другой — распознаванию движения. Такое комбинированное обучение улучшило качество расшифровки.
Обнадёживает то, что модели смогли распознать некоторые комбинации речи и жестов, с которыми не сталкивались во время обучения. Это важно, поскольку научить систему всем возможным сочетаниям человеческих слов и движений было бы непрактично.

Что дальше
В исследовании участвовали три человека с параличом, хотя основные эксперименты с одновременной речью и жестами проводились с двумя. Система одного из участников с БАС была протестирована на десяти заранее определённых фразах, таких как «привет», «спасибо», «приятно познакомиться», и десяти жестах, включая взмах рукой, кивок, пожимание плечами и рукопожатие. Аватар мог сочетать их, позволяя, например, сказать «привет», помахав рукой. Учёные проверили все сто возможных пар фраз и жестов. Во время тестирования в реальном времени точность расшифровки речи достигла 70%, а жестов — 66%.
Дженнифер Коллинджер считает эти результаты обнадёживающими, но подчёркивает их экспериментальный характер. Система не генерировала спонтанную беседу, а распознавала заранее определённые фразы, отображая их в виде текста, и запускала анимацию аватара при обнаружении жестов.
Это поднимает вопросы о контроле со стороны пользователя. Случайное прощание Вальтера было забавным, но неверный жест в другой ситуации может исказить намерения человека. По словам Коллинджер, обратная связь с пользователем необходима, чтобы технология передавала именно то, что человек хочет сказать.
В будущих версиях системы пользователи могли бы подтверждать или исправлять расшифрованный результат, возможно, с помощью отслеживания взгляда, говорит Саманта Брослер. Сейчас система требует проводного подключения к внешним компьютерам. Для повседневного использования понадобится беспроводная передача данных, портативность и уменьшение задержек. По словам Брослер, для этого предстоит решить несколько инженерных задач: уменьшить размеры компонентов, добиться надёжной записи нейронных сигналов, снизить энергопотребление и тепловыделение.
У Вальтера свои приоритеты. «Это двусторонний процесс обучения — и для аватара, и для пациента», — объясняет он. Идеальное решение, по его мнению, должно расшифровывать нейронные сигналы пользователя, а беспроводная мобильность и менее инвазивные технологии могли бы сделать такие системы более привлекательными.
Он вспоминает один из успешных диалогов в ходе эксперимента, когда система без ошибок расшифровала его попытки говорить и жестикулировать одновременно: «Я был так тронут реакцией аватара на мои „мысли“, что не мог сдержать смех от чистой радости». Несмотря на ограничения, Вальтер называет свой аватар «цифровым двойником», чьи движения отражают его намерения и личность.
Для Дженнифер Коллинджер опыт Вальтера показывает, почему успех нельзя измерять одной лишь точностью. «Восстановление способности общаться измеряется не только в словах в минуту», — говорит она. Независимость, отношения, участие в жизни общества и самовыражение тоже имеют значение.
Эксперимент пока не вернул людям возможность вести естественную беседу без ограничений. Но он показывает, что будущее мозговых компьютерных интерфейсов, возможно, зависит от понимания общения как чего-то большего, чем просто передача слов, — и от предоставления людям большего контроля над всем тем, что словами не выразить.




Письма читателей