Интерфейс «мозг-компьютер» обещает декодирование внутренней речи в реальном времени
Ученые выявили активность мозга, связанную с внутренней речью — безмолвным монологом в головах людей — и успешно расшифровали ее по команде с точностью до 74%.
Результаты их исследования , опубликованные в журнале Cell , могут помочь людям, неспособным говорить вслух, легче общаться, используя технологии интерфейса «мозг-компьютер» (BCI), которые начинают транслировать внутренние мысли, когда участник мысленно произносит пароль.
«Впервые нам удалось понять, как выглядит активность мозга, когда вы просто думаете о разговоре», — говорит ведущий автор Эрин Кунц из Стэнфордского университета.
«Для людей с тяжелыми нарушениями речи и моторики нейрокомпьютерные интерфейсы, способные декодировать внутреннюю речь, могут помочь им общаться гораздо легче и естественнее».
В последнее время нейрокомпьютерные интерфейсы (НКИ) стали инструментом помощи людям с ограниченными возможностями. Используя датчики, имплантированные в области мозга , отвечающие за движение, НКИ-системы могут декодировать нейронные сигналы, связанные с движением, и преобразовывать их в действия, например, движение протеза руки.
Исследования показали, что нейрокомпьютерные интерфейсы способны даже декодировать речевые попытки людей с параличом. Когда пользователи физически пытаются говорить вслух, задействуя мышцы, связанные с воспроизведением звуков, нейрокомпьютерные интерфейсы могут интерпретировать результирующую активность мозга и печатать то, что они пытаются сказать, даже если сама речь неразборчива.
Хотя общение с помощью BCI происходит гораздо быстрее, чем старые технологии, включая системы, отслеживающие движения глаз пользователя для набора слов, попытки говорить по-прежнему могут быть утомительными и медленными для людей с ограниченным контролем над мышцами.
Команда задалась вопросом, могут ли нейрокомпьютерные интерфейсы вместо этого декодировать внутреннюю речь.
«Если вам просто нужно думать о речи, а не пытаться говорить на самом деле, это потенциально проще и быстрее для людей», — говорит Беньямин Мешеде-Краса, соавтор статьи из Стэнфордского университета.
Команда регистрировала нейронную активность микроэлектродов, имплантированных в двигательную кору — область мозга, отвечающую за речь, — четырёх участников с тяжёлым параличом, вызванным либо боковым амиотрофическим склерозом (БАС), либо инсультом ствола мозга. Исследователи попросили участников либо попытаться заговорить, либо представить, что они произносят набор слов.
Они обнаружили, что произнесенная речь и внутренняя речь активируют перекрывающиеся области мозга и вызывают схожие паттерны нейронной активности, однако внутренняя речь, как правило, демонстрирует более слабую степень активации в целом.
Используя данные внутренней речи, команда обучила модели искусственного интеллекта интерпретировать воображаемые слова. В ходе демонстрации концепции BCI смог декодировать воображаемые предложения из словарного запаса объёмом до 125 000 слов с точностью до 74%.
BCI также смог уловить то, что некоторым участникам внутренней речи никогда не было поручено произносить, например, цифры, когда участников просили подсчитать розовые круги на экране.
Команда также обнаружила, что, хотя попытки произнести речь и внутренняя речь вызывают схожие паттерны нейронной активности в двигательной коре, они достаточно различаются, чтобы их можно было надёжно различить. Старший автор Фрэнк Уиллетт из Стэнфордского университета говорит, что исследователи могут использовать это различие для обучения нейрокомпьютерных интерфейсов полностью игнорировать внутреннюю речь.
Для пользователей, желающих использовать внутреннюю речь в качестве метода более быстрого или простого общения, команда также продемонстрировала механизм, управляемый паролем, который не позволит BCI декодировать внутреннюю речь, если только он временно не разблокирован с помощью выбранного ключевого слова.
В ходе эксперимента пользователи могли произнести фразу «chitty chitty bang bang», чтобы начать декодирование внутренней речи. Система распознала пароль с точностью более 98%.
Хотя существующие системы BCI не способны декодировать внутреннюю речь в свободной форме, не допуская существенных ошибок, исследователи утверждают, что в будущем более продвинутые устройства с большим количеством датчиков и лучшими алгоритмами смогут делать это.
«Будущее нейрокомпьютерных интерфейсов (НКИ) светлое», — говорит Уиллетт. «Эта работа даёт реальную надежду на то, что речевые НКИ однажды смогут восстановить общение, столь же плавное, естественное и комфортное, как разговорная речь ».