Новый интерфейс «мозг-компьютер» (BCI), разработанный в UC Davis Health, преобразует сигналы мозга в речь с точностью до 97% — самая точная система в своем роде.

Исследователи имплантировали датчики в мозг мужчины с тяжелым нарушением речи из-за бокового амиотрофического склероза (БАС). Мужчина смог произнести нужную речь в течение нескольких минут после активации системы.

Исследование этой работы было опубликовано в журнале New England Journal of Medicine .

БАС, также известный как болезнь Лу Герига, поражает нервные клетки, которые контролируют движение по всему телу. Заболевание приводит к постепенной потере способности стоять, ходить и использовать руки. Оно также может привести к потере контроля над мышцами, используемыми для речи, что приводит к потере понятной речи.

Новая технология разрабатывается для восстановления общения для людей, которые не могут говорить из-за паралича или неврологических заболеваний, таких как БАС. Она может интерпретировать сигналы мозга, когда пользователь пытается говорить, и превращать их в текст, который «произносится» вслух компьютером.

«Наша технология BCI помогла парализованному человеку общаться с друзьями, семьей и опекунами», — сказал нейрохирург Калифорнийского университета в Дэвисе Дэвид Брэндман. «В нашей статье демонстрируется самый точный речевой нейропротез (устройство), когда-либо созданный».

Брэндман является со-главным исследователем и со-старшим автором этого исследования. Он является доцентом кафедры нейрохирургии Калифорнийского университета в Дэвисе и со-директором Лаборатории нейропротезирования Калифорнийского университета в Дэвисе.

Новый BCI разрушает барьеры в общении
Когда кто-то пытается говорить, новое устройство BCI преобразует активность его мозга в текст на экране компьютера. Затем компьютер может прочитать текст вслух.

Кейси Харрелл со своим личным помощником Эммой Алаймо и нейробиологом из Калифорнийского университета в Дэвисе Сергеем Стависким. Автор: UC Regents
Для разработки системы команда включила в клиническое исследование BrainGate Кейси Харрелла, 45-летнего мужчину с БАС. На момент регистрации у Харрелла была слабость в руках и ногах (тетрапарез). Его речь было очень трудно понять (дизартрия), и ему требовалась помощь в переводе.

В июле 2023 года Брандман имплантировал исследуемое устройство BCI. Он поместил четыре массива микроэлектродов в левую прецентральную извилину, область мозга, отвечающую за координацию речи. Массивы предназначены для регистрации активности мозга с 256 кортикальных электродов.

«Мы действительно фиксируем их попытки двигать мышцами и говорить», — пояснил нейробиолог Сергей Ставиский. Ставиский — доцент кафедры нейрохирургии. Он является содиректором лаборатории нейропротезирования Калифорнийского университета в Дэвисе и соруководителем исследования.

«Мы записываем ту часть мозга, которая пытается послать эти команды мышцам. И мы, по сути, слушаем это и переводим эти паттерны мозговой активности в фонему — например, слог или единицу речи — а затем в слова, которые они пытаются сказать».

Более быстрое обучение, лучшие результаты
Несмотря на недавние достижения в области технологии BCI, попытки обеспечить коммуникацию были медленными и подверженными ошибкам. Это связано с тем, что программы машинного обучения, интерпретирующие сигналы мозга , требовали большого количества времени и данных для выполнения.

«Предыдущие речевые системы BCI часто допускали ошибки в словах. Это затрудняло последовательное понимание пользователя и было препятствием для общения», — объяснил Брандман. «Наша цель состояла в том, чтобы разработать систему, которая позволяла бы человеку быть понятым, когда бы он ни захотел говорить».

Харрелл использовал систему как в подсказываемых, так и в спонтанных разговорных ситуациях. В обоих случаях декодирование речи происходило в режиме реального времени, с постоянными обновлениями системы для поддержания ее точной работы.

Расшифрованные слова были показаны на экране. Удивительно, но они были прочитаны вслух голосом, который звучал как голос Харрелла до того, как у него появился БАС. Голос был составлен с помощью программного обеспечения, обученного на существующих аудиообразцах его голоса до БАС.

Постдокторант и ведущий автор исследования Николас Кард готовит систему BCI. Кредит: UC Regents
На первом сеансе обучения речевым данным системе потребовалось 30 минут, чтобы достичь точности распознания слов в 99,6% при словарном запасе в 50 слов.

«Когда мы впервые опробовали систему, он плакал от радости, когда слова, которые он пытался правильно произнести, появлялись на экране. Мы все так делали», — сказал Стависки.

Во втором сеансе размер потенциального словарного запаса увеличился до 125 000 слов. Всего за 1,4 часа дополнительных данных для обучения BCI достиг точности слов 90,2% с этим значительно расширенным словарным запасом. После продолжения сбора данных BCI сохранил точность 97,5%.

«На данный момент мы можем правильно расшифровать то, что Кейси пытается сказать, примерно в 97% случаев, что лучше, чем многие коммерчески доступные приложения для смартфонов, которые пытаются интерпретировать голос человека», — сказал Брандман. «Эта технология преобразующая, потому что она дает надежду людям, которые хотят говорить, но не могут. Я надеюсь, что такая технология, как речевой BCI, поможет будущим пациентам общаться со своей семьей и друзьями».

Исследование содержит данные о 84 сессиях сбора данных за 32 недели. В общей сложности Харрелл использовал речевой BCI в самостоятельных беседах в течение более 248 часов для общения лично и в видеочате.

«Невозможность общаться так расстраивает и деморализует. Это как будто ты в ловушке», — сказал Харрелл. «Что-то вроде этой технологии поможет людям вернуться в жизнь и общество».

«Было невероятно приятно видеть, как Кейси вновь обрел способность общаться с семьей и друзьями благодаря этой технологии», — сказал ведущий автор исследования Николас Кард. Кард — научный сотрудник, получивший докторскую степень в отделении нейрохирургии Калифорнийского университета в Дэвисе.

«Кейси и другие наши участники BrainGate действительно необыкновенные. Они заслуживают огромной благодарности за присоединение к этим ранним клиническим испытаниям. Они делают это не потому, что надеются получить какую-то личную выгоду, а чтобы помочь нам разработать систему, которая восстановит коммуникацию и подвижность для других людей с параличом», — сказал соавтор и спонсор-исследователь испытания BrainGate Ли Хохберг.

Хохберг — невролог и нейробиолог в Массачусетской больнице общего профиля, Университете Брауна и системе здравоохранения Министерства по делам ветеранов Провиденс.