Людям, страдающим афазией — заболеванием мозга, которым страдают около миллиона человек в США, — трудно облекать свои мысли в слова и понимать устную речь.

Пара исследователей из Техасского университета в Остине продемонстрировали инструмент на основе ИИ, который может переводить мысли человека в непрерывный текст, не требуя от него понимания произнесенных слов. А процесс обучения инструмента на основе уникальных моделей мозговой активности человека занимает всего около часа.

Это основано на более ранней работе команды по созданию декодера мозга , который требовал многочасовой тренировки на мозговой активности человека, слушающего аудиоистории. Это последнее достижение предполагает, что интерфейсы мозг-компьютер могут улучшить коммуникацию у людей с афазией при дальнейшем усовершенствовании.

«Возможность доступа к семантическим представлениям с использованием как языка , так и зрения открывает новые двери для нейротехнологий, особенно для людей, которые испытывают трудности с воспроизведением и пониманием языка», — сказал Джерри Танг, научный сотрудник Техасского университета в лаборатории Алекса Хута и первый автор статьи, описывающей работу в Current Biology . «Это дает нам возможность создавать языковые интерфейсы мозг-компьютер, не требуя при этом никакого понимания языка».

Играть

00:00
04:47
Немой

Настройки
ПИП
Перейти в полноэкранный режим
Играть
Реакции BOLD фМРТ с одной пробой были записаны и декодированы, пока субъект S3 смотрел автономный клип из короткометражного фильма «Синтел» без звука (Blender Foundation; https://www.sintel.org ). Каждый кадр показывается в то время, когда он был представлен субъекту, и каждое декодированное слово показывается в его прогнозируемое время. Кредит: Current Biology (2025). DOI: 10.1016/j.cub.2025.01.024
В более ранней работе команда обучила систему, включая модель трансформатора, похожую на ту, что используется ChatGPT, для перевода мозговой активности человека в непрерывный текст. Полученный семантический декодер может выдавать текст независимо от того, слушает ли человек аудиорассказ , думает о том, чтобы рассказать историю, или смотрит немое видео, рассказывающее историю. Но есть ограничения.

Чтобы обучить этот мозговой декодер, участники должны были лежать неподвижно в сканере фМРТ около 16 часов, слушая подкасты, что непрактично для большинства людей и потенциально невозможно для человека с дефицитом понимания устной речи. И оригинальный мозговой декодер работает только на людях, для которых он был обучен.

В этой последней работе команда разработала метод адаптации существующего декодера мозга, обученного сложным путем, к новому человеку, пройдя всего лишь час обучения в сканере фМРТ, просматривая короткие немые видео, такие как короткометражки Pixar. Исследователи разработали алгоритм конвертера, который учится отображать активность мозга нового человека на мозг того, чья активность ранее использовалась для обучения декодера мозга, что приводит к аналогичному декодированию за долю времени с новым человеком.

Мозговая активность двух людей, смотрящих один и тот же немой фильм. Команда Техасского университета в Остине разработала алгоритм-конвертер, который преобразует мозговую активность одного человека (слева) в прогнозируемую мозговую активность другого человека (справа), что является важным шагом в адаптации их мозгового декодера к новому субъекту. Кредит: Джерри Танг/Техасский университет в Остине.
Хут сказал, что эта работа раскрывает нечто важное о том, как работает наш мозг: наши мысли выходят за рамки языка.

«Это указывает на глубокое совпадение между тем, что происходит в мозге, когда вы слушаете, как кто-то рассказывает вам историю, и тем, что происходит в мозге, когда вы смотрите видео, рассказывающее историю», — сказал Хут, доцент кафедры компьютерных наук и нейронауки и старший автор.

«Наш мозг воспринимает оба типа историй как одно и то же. Он также говорит нам, что то, что мы декодируем, на самом деле не является языком. Это представления чего-то выше уровня языка, которые не привязаны к модальности ввода».

Исследователи отметили, что, как и в случае с их оригинальным декодером мозга, их улучшенная система работает только с кооперативными участниками, которые добровольно участвуют в обучении. Если участники, на которых обучался декодер, позже оказывают сопротивление — например, думая другие мысли — результаты непригодны для использования. Это снижает вероятность неправильного использования.

Хотя их последние испытуемые были неврологически здоровы, исследователи также провели анализы, имитирующие паттерны поражений мозга у участников с афазией, и показали, что декодер все еще был способен переводить в непрерывный текст историю, которую они воспринимали. Это говорит о том, что подход в конечном итоге может сработать для людей с афазией.

Сейчас они работают с Майей Генри, доцентом Медицинской школы Делла и Колледжа коммуникаций Муди при Техасском университете, которая изучает афазию, чтобы проверить, подходит ли их усовершенствованный мозговой декодер для людей с афазией.

«Было весело и полезно думать о том, как создать максимально полезный интерфейс и сделать процедуру обучения модели максимально простой для участников», — сказал Тан. «Я действительно рад продолжить изучать, как наш декодер может быть использован для помощи людям».