Когда два человека взаимодействуют, их мозговая активность синхронизируется, но до сих пор было неясно, в какой степени эта «связь мозга» обусловлена ​​лингвистической информацией или другими факторами, такими как язык тела или тон голоса.

2 августа в журнале Neuron исследователи сообщили , что взаимодействие мозга во время разговора можно смоделировать, учитывая слова, используемые во время этого разговора, и контекст, в котором они используются.

«Мы можем видеть, как языковое содержание слово за словом возникает в мозгу говорящего еще до того, как он фактически сформулирует то, что пытается сказать, и то же самое языковое содержание быстро возникает в мозгу слушателя после того, как он его слышит», — говорит первый автор и нейробиолог Заид Зада из Принстонского университета.

Для вербального общения мы должны договориться об определениях разных слов, но эти определения могут меняться в зависимости от контекста. Например, без контекста было бы невозможно узнать, относится ли слово «холод» к температуре, черте характера или респираторной инфекции.

«Контекстное значение слов, встречающихся в конкретном предложении или в конкретном разговоре, действительно важно для того, как мы понимаем друг друга», — говорит нейробиолог и соавтор Сэмюэл Настасе из Принстонского университета.

«Мы хотели проверить важность контекста в согласовании мозговой активности говорящего и слушающего, чтобы попытаться количественно оценить, что именно разделяется мозгом во время разговора».

Чтобы изучить роль контекста в обеспечении мозговой связи, команда собрала данные об активности мозга и стенограммы разговоров у пар пациентов с эпилепсией во время естественных бесед.

Пациенты проходили внутричерепной мониторинг с использованием электрокортикографии для не связанных клинических целей в Центре комплексной эпилепсии Медицинской школы Нью-Йоркского университета. По сравнению с менее инвазивными методами, такими как фМРТ, электрокортикография регистрирует мозговую активность с чрезвычайно высоким разрешением, поскольку электроды размещаются в прямом контакте с поверхностью мозга.

Затем исследователи использовали большую языковую модель GPT-2 для извлечения контекста, окружающего каждое слово, используемое в разговоре, а затем использовали эту информацию для обучения модели прогнозированию того, как изменяется активность мозга по мере передачи информации от говорящего к слушателю во время разговора.

Используя эту модель, исследователи смогли наблюдать мозговую активность, связанную с контекстно-зависимым значением слов, как у говорящего, так и у слушающего.

Они показали, что активность мозга, специфичная для определенных слов, достигала пика в мозге говорящего примерно за 250 мс до того, как он произносил каждое слово, а соответствующие всплески активности мозга, связанные с теми же словами, появлялись в мозге слушателя примерно через 250 мс после того, как он их слышал.

По сравнению с предыдущими работами по изучению взаимодействия мозга говорящего и слушающего, модель подхода, основанная на контекстном подходе, оказалась более пригодной для прогнозирования общих закономерностей в активности мозга.

«Это показывает, насколько важен контекст , потому что он лучше всего объясняет данные мозга», — говорит Зада. «Большие языковые модели берут все эти различные элементы лингвистики, такие как синтаксис и семантика, и представляют их в одном многомерном векторе. Мы показываем, что этот тип унифицированной модели способен превзойти другие вручную разработанные модели из лингвистики».

В будущем ученые планируют расширить свое исследование, применив модель к другим типам данных мозговой активности , например, к данным фМРТ, чтобы изучить, как во время разговора работают части мозга, недоступные для электрокортикографии.

«В будущем нас ждет много интересной работы по изучению того, как различные области мозга координируют работу друг с другом в разных временных масштабах и с разными типами контента», — говорит Настасе.