Для здорового слуха важен расчет времени: нейробиологи используют ИИ для изучения слуховой обработки в реальном мире
Когда звуковые волны достигают внутреннего уха, нейроны улавливают вибрации и предупреждают мозг. В их сигналах закодировано огромное количество информации, которая позволяет нам следить за разговорами, узнавать знакомые голоса, ценить музыку и быстро определять местонахождение звонящего телефона или плачущего ребенка.
Нейроны посылают сигналы, испуская спайки — кратковременные изменения напряжения, которые распространяются по нервным волокнам, также известные как потенциалы действия . Примечательно, что слуховые нейроны могут выдавать сотни спайков в секунду и рассчитывать свои спайки с исключительной точностью, чтобы соответствовать колебаниям входящих звуковых волн.
Ученые из Института исследований мозга имени Макговерна при Массачусетском технологическом институте, используя новые эффективные модели человеческого слуха, определили, что точная синхронизация имеет решающее значение для некоторых важнейших способов восприятия нами слуховой информации, включая распознавание голосов и локализацию звуков.
Результаты, опубликованные в журнале Nature Communications , показывают, как машинное обучение может помочь нейробиологам понять, как мозг использует слуховую информацию в реальном мире. Профессор Массачусетского технологического института и исследователь Макговерна Джош Макдермотт, возглавлявший исследование, объясняет, что модели его команды лучше оснащают исследователей для изучения последствий различных типов нарушений слуха и разработки более эффективных вмешательств.
Наука звука
Слуховые сигналы нервной системы синхронизированы настолько точно, что исследователи давно подозревали, что синхронизация важна для нашего восприятия звука. Звуковые волны колеблются с частотой, которая определяет их высоту: низкие звуки распространяются медленными волнами, тогда как высокие звуковые волны колеблются чаще. Слуховой нерв, который передает информацию от волосковых клеток, распознающих звук, в ухе в мозг, генерирует электрические импульсы, которые соответствуют частоте этих колебаний.
«Потенциалы действия в слуховом нерве активизируются в строго определенные моменты времени относительно пиков в форме волны стимула», — объясняет Макдермотт, который также является заместителем руководителя кафедры мозга и когнитивных наук Массачусетского технологического института.
Эта связь, известная как фазовая синхронизация, требует, чтобы нейроны синхронизировали свои спайки с точностью до миллисекунды. Но ученые на самом деле не знали, насколько информативны эти временные паттерны для мозга. Помимо того, что это научно интригует, говорит Макдермотт, этот вопрос имеет важные клинические последствия: «Если вы хотите разработать протез, который подает электрические сигналы в мозг для воспроизведения функции уха, возможно, очень важно знать, какие виды информации в нормальном ухе на самом деле имеют значение», — говорит он.
Это было трудно изучать экспериментально; животные модели не могут дать много информации о том, как человеческий мозг извлекает структуру из языка или музыки, а слуховой нерв недоступен для изучения у людей. Поэтому Макдермотт и аспирант Марк Сэддлер, доктор философии, обратились к искусственным нейронным сетям.
Искусственный слух
Нейробиологи уже давно используют вычислительные модели для изучения того, как мозг может декодировать сенсорную информацию , но до недавних достижений в области вычислительной мощности и методов машинного обучения эти модели ограничивались моделированием простых задач.
«Одной из проблем с этими предыдущими моделями является то, что они часто слишком хороши», — говорит Сэддлер, который сейчас работает в Техническом университете Дании. Например, вычислительная модель, которой поручено определить более высокую ноту в паре простых тонов, скорее всего, покажет лучшие результаты, чем люди, которым поручили сделать то же самое.
«Это не та задача, которую мы решаем каждый день, слушая», — отмечает Сэддлер. «Мозг не оптимизирован для решения этой очень искусственной задачи». Это несоответствие ограничивало понимание, которое можно было извлечь из этого предыдущего поколения моделей.
Чтобы лучше понять мозг, Сэддлер и Макдермотт хотели бросить вызов слуховой модели, чтобы она делала то, для чего люди используют свой слух в реальном мире, например, распознавала слова и голоса. Это означало разработку искусственной нейронной сети для моделирования частей мозга, которые получают входные данные от уха. Сеть получала входные данные от примерно 32 000 смоделированных сенсорных нейронов, распознающих звук, а затем оптимизировала их для различных задач реального мира.
Исследователи показали, что их модель хорошо воспроизводит человеческий слух — лучше, чем любая предыдущая модель слухового поведения, говорит Макдермотт. В одном из тестов искусственная нейронная сеть должна была распознавать слова и голоса среди десятков типов фонового шума, от гула салона самолета до восторженных аплодисментов. При любых условиях модель вела себя очень похоже на людей.
Однако когда команда ухудшила синхронизацию спайков в имитируемом ухе, их модель больше не могла соответствовать способности людей распознавать голоса или определять местоположение звуков. Например, хотя команда Макдермотта ранее показала, что люди используют высоту тона, чтобы идентифицировать голоса людей, модель показала, что эта способность теряется без точно синхронизированных сигналов.
«Вам необходимо довольно точное время скачков, чтобы учитывать человеческое поведение и хорошо выполнять задачу», — говорит Сэддлер. Это говорит о том, что мозг использует точно рассчитанные по времени слуховые сигналы, поскольку они помогают этим практическим аспектам слуха.
Результаты исследования группы демонстрируют, как искусственные нейронные сети могут помочь нейробиологам понять, как информация, извлекаемая ухом, влияет на наше восприятие мира, как при сохраненном, так и при нарушенном слухе.
«Возможность связать закономерности активации слухового нерва с поведением открывает множество дверей», — говорит Макдермотт.
«Теперь, когда у нас есть эти модели, связывающие нейронные реакции в ухе со слуховым поведением, мы можем спросить: «Если мы смоделируем различные типы потери слуха, какое влияние это окажет на наши слуховые способности?» — говорит Макдермотт. «Это поможет нам лучше диагностировать потерю слуха, и мы думаем, что есть также расширения этого, которые помогут нам разрабатывать более совершенные слуховые аппараты или кохлеарные имплантаты».
Например, он говорит: «Кохлеарный имплант ограничен во многих отношениях — он может делать одни вещи и не может делать другие. Как лучше всего настроить этот кохлеарный имплант, чтобы вы могли управлять поведением? В принципе, вы можете использовать модели, чтобы узнать это».