В недавно опубликованном исследовании команда исследовала возможность для людей определять тепловые свойства воды (температуру воды) по ее звуку, и происходит ли это осознанно. Используя принципы мультисенсорной интеграции (способ, которым мозг объединяет информацию из различных сенсорных модальностей для формирования единого восприятия окружающей среды), команда исследовала потенциал мультисенсорного теплового восприятия.

Исследование опубликовано в журнале Frontiers in Psychology .

Они также использовали предварительно обученную глубокую нейронную сеть (DNN) и алгоритм классификации (машину опорных векторов), чтобы проверить, может ли машинное обучение успешно и последовательно классифицировать аудиозаписи наливаемой воды при разных температурах и создать карту этих тепловых свойств, физически закодированных в звуке.

«Восприятие температуры является уникальным явлением по сравнению с другими сенсорными ощущениями», — говорит доктор Ади Снир, научный сотрудник Института BCT и соавтор исследования.

«Для зрения и слуха у нас есть специальные сенсорные «органы», такие как глаза и уши, для восприятия температуры мы полагаемся на специализированные рецепторы в коже, которые реагируют на различные диапазоны температур, которые мы воспринимаем как тепло и прохладу, но в животном мире мы знаем, например, что змеи могут фактически «видеть» тепло тела, что позволяет им идентифицировать добычу».

Вопрос о том, распространяется ли мультисенсорное восприятие температуры на человека, уже поднимался ранее.

«Предыдущие исследования изучали это на поведенческом уровне», — утверждает профессор Амир Амеди, основатель и директор Института BCT. «Эти исследования показали, что люди могут слышать разницу между наливаемыми горячими и холодными жидкостями, но не то, как или почему это возможно».

Сначала исследователи решили повторить предыдущие результаты и подтвердить эту удивительную способность восприятия, а также выяснить, является ли эта способность врожденной или приобретенной — вопрос, который долгое время был предметом многочисленных споров.

«Мы также хотели исследовать, осознают ли люди эти различия в звуковых свойствах тепловых различий», — говорит Снир. «А также изучить, какие характеристики самих звуков позволяют проводить дифференциацию в восприятии».

Для этого команда использовала предварительно обученную глубокую нейронную сеть (DNN) для характеристики записей различных температур наливаемой воды, алгоритм машинного обучения для классификации тепловых свойств воды и вычислительный анализ слуховых характеристик каждой записи.

«Мы увидели, что участники постоянно могли различать температуру воды по ее звуку, даже когда они не верили, что могут, что говорит нам о том, что это, вероятно, неявный навык, приобретенный в результате воздействия слуховых сигналов на протяжении всей жизни», — объясняет Амеди. «Одновременно с этим модель машинного обучения, обученная на записях горячей и холодной воды, показала высокую точность в классификации звуков».

Результаты исследования демонстрируют, что люди способны усваивать сложные сенсорные карты из повседневного опыта и что машинное обучение может помочь прояснить тонкие перцептивные феномены.

«Следующий шаг — изучить, разовьют ли люди новые сенсорные карты в мозге для этого опыта, как они это делают для зрения, осязания и слуха», — утверждает Амеди. «Теоретически недавние заявления Илона Маска о том, что Neuralink создаст сверхчеловеческие способности, могут стать реальностью, если объединить этот же метод со стимуляцией мозга».