Машинное обучение повышает производительность интерфейса «мозг-машина»
Интерфейсы мозг-машина (ИММ) позволили нескольким участникам теста, которые не могли двигаться или говорить, общаться просто думая. Имплантированное устройство улавливает нейронные сигналы, связанные с определенной мыслью, и преобразует их в сигналы управления, которые подаются в компьютер или роботизированную конечность. Например, парализованному человеку предлагается подумать о перемещении курсора на экране компьютера.
После того, как ИМТ обучен распознавать неврологическую активность как это намерение, мысль человека передается через ИМТ для выполнения действия перемещения курсора. ИМТ, которые в настоящее время находятся на экспериментальной стадии, могут также состоять из роботизированных конечностей, которые могут выполнять ручные задачи, следуя указаниям только мыслей инвалида.
Аппаратное обеспечение, необходимое для этого невероятного подвига, — это компьютер (автономный или в составе роботизированного устройства) и имплантат в мозг человека, который использует технологию НКИ для передачи своих намерений посредством мыслей. Исследователи из Калифорнийского технологического института используют имплантаты, состоящие из массивов из 100 микроэлектродов, установленных на чипе размером 4x4 мм. Микроэлектроды обычно имеют длину 1,5 мм и проникают в кору головного мозга, где они могут регистрировать активность отдельных нейронов.
К сожалению, производительность этих микроэлектродных массивов непостоянна и со временем ухудшается. Чтобы преодолеть эту проблему, Азита Эмами из Калтеха, профессор электротехники и медицинской инженерии Эндрю и Пегги Чернг и директор Центра по изучению интеллекта (S2I), и ее коллеги решили эту проблему, используя машинное обучение для эффективной интерпретации нейронных сигналов, полученных старыми имплантатами.
«Мы не только наблюдаем ежедневные изменения, но и со временем производительность интерфейсов мозг-компьютер ухудшается по разным причинам», — говорит Эмами. «Может быть небольшое перемещение имплантата или его электродов. Сами электроды могут испортиться или инкапсулироваться в мозговой ткани. Некоторые люди думают, что со временем нейроны отдаляются от имплантата, потому что реагируют на него как на инородный объект в мозге. По какой-то причине сигналы, которые мы получаем, становятся более шумными».
Когда BMI впервые настроен, массив микроэлектродов выдает сигнал, характеризующийся сильными потенциалами действия, которые выглядят как пики в записях. Как только этот сильный сигнал больше не обнаруживается массивом микроэлектродов, то есть когда обратная связь от массива становится более шумной и нейронные пики больше не обнаруживаются четко, становится гораздо более сложной задачей связать паттерн нейронной активности от более удаленных нейронов с определенным намерением, которое можно успешно передать на компьютер или другое устройство.
Исследователи пытались идентифицировать альтернативные сигналы, такие как так называемые пороговые переходы или локальные потенциалы поля, зарегистрированные от удаленных нейронов. Один из подходов заключался в использовании вейвлетов, которые измеряют небольшие колебания в нейронной активности. Но успех вейвлетов и других методов был ограничен.
Теперь Эмами и ее коллеги обнаружили, что, применяя машинное обучение , НМИ можно обучить интерпретировать данные нейронной активности даже после того, как сигнал от имплантата стал менее четким. Результаты опубликованы в журнале Nature Biomedical Engineering .
Кредит: Калифорнийский технологический институт.
Беньямин Хаги, бывший аспирант лаборатории Эмами, объясняет: «Раньше мы полагались на подсчет нейронных импульсов, а теперь мы создали нейронную сеть , которая автоматически извлекает информацию из всего нейронного сигнала, из всех небольших провалов, подъемов и изменений в сигнале, и преобразует ее в намерение пациента». Эмами добавляет: «Со временем BMI был обучен как на сигнале, представляющем собой нейронную активность, так и на сигнале, который выглядит как шум, и, следовательно, способен интерпретировать намерение пользователя».
Эмами описывает опыт одного участника, JJ, который потерял подвижность из-за автомобильной аварии. «Когда мы впервые начали работать с ним, его импланту было три года, и он уже деградировал. Мы думали удалить имплант, но с нашим новым алгоритмом он счастлив продолжать использовать систему, которая у него уже есть. JJ может очень точно перемещать курсор по сетке, так же, как он делал это, когда имплант был новым. Он может играть в видеоигры и управлять компьютерной средой, которая имитирует вождение».
Алгоритм команды называется FENet, что означает Feature Extraction Network (сеть извлечения признаков). Примечательно, что его можно обучить на данных одного пациента, а затем успешно использовать на другом. «Это означает, что в нейронных данных, которые мы собираем, есть некий фундаментальный тип информации», — говорит Эмами. Мало того, FENet может обобщать данные по разным областям мозга и типам электродов и легко встраиваться в существующие НКИ.
Ричард Андерсен, профессор нейронауки имени Джеймса Г. Босвелла, председатель кафедры лидерства и директор Центра нейрокомпьютерного интерфейса T&C Chen, говорит: «FENet уже продлил наше клиническое исследование с JJ на два года. Исследования BMI — это идеальное поле для междисциплинарных исследований , в данном случае объединяющих дисциплины инженерии, информатики и нейронауки».
Современные НКИ требуют ручного подключения имплантируемого электрода к разъему, который затем соединяется с проводами, ведущими к микросистеме, обрабатывающей необработанные данные перед отправкой их на компьютер — визуальный интерфейс, которым манипулирует пациент.
«Это довольно громоздкая система», — говорит Эмами. «Наша цель сейчас, после создания FENet для лучшей интерпретации сигналов мозга, — миниатюризировать систему, чтобы однажды она могла стать носимым устройством или имплантатом, который будет беспроводным образом взаимодействовать с компьютером».