MIGHT: новый мощный алгоритм повышает надежность ИИ в приложениях медицинской диагностики
Два исследования, проведённые учёными онкологического центра имени Киммела при Университете Джонса Хопкинса, Центра Людвига и Инженерной школы Уайтинга при Университете Джонса Хопкинса, сообщают о новом мощном методе, который значительно повышает надёжность и точность искусственного интеллекта (ИИ) во многих приложениях. В качестве примера они применяют новый метод для раннего выявления рака по образцам крови, известного как жидкая биопсия.
В одном исследовании сообщается о разработке MIGHT (многомерная информированная обобщенная проверка гипотез) — метода ИИ, созданного исследователями для обеспечения высокого уровня достоверности, необходимого для инструментов ИИ, используемых при принятии клинических решений.
Чтобы проиллюстрировать преимущества MIGHT, они использовали его для разработки теста для раннего выявления рака с использованием циркулирующей внеклеточной ДНК (ccfDNA) — фрагментов ДНК, циркулирующих в крови. Сопутствующее исследование показало, что паттерны фрагментации ccfDNA, используемые для выявления рака, также наблюдаются у пациентов с аутоиммунными и сосудистыми заболеваниями .
Чтобы разработать тест с высокой чувствительностью к раку, но с меньшим количеством ложноположительных результатов, MIGHT был расширен с целью включения данных об аутоиммунных и сосудистых заболеваниях, полученных от коллег из Университета Джонса Хопкинса и других учреждений, которые лечат и изучают эти заболевания.
Исследования опубликованы в Трудах Национальной академии наук .
Аналогичная статья, написанная тремя исследователями из Университета Джонса Хопкинса, соучредителем Pixar Эдом Кэтмеллом, доктором философии, и главным специалистом по данным в отделе искусственного интеллекта Good Lab компании Microsoft Хуаном Лавистой Ферресом, была опубликована одновременно в журнале Cancer Discovery . В ней обсуждаются проблемы внедрения ИИ в клиническую практику , в том числе проблемы, решаемые с помощью MIGHT.
MIGHT точно настраивается на основе реальных данных и проверяет свою точность на различных подмножествах данных, используя десятки тысяч деревьев решений, и может применяться в любой области, где используются большие данные, от астрономии до зоологии. Он особенно эффективен для анализа биомедицинских наборов данных с большим количеством переменных, но относительно небольшим количеством образцов пациентов — распространённой ситуации, в которой традиционные модели ИИ часто дают сбои.
В тестах с использованием данных пациентов MIGHT стабильно превосходил другие методы ИИ как по чувствительности, так и по стабильности результатов. Он был применён к крови 1000 человек: 352 пациентов с запущенным раком и 648 человек без рака.
Для каждого образца исследователи оценили 44 различных набора переменных, каждый из которых включал набор биологических характеристик, таких как длина фрагментов ДНК или хромосомные аномалии, и обнаружили, что характеристики, основанные на анеуплоидии (аномальном числе хромосом), обеспечивают наилучшую эффективность обнаружения рака с чувствительностью 72% (способностью выявлять рак) и специфичностью 98% (правильно идентифицировали пациентов без рака). Этот баланс критически важен в реальных медицинских приложениях, где необходимо минимизировать ложноположительные результаты, чтобы избежать ненужных процедур.
«MIGHT дает нам мощный способ измерения неопределенности и повышения надежности, особенно в ситуациях, когда размеры выборки ограничены, а сложность данных высока», — говорит Джошуа Фогельштейн, доктор философии, доцент кафедры биомедицинской инженерии и ведущий исследователь.
MIGHT также был расширен до сопутствующего алгоритма CoMIGHT, чтобы определить, может ли объединение нескольких наборов переменных улучшить выявление рака.
Исследователи применили CoMIGHT к образцам крови 125 пациентов с ранней стадией рака молочной железы и 125 пациентов с ранней стадией рака поджелудочной железы, которые были проанализированы вместе с 500 контрольными лицами (участниками без рака).
Хотя рак поджелудочной железы выявлялся чаще, чем рак молочной железы, анализ CoMIGHT показал, что на ранней стадии рака молочной железы может быть полезно объединение нескольких биологических сигналов, что подчеркивает потенциал инструмента для адаптации стратегий обнаружения в зависимости от типа рака.
В сопутствующем исследовании исследователи Кристофер Дувиль, доктор философии, доцент кафедры онкологии, Сэмюэль Кертис, доктор философии, научный сотрудник Центра Людвига, и их команды случайно обнаружили, что сигнатуры фрагментации ccfDNA, которые ранее считались специфичными для людей с раком, также встречаются у пациентов с другими заболеваниями, включая аутоиммунные состояния, такие как волчанка, системный склероз и дерматомиозит, а также сосудистые заболевания, такие как венозная тромбоэмболия.
У всех пациентов с аномальными сигнатурами фрагментации, независимо от наличия у них аутоиммунных, сосудистых заболеваний или рака, наблюдалось повышение уровня воспалительных биомаркеров. Результаты исследования свидетельствуют о том, что за сигналы фрагментации отвечает именно воспаление, а не сам рак, что затрудняет использование фрагментации ccfDNA в качестве биомаркера, специфичного для рака.
Чтобы решить проблему ошибочной интерпретации воспаления как рака, команда добавила информацию, характерную для воспаления, в обучающие данные для MIGHT. Улучшенная версия снизила, но не полностью исключила ложноположительные результаты, связанные с нераковыми заболеваниями.
«Наша главная цель состояла в дальнейшем изучении биологических механизмов, ответственных за признаки фрагментации, которые ранее считались специфичными для рака», — говорит Кертис.
«По мере того, как область исследований переходит к более сложным биомаркерам, понимание базовых биологических механизмов, приводящих к получению результатов, имеет решающее значение для их интерпретации, особенно для предотвращения ложноположительных результатов. Наши новые данные показывают, что пациенты с заболеваниями, отличными от рака, могут ошибочно считаться больными раком, если в тесты не включены соответствующие меры предосторожности».
Дувилль добавляет: «Хорошим моментом этого исследования является то, что переработка MIGHT может привести к созданию отдельного диагностического теста для воспалительных заболеваний».
В совокупности эти исследования демонстрируют как перспективы, так и сложности разработки надёжных клинических технологий с использованием ИИ. В соответствующей редакционной статье исследователи отметили ряд критических проблем, которые необходимо решить для полной интеграции таких инструментов, как MIGHT, в клиническую практику.
Они выделили восемь ключевых препятствий для внедрения ИИ в повседневную клиническую практику. Проще говоря, к ним относятся: ложное ожидание того, что инструменты ИИ должны быть безупречными, прежде чем их можно будет считать полезными; необходимость представлять результаты в виде вероятностей, а не простых ответов «да» или «нет»; обеспечение соответствия прогнозов ИИ реальным вероятностям; обеспечение воспроизводимости результатов; обучение моделей на различных группах населения; объяснение того, как ИИ принимает решения; понимание того, как точность тестов может меняться при редкости заболеваний; и избегание чрезмерной зависимости от компьютерных рекомендаций.
«MIGHT можно применять в любой области, где измерение неопределенности и уверенность в надежности и воспроизводимости результатов имеют решающее значение. Это могут быть естественные, социальные или медицинские науки. Исследования во всех областях науки требуют уверенности в том, что результаты, выдаваемые алгоритмом, реальны, воспроизводимы и надёжны», — говорит Джошуа Фогельштейн.
Исследователи утверждают, что результаты, полученные с помощью технологий ИИ, следует рассматривать как данные, основанные на ИИ, которые могут дополнять, но не заменять клиническое заключение. Хотя MIGHT и CoMIGHT предлагают новые мощные инструменты для диагностики рака, а также потенциально воспалительных и сосудистых заболеваний, они отмечают, что для распространения таких тестов в клиническую практику необходимы дальнейшие клинические испытания и валидация.
«Доверие к результату крайне важно, и теперь, когда в MIGHT появился надежный количественный инструмент, мы и другие исследователи можем использовать его и сосредоточить наши усилия на изучении большего количества пациентов и добавлении статистически значимых характеристик в наши тесты для раннего выявления рака », — говорит Берт Фогельштейн, доктор медицинских наук, профессор онкологии Клейтонского университета, содиректор Центра Людвига, исследователь Медицинского института Говарда Хьюза и соруководитель исследования.
MIGHT и сопутствующий ему алгоритм CoMIGHT теперь доступны публично на treeple.ai .
Исследование является совместным проектом с исследователями из Вьетнама под руководством Лан Хо-Фама и Туана Нгуена, которые предоставили важные клинические данные, образцы и интерпретацию для исследования.