Можно ли доверять ИИ в лечении инсульта? Пока нет, говорят учёные.
Учёные обнаружили, что чат-боты с тремя языковыми моделями, даже с использованием передовых методов разработки подсказок, часто дают неоптимальные рекомендации по профилактике, диагностике, лечению и восстановлению после инсульта, что подчёркивает необходимость человеческого контроля для обеспечения адекватности и безопасности. Инсульт остаётся одной из основных причин смерти и инвалидности во всём мире, что подчёркивает необходимость точных и действенных рекомендаций для пациентов.
В международном исследовании, проведённом Национальным университетом Тайваня и Гарвардской школой общественного здравоохранения имени Т. Х. Чана, исследовательская группа оценила пригодность чат-ботов на основе генеративного искусственного интеллекта — ChatGPT-4o, Claude 3 Sonnet и Gemini Ultra 1.0 — для предоставления клинически надёжных рекомендаций при лечении инсульта. Результаты опубликованы в журнале npj Digital Medicine .
Для обеспечения клинической релевантности исследовательская группа сначала создала типичную клиническую картину пациента с инсультом на протяжении всего периода оказания медицинской помощи. Запросы, связанные с инсультом, которые задавались моделям ИИ, основывались на наиболее частых вопросах пациентов, встречающихся в клинической практике , охватывающих четыре этапа лечения инсульта : профилактика, раннее распознавание симптомов, лечение в острой форме и реабилитация. Эти запросы были разработаны совместно с клиническими экспертами и отражали реалистичные, ориентированные на пациента сценарии.
Каждая модель тестировалась с использованием трёх стратегий подсказок: «Обучение с нуля» (ZSL), «Цепочка мыслей» (COT) и «Высказывание мыслей» (TOT). Четырем старшим специалистам по инсульту, не знавшим о модели и типе подсказки, было предложено оценить результаты по таким параметрам, как точность, галлюцинации (меньше галлюцинаций = выше оценка), специфичность, эмпатия и способность к действию. Успешность соответствовала пороговому значению 60/100 тайваньского экзамена на получение квалификации врача, и любой результат ниже этого уровня считался потенциально опасным для самостоятельного использования пациентами.
Средний балл на всех этапах составил от 48 до 56, что является улучшением по сравнению с предыдущими исследованиями, но всё ещё ниже порога клинической компетентности. В профилактических и реабилитационных сценариях модели иногда достигали или немного превышали 60 в сочетании с подсказками TOT, что отражало рост эмпатии и чёткое руководство. Подсказки ZSL, как правило, более эффективно снижали галлюцинации. Однако ни одна комбинация модели и подсказок не давала стабильного результата, и все участники испытывали наибольшие трудности с ответами на острые вопросы, связанные с лечением.
«Имеющиеся данные свидетельствуют о том, что генеративный ИИ обладает реальным потенциалом для устранения пробелов в здравоохранении и сокращения нехватки медицинских работников в малообеспеченных и сельских районах, особенно в условиях ограниченного доступа к специализированной помощи. Наши результаты показывают, что, хотя генеративный ИИ впечатляет в плане сбора общей медицинской информации, он остаётся ненадёжным, когда пациенты сталкиваются с высокорискованными медицинскими ситуациями, такими как инсульт», — говорит Джон Таю Ли, доцент Национального университета Тайваня и старший научный сотрудник Лаборатории инноваций в области здравоохранения Гарвардской школы общественного здравоохранения имени Т. Х. Чана.
«Хотя продуманные подсказки могут улучшить ответы чат-бота, они не сделают универсальную модель «умным врачом» в одночасье. Как и зеркала, чёткие вопросы дают чёткие ответы», — сказал Винсент Чэн-Шэн Ли, второй автор из Национального университета Тайваня. «Однако превращение этих размышлений в надёжные рекомендации у постели больного требует командной работы ИИ и врача».
Профессор Рифат Атун, старший автор, профессор и директор Лаборатории инноваций в области здравоохранения Гарвардского университета, отметил: «Генеративный ИИ обладает огромным потенциалом для повышения глобальной справедливости в здравоохранении, поскольку решения GenAI можно легко распространять для широкого применения при низких затратах. Но эти решения должны внедряться ответственно, с надёжным управлением, строгой клинической валидацией и контролем со стороны человека для обеспечения их целесообразности и безопасности».
«Искусственный интеллект преобразует здравоохранение во всем мире. Объединяя передовые компьютерные науки с медицинским опытом, пациентоориентированные языковые модели могут объединить передовые технологии с реальными клиническими потребностями», — сказал доктор Вэй Джоу Ду, генеральный директор Исследовательского центра искусственного интеллекта NTU. «По мере стремительного развития искусственного интеллекта новые модели могут работать иначе, но контрольные показатели и методы обеспечивают надежную основу для оценки их эффективности».