Исследователи из Национального института здравоохранения (NIH) обнаружили, что модель искусственного интеллекта (ИИ) с высокой точностью решила вопросы медицинской викторины, разработанной для проверки способности медицинских работников диагностировать пациентов на основе клинических изображений и краткого текстового резюме. Однако врачи-оценщики обнаружили, что модель ИИ допускала ошибки при описании изображений и объяснении того, как ее принятие решений привело к правильному ответу.

Результаты, проливающие свет на потенциал ИИ в клинических условиях, были опубликованы в npj Digital Medicine . Исследование проводилось под руководством исследователей из Национальной медицинской библиотеки NIH (NLM) и Weill Cornell Medicine, Нью-Йорк.

«Интеграция ИИ в здравоохранение имеет большие перспективы как инструмент, помогающий медицинским работникам быстрее диагностировать пациентов, позволяя им раньше начинать лечение», — сказал исполняющий обязанности директора NLM Стивен Шерри, доктор философии. «Однако, как показывает это исследование, ИИ пока недостаточно продвинут, чтобы заменить человеческий опыт, который имеет решающее значение для точной диагностики».

Модель ИИ и врачи-люди ответили на вопросы конкурса Image Challenge журнала New England Journal of Medicine . Конкурс представляет собой онлайн-викторину, которая предоставляет реальные клинические изображения и краткое текстовое описание, включающее сведения о симптомах и состоянии пациента, а затем просит пользователей выбрать правильный диагноз из ответов с несколькими вариантами ответов.

Исследователи поручили модели ИИ ответить на 207 вопросов по изображению и предоставить письменное обоснование для обоснования каждого ответа. В подсказке было указано, что обоснование должно включать описание изображения, резюме соответствующих медицинских знаний и пошаговое обоснование того, как модель выбрала ответ.

Было набрано девять врачей из разных учреждений, каждый из которых имел свою медицинскую специальность, и они ответили на поставленные им вопросы сначала в обстановке «закрытой книги» (без ссылок на какие-либо внешние материалы, такие как онлайн-ресурсы), а затем в обстановке «открытой книги» (используя внешние ресурсы). Затем исследователи предоставили врачам правильный ответ вместе с ответом модели ИИ и соответствующим обоснованием. Наконец, врачей попросили оценить способность модели ИИ описывать изображение, обобщать соответствующие медицинские знания и предоставлять пошаговые рассуждения.

Исследователи обнаружили, что модель ИИ и врачи показали высокие результаты в выборе правильного диагноза. Интересно, что модель ИИ выбирала правильный диагноз чаще, чем врачи в условиях закрытой книги, в то время как врачи с инструментами открытой книги показали лучшие результаты, чем модель ИИ, особенно при ответах на самые сложные вопросы.

Важно отметить, что на основе оценок врачей модель ИИ часто допускала ошибки при описании медицинского изображения и объяснении своих рассуждений, лежащих в основе диагноза, даже в тех случаях, когда она делала правильный окончательный выбор. В одном примере модели ИИ была предоставлена ​​фотография руки пациента с двумя поражениями. Врач легко распознал бы, что оба поражения были вызваны одним и тем же состоянием. Однако, поскольку поражения были представлены под разными углами, что создавало иллюзию разных цветов и форм, модель ИИ не смогла распознать, что оба поражения могут быть связаны с одним и тем же диагнозом.

Исследователи утверждают, что эти результаты подтверждают важность дальнейшей оценки мультимодальной технологии искусственного интеллекта перед ее внедрением в клиническую практику .

«Эта технология может помочь врачам расширить свои возможности с помощью аналитических данных, которые могут привести к улучшению принятия клинических решений », — сказал старший исследователь NLM и соавтор исследования Чжиюн Лу, доктор философии. «Понимание рисков и ограничений этой технологии имеет важное значение для использования ее потенциала в медицине».

В исследовании использовалась модель ИИ, известная как GPT-4V (Generative Pre-trained Transformer 4 with Vision), которая является «мультимодальной моделью ИИ», способной обрабатывать комбинации различных типов данных, включая текст и изображения. Исследователи отмечают, что, хотя это небольшое исследование, оно проливает свет на потенциал мультимодального ИИ для помощи врачам в принятии медицинских решений. Необходимы дополнительные исследования, чтобы понять, как такие модели соотносятся со способностью врачей диагностировать пациентов.

Соавторами исследования стали сотрудники Национального института глаза и Клинического центра NIH; Питтсбургского университета; Юго-западного медицинского центра Техасского университета в Далласе; Медицинской школы Гроссмана Нью-Йоркского университета в Нью-Йорке; Гарвардской медицинской школы и Массачусетской больницы общего профиля в Бостоне; Медицинской школы Университета Кейс Вестерн Резерв в Кливленде; Калифорнийского университета в Сан-Диего, Ла-Хойя; и Университета Арканзаса в Литл-Роке.