Клинические рекомендации имеют важное значение для практики доказательной медицины, но они длинные и сложные, что затрудняет для занятых врачей быстрый и легкий поиск информации, необходимой для лечения каждого пациента.

Преподаватели кафедры внутренней медицины Йельского университета изучают различные подходы, чтобы сделать клинические руководства более доступными для врачей, включив их в существующие инструменты и рабочие процессы. Инструменты, которые опираются на большие языковые модели (LLM) для генерации ответов на клинические вопросы, многообещающи в своей простоте использования и способности отвечать на запросы врачей.

«Когда мы разрабатывали инструмент LLM , чтобы помочь врачам отвечать на вопросы о гепатологии и желудочно-кишечных заболеваниях, мы поняли, что компании LLM часто автоматически конвертируют клинические руководства из PDF в текстовый документ», — сказал Деннис Шунг, доктор медицины, доктор философии, доцент кафедры медицины (пищеварительные заболевания). «Но когда вы автоматически конвертируете эти руководства, вы теряете важные данные, которые необходимы для клинического обоснования».

Деннис и его команда заметили, что потеря данных была особенно драматичной в таблицах, графиках и блок-схемах. Показатели точности LLM составляли около 80%, если таблица содержала только текст. Если руководство включало графику, точность падала примерно до 16%. Если руководство включало блок-схему, точность падала почти до нуля.

«Это особенно тревожно, поскольку иногда самая важная информация в руководстве представлена ​​в блок-схеме», — сказал Мауро Джуффре, доктор медицины, постдокторант (болезни пищеварительного тракта). «Чтобы инструменты LLM были полезны для врачей, они должны быть способны понимать все данные, а не только их части».

Шунг и Джуффре опубликовали статью под названием «Оптимизация больших языковых моделей для интерпретации медицинских рекомендаций: структура, основанная на исследовании рекомендаций по вирусу гепатита С с использованием расширенной генерации поиска» в журнале njp Digital Medicine , в которой рассматривалось, как различные способы форматирования текста рекомендаций по вирусу гепатита С повышают точность инструмента LLM, что делает его более полезным для врачей.

Симоне Кресевич, аспирант (пищеварительные заболевания) и кандидат наук в Университете Триеста, возглавил усилия по программной инженерии для тестирования различных конфигураций LLM. Другими соавторами были Милош Айчевич и Агостино Аккардо, профессора биомедицинской инженерии в Университете Триеста, и Лори С. Кроче, профессор гастроэнтерологии и гепатологии в Университете Триеста.

«Мы начали вообще без форматирования — просто прямой PDF в текст, отформатированный со всеми его проблемами», — сказал Джуффре. «Затем мы добавили больше меток и конкретики, чтобы предоставить LLM больше информации о каждом рисунке или таблице, а затем попросили LLM ответить на вопросы об уходе за пациентами с гепатитом С».

Они обнаружили, что правильное форматирование текста, рисунков и таблиц в клинических рекомендациях позволило модели LLM легче рассуждать о данных, а точность значительно возросла.

Шунг и Мауро говорят, что эти результаты могут быть применимы к другим рекомендациям и специальностям.

«LLM хороши ровно настолько, насколько хороша информация, на которой они обучаются», — сказал Шунг. «Использование версий клинических руководств, адаптированных для LLM, может помочь нам быстрее разрабатывать инструменты для оказания медицинской помощи, которые предоставляют врачам высокоточную и релевантную информацию ».

В конечном итоге Шунг и Мауро надеются, что медицинские общества создадут версии рекомендаций, удобные для LLM, чтобы LLM могли легко усваивать рекомендации без необходимости переформатирования.

«Медицинские общества хотят, чтобы их члены практиковали доказательную медицину, которая требует доступа к самой лучшей информации в нужное время для каждого пациента», — сказал Шунг.

«Создавая клинические руководства, удобные для LLM, медицинские сообщества могут помочь нам создать инструменты LLM, которые являются актуальными, полными и используют авторитетные источники. Клиницистам необходимо быть уверенными в информации, чтобы принимать оптимальные решения в отношении пациента».