Исследование показывает, что чат-бот может улучшить принятие врачами медицинских решений
Чат-боты на основе искусственного интеллекта становятся довольно хороши в диагностике некоторых заболеваний, но как чат-боты справляются, когда вопросы не столь однозначны? Например, за какое время до операции пациент должен прекратить принимать прописанные ему разжижающие кровь препараты? Следует ли менять протокол лечения пациента, если у него в прошлом были побочные реакции на подобные препараты? На такие вопросы нет правильного или неправильного ответа из учебника — врачи должны использовать свое суждение.
Джонатан Х. Чен, доктор медицины, доктор философии, доцент кафедры медицины, и группа исследователей изучают, могут ли чат-боты (тип большой языковой модели, или LLM) эффективно отвечать на такие тонкие вопросы, и могут ли врачи, поддерживаемые чат-ботами, работать эффективнее.
Ответы, как оказалось, да и да. Исследовательская группа проверила, как чат-бот справлялся с различными клиническими перепутьями. Чат-бот сам по себе превзошел врачей, которые могли получить доступ только к интернет-поиску и медицинским справочникам, но, вооруженные собственным LLM, врачи из разных регионов и учреждений по всей территории Соединенных Штатов не отставали от чат-ботов.
«В течение многих лет я говорил, что в сочетании человек и компьютер будут работать лучше, чем каждый из них по отдельности», — сказал Чен. «Я думаю, что это исследование заставляет нас думать об этом более критически и спрашивать себя: «В чем хорош компьютер? В чем хорош человек?» Возможно, нам придется переосмыслить, где мы используем и объединяем эти навыки и для каких задач мы привлекаем ИИ».
Исследование, подробно описывающее эти результаты, опубликовано в Nature Medicine . Чен и Адам Родман, доктор медицины, доцент Гарвардского университета, являются соавторами. Постдокторанты Итан Го, доктор медицины, и Роберт Галло, доктор медицины, являются соавторами.
Усиление чат-ботами
В октябре 2024 года команда провела исследование , опубликованное в JAMA Network Open , в котором проверялось, как чат-бот справляется с диагностикой заболеваний, и было обнаружено, что его точность выше, чем у врачей, даже если они использовали чат-бота. Текущая статья углубляется в более скользкую сторону медицины, оценивая работу чат-бота и врача по вопросам, которые попадают в категорию, называемую «клиническое управленческое обоснование».
Гох объясняет разницу следующим образом: представьте, что вы используете приложение с картой на своем телефоне, чтобы добраться до определенного пункта назначения. Использование LLM для диагностики заболевания похоже на использование карты для определения правильного местоположения. То, как вы туда доберетесь, — это часть управленческого обоснования: вы выбираете второстепенные дороги, потому что там пробки? Остаетесь на прежнем курсе, бампер к бамперу? Или ждете и надеетесь, что дороги расчистятся?
В медицинском контексте эти решения могут быть сложными. Допустим, врач случайно обнаруживает у госпитализированного пациента значительную массу в верхней части легкого. Каковы будут следующие шаги? Врач (или чат-бот) должен признать, что большой узел в верхней доле легкого статистически имеет высокую вероятность распространения по всему телу. Врач может немедленно взять биопсию массы, запланировать процедуру на более позднюю дату или заказать визуализацию, чтобы попытаться узнать больше.
Определение того, какой подход лучше всего подходит пациенту, сводится к множеству деталей, начиная с известных предпочтений пациента. Сдержаны ли они в отношении инвазивной процедуры? Показывает ли история болезни пациента отсутствие последующих назначений? Надежна ли система здравоохранения больницы при организации последующих назначений? А как насчет направлений? Эти типы контекстуальных факторов имеют решающее значение, сказал Чэнь.
Команда разработала испытание для изучения эффективности клинического управленческого мышления в трех группах: только чат-бот, 46 врачей с поддержкой чат-бота и 46 врачей с доступом только к поиску в Интернете и медицинским справочным материалам. Они выбрали пять обезличенных случаев пациентов и передали их чат-боту и врачам, каждый из которых предоставил письменный ответ, в котором подробно описывалось, что они будут делать в каждом случае, почему и что они учитывали при принятии решения.
Кроме того, исследователи привлекли группу сертифицированных врачей для создания рубрики, которая квалифицировала бы медицинское суждение или решение как надлежащим образом оцененное. Затем решения оценивались по рубрике.
К удивлению команды, чат-бот превзошел врачей, у которых был доступ только к интернету и медицинским справочникам, отметив больше пунктов в рубрике, чем врачи. Но врачи, которые были в паре с чат-ботом, показали себя так же хорошо, как и чат-бот в одиночку.
Будущее врачей-чатботов?
Что именно дало толчок сотрудничеству врача и чат-бота, является предметом обсуждения. Заставляет ли использование LLM врачей быть более вдумчивыми в отношении случая? Или LLM дает указания, о которых врачи не додумались бы сами? Это будущее направление исследований, сказал Чэнь.
Положительные результаты использования чат-ботов и врачей в сочетании с чат-ботами поднимают популярный вопрос: появятся ли врачи с искусственным интеллектом?
«Возможно, это очко в пользу ИИ», — сказал Чэнь. Но результаты показывают, что вместо замены врачей врачи, возможно, захотят приветствовать помощь чат-бота.
«Это не значит, что пациенты должны пропустить врача и сразу перейти к чат-ботам. Не делайте этого», — сказал он. «Есть много хорошей информации, но есть и плохая. Навык, который мы все должны развивать, — это умение различать, что заслуживает доверия, а что нет. Сейчас это важнее, чем когда-либо».