Чат-боты на основе искусственного интеллекта могут распространять дезинформацию медицинского характера, что подчеркивает необходимость усиления мер безопасности.
Новое исследование, проведенное учеными из Медицинской школы Икана в Маунт-Синай, показало, что широко используемые чат-боты на основе искусственного интеллекта крайне уязвимы к повторению и уточнению ложной медицинской информации, что свидетельствует о крайней необходимости в более надежных мерах защиты, прежде чем этим инструментам можно будет доверять в сфере здравоохранения.
Исследователи также продемонстрировали, что простая встроенная система предупреждения может значительно снизить этот риск, предлагая практический путь развития в условиях стремительного развития технологий. Их выводы были подробно изложены в онлайн-выпуске журнала Communications Medicine от 2 августа .
Поскольку все больше врачей и пациентов обращаются за поддержкой к ИИ, исследователи хотели понять, будут ли чат-боты слепо повторять неверные медицинские данные, заложенные в вопрос пользователя, и может ли краткая подсказка помочь им давать более безопасные и точные ответы.
«Мы повсеместно обнаружили, что чат-боты на основе искусственного интеллекта могут быть легко введены в заблуждение ложными медицинскими данными, независимо от того, являются ли эти ошибки намеренными или случайными», — говорит ведущий автор Махмуд Омар, доктор медицинских наук, который является независимым консультантом исследовательской группы.
«Они не только повторяли дезинформацию, но и часто её расширяли, предлагая уверенные объяснения несуществующих состояний. Обнадёживает то, что простое предупреждение в одну строку, добавленное к подсказке, резко уменьшило эти галлюцинации, показывая, что небольшие меры предосторожности могут иметь большое значение».
Команда создала вымышленные сценарии для пациентов, каждый из которых содержал один вымышленный медицинский термин, например, вымышленное заболевание, симптом или тест, и отправила их ведущим крупным языковым моделям. В первом раунде чат-боты просматривали сценарии без дополнительных инструкций. Во втором раунде исследователи добавили к подсказке однострочное предупреждение, напоминая ИИ о том, что предоставленная информация может быть неточной.
Пример того, как разные модели обрабатывают один из случаев анализа конфронтации (приложенный ответ был скопирован из результатов модели DeepSeek R1). Источник: Communications Medicine (2025). DOI: 10.1038/s43856-025-01021-3
Без этого предупреждения чат-боты регулярно снабжали фальшивые медицинские данные, уверенно предлагая объяснения несуществующих заболеваний или методов лечения. Но с дополнительной подсказкой количество ошибок значительно сократилось.
«Наша цель состояла в том, чтобы проверить, будет ли чат-бот работать с ложной информацией, если ее подсунуть в медицинский вопрос, и ответ — да», — говорит соавтор, доктор медицинских наук Эйал Кланг, руководитель отдела генеративного ИИ в Департаменте искусственного интеллекта и здоровья человека Виндрайха в Медицинской школе Икана в Маунт-Синай.
«Даже один выдуманный термин может вызвать развернутый, решительный ответ, основанный исключительно на вымысле. Но мы также обнаружили, что простое и своевременное напоминание о безопасности, встроенное в подсказку, сыграло важную роль, сократив количество ошибок почти вдвое. Это говорит о том, что эти инструменты можно сделать безопаснее, но только если мы серьёзно отнесёмся к дизайну подсказок и встроенным мерам безопасности».
Команда планирует применить тот же подход к реальным, деперсонифицированным записям пациентов и протестировать более продвинутые подсказки безопасности и инструменты поиска информации. Они надеются, что их метод «поддельных терминов» станет простым, но эффективным инструментом для больниц, разработчиков технологий и регулирующих органов для стресс-тестирования систем искусственного интеллекта перед клиническим применением.
«Наше исследование проливает свет на слепое пятно в том, как современные инструменты ИИ обрабатывают дезинформацию, особенно в сфере здравоохранения », — говорят соавторы Гириш Н. Надкарни, доктор медицинских наук, магистр общественного здравоохранения, заведующий кафедрой искусственного интеллекта и здоровья человека Виндрайхского университета, директор Института цифрового здравоохранения им. Хассо Платтнера, а также профессор медицины Ирен и доктор Артур М. Фишберг в Медицинской школе Икан в госпитале Маунт-Синай и главный специалист по ИИ в системе здравоохранения госпиталя Маунт-Синай.
«Это подчёркивает критическую уязвимость современных систем ИИ в борьбе с дезинформацией в здравоохранении. Одна вводящая в заблуждение фраза может привести к уверенному, но совершенно неверному ответу. Решение не в отказе от ИИ в медицине, а в разработке инструментов, способных выявлять сомнительные данные, реагировать с осторожностью и обеспечивать центральное место человеческого контроля. Мы пока не достигли этой цели, но при соблюдении продуманных мер безопасности это достижимая цель».
Авторами исследования, указанными в журнале, являются Махмуд Омар, Вера Сорин, Джереми Д. Коллинз, Дэвид Райх, Роберт Фримен, Александр Чарни, Николас Гэвин, Лиза Стамп, Никола Луиджи Брагацци, Гириш Н. Надкарни и Эяль Кланг.