ИИ в здравоохранении следует регулировать, но не стоит забывать об алгоритмах, говорят исследователи
Можно утверждать, что одна из основных обязанностей врача — постоянно оценивать и переоценивать шансы: каковы шансы на успех медицинской процедуры? Подвержен ли пациент риску развития тяжелых симптомов? Когда пациенту следует вернуться для дополнительных обследований?
На фоне этих критических обсуждений развитие искусственного интеллекта обещает снизить риск в клинических условиях и помочь врачам уделять первоочередное внимание лечению пациентов с высоким риском.
Несмотря на потенциал ИИ, исследователи из кафедры электротехники и компьютерных наук Массачусетского технологического института (EECS), Equality AI и Бостонского университета призывают к более строгому контролю за ИИ со стороны регулирующих органов в комментарии, опубликованном в New England Journal of Medicine AI ( NEJM AI ) после того, как Управление по гражданским правам США (OCR) Министерства здравоохранения и социальных служб (HHS) выпустило новое правило в соответствии с Законом о доступном медицинском обслуживании (ACA).
В мае OCR опубликовало окончательное правило в ACA, запрещающее дискриминацию по признаку расы, цвета кожи, национального происхождения, возраста, инвалидности или пола в «инструментах поддержки принятия решений по уходу за пациентами» — новом термине, который охватывает как ИИ, так и неавтоматизированные инструменты, используемые в медицине.
Окончательное правило, разработанное в ответ на указ президента Джо Байдена «О безопасной, надежной и заслуживающей доверия разработке и использовании искусственного интеллекта» от 2023 года, основывается на приверженности администрации Байдена-Харрис делу обеспечения равенства в сфере здравоохранения путем сосредоточения внимания на предотвращении дискриминации.
По словам старшего автора и доцента EECS Марзие Гассеми, «это правило является важным шагом вперед».
Гассеми, который сотрудничает с Клиникой машинного обучения в здравоохранении имени Абдула Латифа Джамиля Массачусетского технологического института (клиника Джамиля), Лабораторией компьютерных наук и искусственного интеллекта (CSAIL) и Институтом медицинской инженерии и науки (IMES), добавляет, что правило «должно предписывать основанные на принципах справедливости усовершенствования алгоритмов, не связанных с ИИ, и инструментов поддержки принятия клинических решений, которые уже используются в клинических узких специальностях».
Число одобренных Управлением по контролю за продуктами питания и лекарственными средствами США устройств с поддержкой ИИ резко возросло за последнее десятилетие с момента одобрения первого устройства с поддержкой ИИ в 1995 году (система тестирования PAPNET, инструмент для скрининга шейки матки).
По состоянию на октябрь FDA одобрило около 1000 устройств с поддержкой ИИ, многие из которых предназначены для поддержки принятия клинических решений.
Однако исследователи отмечают, что не существует регулирующего органа, который бы контролировал оценки клинического риска, полученные с помощью инструментов поддержки принятия клинических решений, несмотря на то, что большинство врачей в США (65%) ежемесячно используют эти инструменты для определения следующих шагов по оказанию помощи пациентам.
Чтобы устранить этот недостаток, клиника Джамиль проведет еще одну конференцию по вопросам регулирования в марте 2025 года. Прошлогодняя конференция вызвала серию дискуссий и дебатов среди преподавателей, регулирующих органов со всего мира и отраслевых экспертов, посвященных регулированию ИИ в здравоохранении.
«Клинические показатели риска менее непрозрачны, чем алгоритмы ИИ, поскольку они обычно включают в себя лишь несколько переменных, связанных в простую модель», — комментирует Айзек Кохане, заведующий кафедрой биомедицинской информатики Гарвардской медицинской школы и главный редактор NEJM AI .
«Тем не менее, даже эти оценки настолько хороши, насколько хороши наборы данных, используемые для их обучения, и переменные, которые эксперты выбрали для отбора или изучения в определенной когорте. Если они влияют на принятие клинических решений, они должны соответствовать тем же стандартам, что и их более современные и гораздо более сложные родственники ИИ».
Более того, хотя многие инструменты поддержки принятия решений не используют ИИ, исследователи отмечают, что эти инструменты столь же виновны в сохранении предвзятости в здравоохранении и требуют надзора.
«Регулирование клинических оценок риска создает значительные проблемы из-за распространения инструментов поддержки клинических решений, встроенных в электронные медицинские записи , и их широкого использования в клинической практике », — говорит соавтор Майя Хайтауэр, генеральный директор Equality AI. «Такое регулирование остается необходимым для обеспечения прозрачности и недискриминации».
Однако Хайтауэр добавляет, что при новой администрации регулирование показателей клинического риска может оказаться «особенно сложным, учитывая ее акцент на дерегулировании и противодействие Закону о доступном медицинском обслуживании и определенным политикам недискриминации».