Модели искусственного интеллекта могут самостоятельно интерпретировать маммограммы
По данным исследования, опубликованного в журнале Radiology , алгоритмы, представленные на конкурс AI Challenge, организованный Радиологическим обществом Северной Америки (RSNA), продемонстрировали превосходную эффективность в обнаружении рака молочной железы на маммографических снимках, повысив чувствительность скрининга при сохранении низкого уровня полноты.
Конкурс RSNA Screening Mammography Breast Cancer Detection AI Challenge, прошедший в 2023 году, представлял собой краудсорсинговое соревнование, в котором приняли участие более 1500 команд. В статье журнала Radiology подробно изложен анализ эффективности алгоритмов, проведённый Янь Ченом, доктором философии, профессором скрининга рака в Ноттингемском университете (Великобритания).
«Мы были поражены количеством участников и числом алгоритмов искусственного интеллекта, представленных в рамках конкурса», — сказал профессор Чен.
«Это одно из самых популярных соревнований RSNA AI Challenges. Мы также были впечатлены производительностью алгоритмов, учитывая относительно короткий период времени, отведённый на их разработку, и необходимость использования данных для обучения из открытых источников».
Целью конкурса было найти модели искусственного интеллекта, которые улучшат автоматизацию обнаружения рака при скрининговых маммограммах, помогут рентгенологам работать эффективнее, улучшат качество и безопасность ухода за пациентами и потенциально сократят расходы и количество ненужных медицинских процедур.
RSNA приглашала к участию команды со всего мира. Университет Эмори в Атланте, штат Джорджия, и BreastScreen Victoria в Австралии предоставили обучающий набор данных, состоящий примерно из 11 000 изображений, полученных при скрининге молочной железы. Участники конкурса также могли использовать общедоступные обучающие данные для своих алгоритмов.
Исследовательская группа профессора Чена оценила 1537 рабочих алгоритмов, представленных на конкурс, протестировав их на наборе из 10 830 исследований одной молочной железы (полностью отдельно от обучающего набора данных), результаты которых были подтверждены патологоанатомами как положительные или отрицательные на рак.
В целом алгоритмы показали медианную специфичность 98,7% для подтверждения отсутствия рака на маммографических снимках, чувствительность 27,6% для положительного определения рака и процент полноты (процент случаев, которые ИИ признал положительными) 1,7%. Объединив три и десять наиболее эффективных алгоритмов, исследователи повысили чувствительность до 60,7% и 67,8% соответственно.
Маммограмма правой молочной железы у 69-летней женщины. В положении «12 часов» (стрелка) определяется спикулообразное образование размером 6 мм, видимое как в медиолатеральной косой проекции (A), так и в краниокаудальной проекции (B). Этот случай не был выявлен ни одним из 10 лучших алгоритмов искусственного интеллекта, но представлял собой инвазивную карциному, подтвержденную биопсией. Источник: Радиологическое общество Северной Америки (RSNA)
«При составлении наиболее эффективных заявок мы были удивлены тем, насколько хорошо различные алгоритмы ИИ дополняют друг друга, выявляя различные виды рака», — сказал профессор Чен.
«Алгоритмы имели пороговые значения, оптимизированные для положительной прогностической ценности и высокой специфичности , поэтому разные признаки рака на разных изображениях по-разному давали высокие баллы для разных алгоритмов».
По словам исследователей, создание ансамбля из 10 наиболее эффективных алгоритмов позволило добиться производительности, близкой к показателям среднестатистического рентгенолога-скринингиста в Европе или Австралии.
Эффективность отдельных алгоритмов существенно различалась в зависимости от таких факторов, как тип рака, производитель оборудования для визуализации и место получения изображений. В целом, алгоритмы продемонстрировали более высокую чувствительность при выявлении инвазивных видов рака, чем при неинвазивных.
Профессор Чен объяснил, что, поскольку многие из моделей ИИ участников имеют открытый исходный код, результаты конкурса могут способствовать дальнейшему совершенствованию как экспериментальных, так и коммерческих инструментов ИИ для маммографии с целью улучшения результатов лечения рака молочной железы во всем мире.
«Предоставляя широкой публике алгоритмы и полный набор данных визуализации, участники предоставляют ценные ресурсы, которые могут стимулировать дальнейшие исследования и обеспечить проведение сравнительного анализа, необходимого для эффективной и безопасной интеграции ИИ в клиническую практику», — сказала она.
Исследовательская группа планирует провести дополнительные исследования для сравнения производительности лучших алгоритмов Challenge с коммерчески доступными продуктами, используя более обширный и разнообразный набор данных.
«Кроме того, мы изучим эффективность небольших, более сложных наборов тестов с надёжными критериями оценки, предъявляемыми людьми, например, разработанных в рамках программы PERFORMS, британской программы оценки и обеспечения качества работы рентгенологов в качестве подхода к оценке ИИ, и сравним её полезность с крупномасштабными наборами данных», — сказал профессор Чен.
Ежегодно RSNA проводит конкурс AI Challenge, и в этом году на конкурс принимаются модели, помогающие обнаруживать и локализовать внутричерепные аневризмы.