Исследователи построили десятки моделей прогнозирования COVID-19. Действительно ли они помогли?
Точное моделирование имеет решающее значение во время пандемий по нескольким причинам. Политические органы должны принимать политические решения, которые могут занять недели, чтобы стать законом, и еще больше времени, чтобы их реализовать. Аналогичным образом, организации общественного здравоохранения, такие как больницы, школы, детские сады и медицинские центры, требуют предварительного планирования на случай серьезных скачков и распределения критически важных ресурсов, таких как персонал, койки, аппараты искусственной вентиляции легких и запасы кислорода.
Точные модели прогнозирования могут помочь в принятии обоснованных решений относительно необходимых мер предосторожности для конкретных мест и времени, определении регионов, в которые следует избегать поездок, и оценке рисков, связанных с такими мероприятиями, как публичные собрания.
Во время пандемии COVID-19 были предложены десятки моделей прогнозирования. Хотя их точность с течением времени и по типу модели остается неясной, они использовались при формировании политики в разной степени.
Основные вопросы
Наше недавнее исследование , опубликованное в журнале Frontiers in Public Health , было направлено на то, чтобы ответить на несколько важных вопросов, касающихся моделирования пандемии.
Во-первых, можем ли мы установить стандартизированную метрику для оценки моделей прогнозирования пандемии? Во-вторых, какие модели были наиболее эффективными во время четырех волн COVID-19 в США и как они себя показали на всей временной шкале? В-третьих, существуют ли определенные категории или типы моделей, которые значительно превосходят другие? В-четвертых, как прогнозы моделей справляются с увеличенными горизонтами прогнозирования? Наконец, как эти модели сравниваются с двумя простыми базовыми показателями?
Не подходит для разработки политики
Основные результаты исследования показывают, что более двух третей моделей не могут превзойти простой статический базовый вариант, а одна треть не может превзойти простой линейный трендовый прогноз.
Для анализа моделей мы сначала классифицировали их на эпидемиологические, машинное обучение , ансамблевые, гибридные и другие подходы. Затем мы сравнили оценки, сделанные моделями, с правительственными данными о количестве случаев и друг с другом, а также с двумя базовыми значениями, в которых количество случаев остается статическим или следует простому линейному тренду.
Это сравнение проводилось волнообразно и на протяжении всей временной шкалы пандемии, показывая, что ни один подход к моделированию не превосходил и не превосходил другие, а ошибки моделирования со временем увеличивались.
Значения MAPE прогнозных моделей US CDC в волнах I–IV. Модели сортируются в порядке убывания MAPE. Цветовая схема представляет категорию модели. Здесь «Базовые значения» представлены красным цветом. Кредит: Aviral Chharia
Что пошло не так и как это исправить?
Что пошло не так и как нам преодолеть этот разрыв? Улучшенный сбор данных имеет решающее значение, поскольку точность моделирования зависит от доступности данных, особенно во время ранних вспышек. В настоящее время модели полагаются на данные о случаях из различных систем отчетности, которые различаются в зависимости от округа и страдают от региональных и временных задержек. Например, некоторые округа могут собирать данные в течение многих дней и публиковать их все сразу, создавая впечатление внезапного всплеска случаев. Отсутствие данных может ограничить точность моделирования в округах с менее надежными программами тестирования.
Кроме того, эти методы не являются единообразными между группами сбора данных, что приводит к непредсказуемым ошибкам. Стандартизация форматов данных может упростить сбор данных, сократив непредсказуемые ошибки.
Базовые смещения в данных, такие как занижение отчетности, могут привести к предсказуемым ошибкам в качестве модели, требуя корректировки моделей для прогнозирования будущих ошибочных отчетов, а не фактических чисел случаев. Например, доступность наборов для быстрого домашнего тестирования привела к тому, что многие люди не сообщают результаты тестов в государственные базы данных. Данные серологии и избыточная смертность выявили такое занижение отчетности.
Взгляд вперед
Несмотря на достигнутый огромный прогресс, модели по-прежнему нуждаются в улучшении по разным направлениям, делая более реалистичные предположения о влиянии распространения множественных вариантов на количество случаев заболевания, иммунитете, усиленном программами вакцинации, влиянии карантинов, наличии многочисленных вариантов вируса, росте вакцинации, количестве доз, вводимых пациенту, различных показателях вакцинации в разных округах и различных требованиях к карантину.
Все эти факторы влияют на количество случаев, что усложняет задачу прогнозирования. Даже в случае ансамблевых моделей исследование показало, что они добавляли индивидуальные ошибки модели и, таким образом, не показывали существенной разницы в производительности.
Ошибка прогнозирования модели в базе данных CDC США увеличивалась каждую неделю с момента прогнозирования. Другими словами, точность прогноза снижалась по мере того, как они делались. Через неделю после прогнозирования ошибки прогнозирования большинства моделей составляли чуть ниже 25%, но увеличивались примерно до 50% при четырехнедельном прогнозировании.
Это говорит о том, что существующие модели могут не обеспечивать достаточного времени для организаций здравоохранения и правительств для реализации эффективной политики.
Прогнозы наиболее точны, когда они ближе всего к моменту прогнозирования. Показан MAPE в прогнозах всех моделей для разных горизонтов прогнозирования. Точки на каждой диаграмме представляют MAPE по всем прогнозам определенной модели для соответствующего горизонта прогнозирования. Ось Y — это MAE между прогнозируемым числом случаев и сообщенным числом случаев. Ось X — это горизонт прогнозирования. Кредит: Aviral Chharia
Точное предиктивное моделирование остается необходимым в борьбе с будущими пандемиями. Однако исследование вызывает опасения, когда политика формулируется непосредственно на основе этих моделей. Модели с высокими ошибками в прогнозах могут привести к неоднородному распределению ресурсов, таких как маски и аппараты ИВЛ, что может привести к риску ненужной смертности.
Кроме того, размещение этих моделей на официальных публичных платформах организаций здравоохранения (включая CDC США) рискует дать им официальное одобрение. Исследование предполагает, что разработка более сложных моделей прогнозирования пандемии должна быть приоритетом.
Эта история является частью Science X Dialog , где исследователи могут сообщать о результатах своих опубликованных исследовательских статей. Посетите эту страницу для получения информации о Science X Dialog и о том, как принять участие.