COVID-19疫学のための機械学習ベースのフレームワーク(2/2)

１．COVID-19疫学のための機械学習ベースのフレームワーク(2/2)まとめ

・COVID19 ForecastHubに登録されている他のモデルをほぼ上回った
・本フレームワークでは仮定に基づいてシミュレーションができる
・特定のグループでモデルの精度が悪化しない事も確かめられている

２．GoogleのCOVID-19感染予測の予測精度

以下、ai.googleblog.comより「An ML-Based Framework for COVID-19 Epidemiology」の意訳です。元記事は2021年10月13日、Joel ShorさんとSercan Arikさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Dimitar Donovski on Unsplash

予測精度

毎日、モデルをトレーニングして、28日後のCOVID-19関連の結果(主に死亡と症例数)を予測します。COVID-19に関連する結果の累積値と週ごとの増分値の両方を使用して、国全体のスコアと場所レベルのスコアの両方の平均絶対パーセント率(MAPE:Mean Absolute Percentage Error)を報告します。

私たちのフレームワークを、COVID19 ForecastHubに登録されている米国の他のモデルと比較しました。MAPEでは、私達のモデルは1つを除く他の33のモデルすべてを上回っています。この1つは私達のモデルの予測も含めたアンサンブル予測で、精度差は統計的に有意ではありません。

また、予測の不確実性を使用して、予測が正確である可能性が高いかどうかを推定しました。モデルが不確実であると見なす予測を拒否した場合、リリースする予測の精度を向上させることができます。これが可能なのは、モデルの不確実性が適切に調整されているためです。

不確実な予測を削除すると、平均平均誤差率(MAPE、低いほど良い)が減少し、精度が向上します。

パンデミック管理のポリシーと戦略をシミュレートするWhat-Ifツール

過去のデータから得られる最も可能性の高いシナリオを理解することに加えて、意思決定者は、さまざまな決定が将来の結果にどのように影響するか、たとえば、学校の閉鎖、移動制限、さまざまな予防接種戦略の影響を理解することに関心があります。

このフレームワークでは、特定の変数の予測値を反実例に置き換えることで、反実例分析(counterfactual analysis)を行うことができます。シミュレーションの結果は、急速な病気の拡大が抑えられるまで、非医薬品的介入(NPI:Non-Pharmaceutical Interventions)を早急に緩和することのリスクを補強するものでした。同様に、日本でのシミュレーションでは、高いワクチン接種率を維持しながら非常事態宣言を維持することで、感染率が大幅に低下することが示されました。

テキサス、ワシントン、サウスカロライナでの2021年3月1日の予測日に異なる非医薬品介入(NPI)を想定して予測した、曝露した個人の変化率に関する仮定シミュレーション。NPI制限の増加は、曝露した人々の数の大幅な減少に関連しています。

テキサス、ワシントン、サウスカロライナでの2021年3月1日の予測日に異なる予防接種率を想定して予測した、曝露した個人の変化率に関するwhat-ifシミュレーション。ワクチン接種率の上昇も、これらの場合の曝露数を減らすために重要な役割を果たします。

公平性分析

モデルが不当に偏った意思決定を作成または強化しないようにするために、AI原則に沿って、特定のサブグループでモデルの精度が悪いかどうかを定量化することにより、米国と日本の予測に対して個別に公平性分析を実行しました。

これらのカテゴリには、米国の年齢、性別、収入、民族、日本の年齢、性別、収入、出身国が含まれます。
すべてのケースで、COVID-19の死亡数と各サブグループで発生するケースを制御した後、これらのグループ間で一貫したエラーパターンは示されませんでした。

誤差を所得の中央値で正規化した図
両者を比較すると、誤差を正規化すると、誤差のパターンは持続しないことがわかります。
左：米国の収入の中央値による正規化されたエラー
右：日本の収入の中央値による正規化されたエラー

実際の使用例

モデルのパフォーマンスを測定するための定量分析に加えて、組織がモデル予測をどのように使用しているかを理解するために、米国と日本で構造化調査を実施しました。合計7つの組織が、モデルの適用可能性について次の結果を回答しました。

・組織の種類：学術界(3)、政府(2)、民間産業(2)
・主なユーザーの職務：アナリスト/科学者(3)、医療専門家(1)、統計家(2)、管理職(1)
・場所：アメリカ(4)、日本(3)
・使用された予測：確認された症例(7)、死亡(4)、入院(4)、ICU(3)、人工呼吸器(2)、感染(2)
・モデルのユースケース：リソース割り当て(2)、ビジネスプランニング(2)、シナリオプランニング(1)、COVIDの拡散の一般的な理解(1)、既存の予測の確認(1)
・使用頻度：毎日(1)、毎週(1)、毎月(1)
・モデルは役に立ちましたか？：はい(7)

いくつかの使用事例を共有すると、米国では、ハーバードグローバルヘルスインスティテュートとブラウンスクールオブパブリックヘルスが予測を使用して、メディアが一般の人々に知らせるために使用したCOVID-19テストターゲットの作成を支援しました。

米国国防総省は、予測を使用して、リソースを割り当てる場所を決定し、特定のイベントを考慮に入れるのに役立てました。日本では、このモデルを使用してビジネス上の意思決定を行いました。20都道府県以上に店舗を持つある大規模な多国籍企業は、この予測を使用して、売上予測をより適切に計画し、営業時間を調整しました。