災害救援を迅速に行うために機械学習で被害状況を評価(2/2)

１．災害救援を迅速に行うために機械学習で被害状況を評価(2/2)まとめ

・利用可能なデータが少ないがこの分野で活動している人道支援組織が作成した損傷評価を使用
・過去の大地震で検証した結果、高レベルな意思決定に必要な70%の精度は確保できていた
・同地域の建築物でトレーニングおよびテストすると機能するが他の地域への一般化は今後の課題

２．損壊状況予測モデルの評価

以下、ai.googleblog.comより「Machine Learning-based Damage Assessment for Disaster Relief」の意訳です。元記事の投稿は2020年6月16日、Joseph XuさんとPranav Khaitanさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Sarah Kilian on Unsplash

トレーニングデータ
この作業の主な課題の1つは、トレーニングデータセットを構築する事です。

このアプリケーションでは利用可能なデータは本質的に制限されます。これは、高解像度の衛星画像で撮影された災害はほんの一握りしかなく、損傷評価がわかるつ災害データは更に少ないためです。

ラベルは、UNOSATやREACHなど、この分野で活動している人道支援組織が手動で作成した公的に利用可能な損傷評価を使用します。

手動評価が行われた実行された元の衛星画像を取得し、Google Earth Engineを使用して、損傷評価ラベルと衛星画像を空間的に結合し、最終的なトレーニングデータを作成します。モデルのトレーニングに使用されるすべての画像は市販のデータソースから供給されたものです。

様々な災害による建物の損傷を映した区画のサンプル画像
損傷の前と後の画像を並べています。

評価結果
この技術を過去3つの主要な地震について評価しました。
ハイチでの2010年の地震(マグニチュード7.0)、メキシコシティでの2017年のイベント(マグニチュード7.1)、および2018年にインドネシアで発生した一連の地震(マグニチュード5.9-7.5)です。

災害毎に、地震の影響を受けた地域の一部の建物でモデルをトレーニングし、地域の別の部分の建物でモデルをテストしました。

UNOSATおよびREACHが実施した人間の専門家による被害評価を、評価の根拠として使用しました。

「真の精度(専門家による評価と比較)」と「ROC曲線下の面積(AUROC:area under the ROC curve)」の２つを使用して、モデルの品質を測定します。

これは、モデルの真陽性(True Positive)と偽陽性(True Negative)の検出率のトレードオフを捉える手法で、テストデータセット内の陽性例と陰性例の数が不均衡な際にモデル品質を測定する手法として一般的です。

AUROC値0.5はモデルの予測が完全にランダムであることを意味し、値1.0はモデルが完全に正確であることを意味します。危機対応者からのフィードバックによると、災害後の最初の72時間で高レベルな意思決定を行うためには最低限70%の精度が必要との事です。

災害	精度	Area under the ROC curve
2010 ハイチ地震	77%	0.83
2017 メキシコ市地震	71%	0.79
2018 インドネシア地震	78%	0.86

人間の専門家の評価とモデル予測の評価の比較(高いほど良い結果を示します)

2010年のハイチ地震のモデル予測の例
1.0に近い予測値は、モデルが建物が損傷していることをより確信していることを意味します。0.0に近い予測値は、建物が損傷していないことを意味します。通常、0.5がしきい値として「破損している」または「破損していない」を区別するための目安として使用されますが、これを調整して予測の感度を調整できます。

今後の研究
現在のモデルは、同じ地域(例えば、同じ都市または国)の建築物でトレーニングおよびテストを行った場合、かなりうまく機能しますが、最終的な目標は、世界中のどこかで発生した災害であっても建物の損傷を正確に評価できるモデルを作成することです。そのために、モデルをトレーニングした際に使用した建物に似ていないものも評価できるようにする必要があります。

利用できる様々なトレーニングデータは、本質的に過去に災害が発生したいくつかの地域、且つ少数のイベントに限定されているため、これは困難です。

そのため、新たな場所で発生する可能性が高い将来の災害に対応できるように私達のモデルを一般化することは、依然として課題であり、進行中の研究の焦点です。

本システムは熟練したアナリストがインタラクティブにトレーニング、検証、展開できる事を想定しているため、経験豊富な危機対応組織は技術者に頼る事なく、重要な援助物資の配布を意思決定できます。

私達の希望は、この技術が被災者が必要としている援助を最もニーズのあるときにタイムリーに届けるために役立つことです。

謝辞
本投稿は、共著者であるWenhan LuとZebo Liの業績を反映しています。
また、Maolin Zuoのプロジェクトへの貢献にも感謝いたします。この問題への取り組みにおいて、私たちは国連の世界食糧計画(WFP:World Food Programme)のイノベーションアクセラレーターと非常に生産的なパートナーシップを結んでいます。これは、世界の飢餓を打開するためのスタートアップや革新的なプロジェクトを特定し、資金を提供し、支援する組織です。