RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(2/2)

１．RMAB:誰に利用を促せば全体としてのサービス利用率が向上するか推定する試み(2/2)まとめ

・クラスタ化する事で計算コストと個人情報収集の必要性を削減できた
・持ち回りで電話をかける手法に比べて利用が停止される累積率を32％削減
・プライバシーと受益者の学歴や収入が偏らないような配慮とも行われている

２．RMABの成果

以下、ai.googleblog.comより「Using ML to Boost Engagement with a Maternal and Child Health Program in India」の意訳です。

元記事は2022年8月24日、Aparna TanejaさんとMilind Tambeさんによる投稿です。

アイキャッチ画像はstable diffusion

私達は、いくつかの定性的、定量的な指標を用いて最適なクラスタセットを推定し、学習データの様々な組み合わせ(人口統計的特徴のみ、特徴＋受動的確率、特徴＋すべての確率、受動的確率のみ)を検討することにより、基礎となるデータ分布を代表し、個々のクラスタサイズの分散が少ない、最も意味のあるクラスタを達成しました。

クラスタ数s=20(赤丸)と40(緑丸)、検証済の受動的移行確率(青丸)を用いて、異なるクラスタリング手法から得られた受動的移行確率を比較しました。特徴量＋受動的確率(PPF)に基づくクラスタリングは、確率空間においてより明確な受動的行動を捉えることができます。

クラスタリングは、最適化を個人レベルではなくクラスタレベルで解く必要があるため、資源に限りのあるNGOにとって計算コストを削減できるという利点もあります。最後に、RMABの解法はP空間的に難しいことが知られているため、一般的なホイットル指数(Whittle index)のアプローチを用いて最適化を解くことにしました。

結果

このモデルを、現在の標準的なケアグループ(CSOC:Current Standard Of Care)、持ち回りグループ(RR:Round Robin)、落ち着きがない多腕バンディットグループ(RMAB:Restless Multi-armed Bandits)の3つのグループに分けた約23,000人の受益者からなる実世界調査で評価しました。

CSOCグループの受益者は、NGO主導のサービスコールがない本来の標準ケアに従います。RRグループは、NGOが何らかの体系的な順序でサービスコールを実施するシナリオを表しています。ここでのアイデアは、受益者の横断的な部分に十分なサービスを提供し、利用可能なリソースに基づいて週ごとに拡大または縮小できる簡単に実行できる方針を持つことです。(これは、この特定のケースでNGOが使用するアプローチですが、アプローチはNGOによって異なる場合があります)。RMABグループはRMABモデルで予測されたとおりにサービスコールを受けています。3つのグループのすべての受益者は、サービスコールとは無関係に自動音声メッセージを受け取り続けています。

1週目(左)と2週目(右)でRMABとRRがサービスコールのために選んだクラスタの分布は、有意に異なっています。RMABは成功確率の高いクラスタ(青が高く、赤が低い)だけを戦略的に選んでおり、RRはそのような戦略的な選択はしていないことがわかります。

7週間後、RMABベースのサービスコールは、CSOCグループと比較して、累積関与率低下を最も多く(かつ統計的に有意に)減少させました(32％)。

図は、対象グループと比較して、プログラムへの関与低下防止が累積していく事を防止された事を示しています。

	RMAB vs CSOC	RR vs CSOC	RMAB vs RR
% reduction in cumulative engagement drops	32.00%	5.20%	28.30%
p-value	0.044	0.74	0.098

倫理的配慮

NGOの倫理委員会が本研究を審査しました。参加同意書が理解され、プログラムの各段階でコミュニティが選択した言語で記録されるよう、重要な措置を講じました。

データの管理はNGOの手に委ねられ、データの共有はNGOのみに許可されています。コードは間もなく一般公開される予定です。パイプラインは匿名化されたデータのみを使用し、個人を特定できる情報(PII:Personally Identifiable Information)はモデルには公開されません。

カースト、宗教などの機密データは、ARMMANがmMitraのために収集することはありません。そのため、モデルの公平性を追求するため、公衆衛生や現場の専門家と協力して、以下に示すように、社会経済的地位の他の指標を測定し、適切に評価するようにしました。

サービスコールを受けた集団における最高学歴(上)とインドルピー建ての月収(下)の分布と全人口との比較

各所得層におけるサービスコールを受けた受益者の割合は、全人口における割合とほぼ一致しています。しかし、低所得者層では違いが見られ、RMABモデルは所得の低い受益者や正式な教育を受けていない受益者を優遇しています。最後に、ARMMANの専門家は、このシステムの開発とテストに深く関わり、データの解釈、データの利用、モデルの設計において継続的な意見と監視を提供しました。

結論

本システムは、徹底的なテストを経て、現在、NGOが週単位でサービスコールのスケジューリングを行うために導入されています。私たちは、これまでMLの恩恵をあまり受けてこなかった人々のために、非営利団体と連携して社会的インパクトを与えるMLアルゴリズムのより多くの展開への道を開くことを期待しています。この研究は、Google for India 2021でも紹介されました。

謝辞

この研究は、GoogleのAI for Social Goodの取り組みの一部であり、Google Research Indiaが主導したものです。ARMMAN、Google Research India、Google.org、University Relationsのすべての協力者に感謝します。Aparna Hegde, Neha Madhiwalla, Suresh Chaudhary, Aditya Mate, Lovish Madaan, Shresth Verma, Gargi Singh, Divy Thakkar。