機械学習を使って人工呼吸器の制御を改善(3/3)

１．機械学習を使って人工呼吸器の制御を改善(3/3)まとめ

・強化学習による学習済コントローラはPID方式よりも波形の追跡性能がMAEで22%低かった
・堅牢性もMAEで32%低く患者間や患者の状態が変化しても手動による介入を少なくできる可能性
・非侵襲的な人工呼吸器は肺の圧力とマスクの圧力の識別が難しく、今後の研究対象

２．学習済み人工呼吸器の性能

以下、ai.googleblog.comより「Machine Learning for Mechanical Ventilation Control」の意訳です。元記事は2022年2月17日、Daniel SuoさんとElad Hazanさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Sincerely Media on Unsplash

成果

比較対象元とするPIDコントローラーを選択するため、複数の肺の設定に対して PID コントローラを網羅的に実行し、望ましい圧力波形と実際の圧力波形の間の平均絶対偏差を測定し、最も性能の良い PID コントローラを選択しました。これらのコントローラと私達のコントローラを比較し、私達のDNNコントローラがより性能が高く、より堅牢であることを示します。

(1)呼吸の波形追跡性能

ある肺の設定に対して最適なPIDコントローラと、同じ設定に対して学習済みシミュレータで学習した私達のコントローラを比較しました。その結果、私達の学習したコントローラは、目標圧力波形と実際の圧力波形の間の平均絶対誤差(MAE:mean absolute error)が22%低いことがわかりました。

与えられた肺の設定(R=5とR=20の2つの設定について図示されています)に対する最適なPIDコントローラ(オレンジ)の目標圧力波形と実際の圧力波形の間のMAE(低い方が良い)と、同じ設定に対して学習シミュレータで学習した私達のコントローラ(青)の比較。学習済コントローラは、最大22%性能が向上しています。

(2)堅牢性

更に様々な肺の設定を通じて最適な結果を出したPID コントローラの性能と、同じ設定で学習したシミュレータのセットを使って学習した私達のコントローラを比較しました。その結果、目標の圧力波形と実際の圧力波形の間のMAEが最大で32% 向上し、患者間や患者の状態が変化しても手動による介入を少なくできることが示唆されました。

上記と同様ですが、肺活量設定の全セットで最良のPIDコントローラと、同じ設定で学習させたコントローラを比較しています。学習したコントローラは最大で32%性能が向上しており、手動での介入をより少なくできる可能性を示唆しています。

最後に、モデルフリーや他の一般的なRLアルゴリズム(PPO、DQN)の使用可能性を、シミュレータで学習したポリシー勾配と比較して調査しました。その結果、シミュレータで学習させたポリシー勾配はわずかに良いスコアを達成し、より安定した学習プロセスで、1桁少ない学習サンプルと大幅に小さいハイパーパラメータ探索空間を使用することで達成可能な事がわかりました。

シミュレータでは、モデルフリーや他の一般的なアルゴリズム(PPO、DQN)が、私達の手法とほぼ同等の性能を示すことがわかりました

しかし、他の方法では、同等レベルまで訓練するのに一桁多い学習用データが必要です。

結論と今後について

私達は、物理的なテスト肺から学習したシミュレーションに基づく人工呼吸器のためのディープラーニングアプローチを説明しました。

しかし、これは始まりに過ぎません。実世界の人工呼吸器にインパクトを与えるためには、他にも考慮すべき事項や問題が数多くあります。

中でも最も重要なのは非侵襲的な人工呼吸器です。肺からの圧力とマスクの圧力を識別するのが難しいため、難易度はかなり高くなります。その他、自発呼吸や咳をどう処理するかという方向性もあります。機械学習と健康の重要な接点についてもっと知りたい、関わりたい方は、制御理論と学習に関するICMLのチュートリアルをご覧ください。

謝辞

この研究は、プリンストン大学機械・航空宇宙工学科のコーエン研究室と共同で、Google AI Princetonラボで行われました。本論文は、Googleとプリンストン大学の以下のメンバーによって執筆されました。Daniel Suo, Naman Agarwal, Wenhan Xia, Xinyi Chen, Udaya Ghai, Alexander Yu, Paula Gradu, Karan Singh, Cyril Zhang, Edgar Minasyan, Julienne LaChance, Tom Zajdel, Manuel Schottdorf, Daniel Cohen, そしてElad Hazanです。