機械学習を使って人工呼吸器の制御を改善(2/3)

１．機械学習を使って人工呼吸器の制御を改善(2/3)まとめ

・モデルベースアプローチを採用し人工呼吸器と患者間の力学系のシミュレータを作成
・物理的な試験肺で人工呼吸タスクを実行しトレーニング用のデータを収集した
・正確なシミュレータを学習した後DNNベースのコントローラを完全にオフラインで学習させた

２．強化学習で人工呼吸器を制御

以下、ai.googleblog.comより「Machine Learning for Mechanical Ventilation Control」の意訳です。元記事は2022年2月17日、Daniel SuoさんとElad Hazanさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Sincerely Media on Unsplash

機械学習による人工呼吸器制御

PIDコントローラの係数は、限られた回数の試行を繰り返すことで(手動または網羅的なグリッド探索によって)調整できますが、ディープニューラルネットワーク(DNN:Deep Neural Networks)はパラメータが多く、多くの学習データを必要とするため、このような直接的なアプローチをディープコントローラに適用することは不可能です。

同様に、Q-LearningやPolicy Gradientなどの一般的なモデルフリーアプローチは、必要とする学習データが多いため、物理的な接触が発生するシステムには不向きです。さらに、これらのアプローチは、人工呼吸器の力学系に内在する微分可能性が考慮されていません。力学系は確定的(deterministic)で連続的(continuous)、かつ非接触(contact-free)です。

そこで、私達はモデルベースアプローチを採用し、まずDNNベースの人工呼吸器と患者間の力学系のシミュレータを学習させました。このようなシミュレータを学習する利点は、物理ベースのモデルに代わるより正確なデータ駆動型のモデルを提供し、コントローラ研究のためにより広く配布することができることです。

忠実なシミュレータを学習させるために、私たちは、例えば、試験用肺を膨らませすぎて損傷を与えないといった物理的安全性とのバランスを取りながら、制御空間とその結果の圧力を探索することによってデータセットを構築しました。

PID制御はリンギング(ringing)を起こすことがありますが、学習データ生成の基盤として十分な性能を持っています。そこで、安全性を考慮し、システムの挙動を忠実に再現するために、制御係数を変化させたPID制御を用い、シミュレータトレーニング用の制御圧軌跡データを生成します。さらに、PIDコントローラにランダムな偏差を加えることで、より堅牢に動きの変遷を捉えることができます。

プリンストン大学のPeople’s Ventilator Projectが設計したオープンソースの人工呼吸器を用いて、物理的な試験肺で人工呼吸タスクを実行し、トレーニング用のデータを収集しました。

サーバーラックに10台の人工呼吸器-肺活量システムを収容する作業場を構築しました。この作業場では、患者の肺の状態に合わせて、人工呼吸器システムの実用化に必要な、気道抵抗や仕様などの設定値を取得することができます。

ラック型人工呼吸器作業場(人工呼吸器10台／人工肺)を用いて、人工呼吸器-肺シミュレータの学習データを収集します。このシミュレータを使用してDNNコントローラを学習し、その後、実際に人工呼吸器作業場で検証を行います。

動的システムの真の基礎となる状態は、モデルが直接利用できるわけではなく、システム内の気道圧の観測を通じてのみ利用できます。シミュレータでは、システムの状態を、過去の圧力観測とシステムに適用された制御動作(過去の限られた範囲まで)の集合としてモデル化します。これらの入力は、その後のシステムの圧力を予測するDNNに供給されます。

私たちはこのシミュレータを、試験肺との相互作用を通じて収集された制御-圧力の軌跡データで学習させます。シミュレータの性能は、シミュレータの予測値(自己シミュレーション)と真実の値の偏差の総和で測定されます。

すべての可能な軌道と入力について実際の動きとシミュレーションの対応関係を比較することは不可能ですが、私たちはシミュレーションと既知の安全な軌道との距離を測定しています。堅牢性のために、これらの安全な軌道をランダムに動かす事も行っています。

正確なシミュレータを学習した後、それを使ってDNNベースのコントローラを完全にオフラインで学習させます。このアプローチにより、コントローラ学習中の更新を迅速に適用することができます。さらに、シミュレータの微分可能な性質により、DNNのパラメータに対する損失の勾配を解析的に計算することで、直接ポリシー勾配を安定して利用することができます。私たちは、この方法がモデルフリーのアプローチよりも大幅に効率的であることを見出しました。