転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)

１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(1/2)まとめ

・胸部X線画像は一般に他の医療用画像診断よりも安価で身近な存在だが有効活用できていない
・機械学習モデルは有効活用に貢献するが大規模なラベル付きデータはコストが膨大にかかる
・胸部X線画像をembeddingsに変換して利用する事でより効率的な転移学習を追及した

２．Simplified Transfer Learningとは？

以下、ai.googleblog.comより「Simplified Transfer Learning for Chest Radiography Model Development」の意訳です。元記事は2022年7月19日、Akib UddinさんとAndrew Sellergrenさんによる投稿です。

これも転移学習のやり方が大きく変わるかもしれない重要なお話ですね。

アイキャッチ画像はlatent diffusionでプロンプトはChest X-Ray Network。

毎年、肺の虚脱から感染症に至るまでの健康状態の検出と管理を支援するために、世界中で約10億枚の胸部X線(CXR:Chest X-Ray)画像が撮影されています。

一般に、CXRは他の医療用画像診断よりも安価で身近な存在です。しかし、CXRの最適な利用を阻む課題は依然として存在します。例えば、地域によっては、CXR画像を正確に解釈できる訓練を受けた放射線科医が不足しています。さらに、専門家による解釈のばらつき、施設間のワークフローの違い、専門外の医師しか知らないまれな疾患の存在などが、質の高いCXRの解釈を困難にしている要因となっています。

最近の研究では、機械学習(ML:Machine Learning)を活用して、これらの課題に対する潜在的な解決策を探っています。CXRの異常を検出し、心臓や肺に影響を与える疾患や状態を特定するために利用しやすさ、精度、効率を向上させる深層学習モデルの構築に大きな関心と努力が注がれています。

しかし、堅牢なCXRモデルを構築するには、大規模なラベル付きトレーニングデータセットが必要であり、その作成には法外なコストと時間がかかる場合があります。また、医療従事者が少ない集団や希少な病状の研究などでは、限られたデータしか利用できない場合もあります。さらに、CXR画像は集団、地域、機関によって品質が異なるため、グローバルに通用する堅牢なモデルを構築することが困難です。

Radiology誌に掲載された論文「Simplified Transfer Learning for Chest Radiography Models Using Less Data」では、Google Healthがどのようにして高度なML手法を活用して、CXR画像をembeddings(情報量の多い数値ベクトル)に変換できる事前学習済みの「CXRネットワーク」を開発したかを説明しています。このembeddingsを利用する事で開発者は少ないデータと少ない計算資源でCXRモデルを開発できようになります。

このアプローチにより、少ないデータと計算量でも、様々な予測タスクにおいて、最先端のディープラーニングモデルに匹敵する性能を実現したことを実証します。また、私達のCXR特化ネットワークを活用し、開発者がCXR画像用のカスタムembeddingsを作成できるツール「CXR Foundation」のリリースを発表できることを嬉しく思っています。私たちは、この研究がCXRモデルの開発を加速させ、病気の発見を助け、世界中のより公平な医療アクセスに貢献するものと信じています。

胸部X線ネットワークの開発

医療用MLモデルを構築する一般的なアプローチは、医療用ではない汎用的な画像データセットを用いて汎用的なタスクでモデルを事前学習し、その後、目標とする医療用タスクでモデルを改良することです。

この転移学習は自然画像の理解を医療画像に適用することで、対象タスクの性能を向上させたり、少なくとも収束を早めたりすることができます。しかし、転移学習では、改良のために大規模なラベル付き医療データセットが必要となる場合があります。

本システムでは、この標準的なアプローチを発展させ、

(1)従来の転移学習と同様の汎用画像を使った事前学習
(2)CXR固有の事前学習
(3)タスク固有の学習

の3段階のモデル学習設定によりCXR固有のタスクのモデル化をサポートします。(1)と(3)は一般的な学習方法であり、大規模なデータセットとラベルを用いた事前学習と、目的のタスクに特化した微調整を行うものです。

私達は、教師あり対象学習(SupCon:Supervised Contrastive learning)を用いたCXRに特化した画像分類器を構築しました。SupConは、同じラベル(例えば「異常」)を持つ画像同士の特徴表現が似るようまとめ、異なるラベル(例えば「正常」と「異常」)を持つ画像同士の特徴表現が似ないように遠ざけます。

このモデルは、米国Northwestern MedicineとインドのApollo Hospitalsの協力により作成された80万枚以上の非識別化CXRデータセットで事前に学習させました。次に、放射線診断報告書の自然言語処理から得られたノイズの多い異常ラベルを利用して、「CXR固有」のネットワークを構築しました。

このネットワークは、画像所見(例：肺の空隙の不透明度の有無)、臨床状態(例：結核の有無)、患者の転帰(例：入退院の可能性)など、特定の医療予測タスクのモデルをより容易に学習できる埋め込み（例：クラスを互いに区別するために使用できる情報量の多い数値ベクトル）を作成します。

例えば、CXRネットワークは、与えられたCXRデータセット内の全ての画像に対してembeddingsを生成することができます。これらの画像に対して、生成されたembeddingsと所望のターゲットタスク(結核検知など)用のラベルは、小さなMLモデルを学習するための例として使用されます。

左：与えられたタスクのためのCXRモデルのトレーニングには、一般に、多数のラベル付き画像と、ニューラルネットワーク層の基盤部分を作るために相当量の計算リソースが必要です。
右 CXRネットワークとツールがこの基盤部分を提供することで、ネットワーク全体をゼロから再構築する場合と比較して、新しいタスクごとに必要なラベル付け画像、計算リソース、およびニューラルネットワークのパラメータはごくわずかになります。