DermGAN:機械学習トレーニング用に多様な皮膚状態の医療用画像を合成(1/2)

１．DermGAN:機械学習トレーニング用に多様な皮膚状態の医療用画像を合成(1/2)まとめ

・機械学習モデルを様々なケースで使用できるようするために肌の違いを含む多様な学習データが必要
・肌画像の多様性を改善するためDermGANと呼ばれるGANを使って画像を合成するモデルを開発
・DermGANは、事前に指定した所定の肌の状態、場所、基礎となる肌色の特性を持つ画像を生成

２．DermGANとは？

以下、ai.googleblog.comより「Generating Diverse Synthetic Medical Image Data for Training Machine Learning Models」の意訳です。元記事の投稿は2020年2月19日、Timo KohlbergerさんとYuan Liuさんによる投稿です。皮膚病系の画像が多めに掲載されているので苦手な方はやや閲覧注意です。皮膚病からお肌のスキンケアを連想して選んだアイキャッチ画像のクレジットはPhoto by Noah Buscher on Unsplash

医師がより良い診断を行う事ができるようにフォローする医療画像を分類する機械学習(ML)の進歩は、大規模で細心の注意を払ってラベル付けされた画像データセットの使用によって部分的に推進されてきています。ただし、プライバシーの問題、パートナー医療機関が診断している患者の数、または希少疾患で事例が少ない場合などに、利用できる実際の画像データセットのサイズが制限される場合があります。

更に、機械学習モデルを様々なケースで使用できるように適切に一般化するためには、肌のタイプ、幅広い年代、画像を表示する機器など、様々な対象と使用用途にまたがった学習データが必要です。組み合わせの数を考えると、個々の対象グループ、例えばカメラCで撮影された肌の状態がBで肌のタイプがAのグループ、なども十分にデータが存在する事を要求し始めると、すぐにその非現実性に気付きます。

本日、機械学習トレーニングデータの多様性の改善と、医療用アプリケーションで利用可能な有効なトレーニングデータの増加の両方を目的とした2つのプロジェクトを共有します。最初のプロジェクトは、珍しい皮膚のタイプと状態を持つ人達を撮影したトレーニングデータの不足を改善するために、皮膚病変画像を合成して生成する方法です。2番目のプロジェクトでは、この合成画像をトレーニングデータに使用して機械学習モデルを開発します。これにより、機械学習モデルが様々なイメージングデバイスで様々な生体組織タイプをより適切に解釈できます。

多様な肌の状態に対応する画像を生成
NeurIPS 2019のワークショップ、Machine Learning for Health(ML4H)で発表された論文「DermGAN: Synthetic Generation of Clinical Skin Images with Pathology」では、私達は一般大衆向けの普通のカメラで撮影された匿名化された皮膚病画像のデータを使って、データ多様性に関連する問題に対処します。

肌の画像の多様性を改善するために、DermGANと呼ばれるモデルを開発しました。このモデルは、事前に指定された所定の肌の状態、場所、基礎となる肌の色の特性を持つ肌画像を生成します。DermGANは、pix2pix敵対的生成ネットワーク(GAN)アーキテクチャに基づく画像から画像への変換アプローチを使用して、あるタイプの画像から別のタイプに画像を変換する基本的なマッピングを学習します。

DermGANは、入力として実画像と、実画像の基礎となる特性(皮膚の状態、病変の位置、肌のタイプなど)を表す対応する事前生成した情報を受け取り、それを使って新しい合成例を生成します。

ジェネレーターはU-Netアーキテクチャに基づいていますが、チェッカーボードアーティファクト(訳注:checkerboard artifactとはGANで生成した画像に格子状の模様が発生してしまう事)を軽減するために、デコンボリューションレイヤーがサイズ変更レイヤーに置き換えられ、その後に畳み込みレイヤーが続きます。

合成画像の品質を改善するために、特に病理学的な領域内で、いくつかのカスタマイズされた損失が導入されています。DermGANのディスクリミネーターはトレーニングにのみ使用されますが、ジェネレーターは視覚的評価と、肌状態分類器用にトレーニングデータセットを水増しするために使用されます。

DermGANのジェネレーターコンポーネントの概要
モデルは、肌の状態のサイズと位置(小さなオレンジ色の長方形)に注釈が付けられたRGBセマンティックマップ(赤いボックス)を取り、リアルな肌の画像を出力します。色付きのボックスは、畳み込みやReLUなどの様々なニューラルネットワークレイヤーを表します。スキップ接続はU-Netに似ており、適切な規模で情報を伝播できます。

上の列は生成された合成画像です。下の列は基底細胞癌(左)とメラノサイト系母斑(右)の本当の画像を示しています。より多くの例は、論文内で見つけることができます。

視覚的にリアルな画像を生成することに加えて、より珍しい、皮膚病画像のトレーニング用データが不足している肌の状態または肌タイプの画像の生成を可能にします。

DermGANを使用して、さまざまな背景の肌タイプ(上段：肌の色を変更)および異なるサイズの病変(下段：病変のサイズを変更)を持つ肌画像(この場合は全てメラノサイト系母斑斑)を生成できます。入力肌の色が変わると、病変の外観も変化して、様々な肌タイプの実際の病変の見え方と一致するようになります。

初期の研究結果では、生成された画像を学習用データに追加して皮膚状態分類器を訓練すると、黒色腫などのまれな病気の悪性状態検出性能が向上する可能性がある事が示されました。ただし、このような生成された画像を活用して、より一般的なまれな肌のタイプや状態で更に精度を向上させる方法を探るには、より多くの研究が必要です。