SMILY：病理学のための人間中心の類似画像検索ツール(1/2)

１．SMILY：病理学のための人間中心の類似画像検索ツール(1/2)まとめ

・SMILYは機械学習を利用した類似画像検索で解剖病理学を支援する試み
・SMILYは病理画像について特別な学習をしておらずラベル付けデータも未使用
・乳房、結腸、前立腺の3つの一般的な癌患部位画像で有望な結果を示した

２．SMILYとは？

以下、ai.googleblog.comより「Building SMILY, a Human-Centric, Similar-Image Search Tool for Pathology」の意訳です。元記事は2019年7月19日、Narayan HegdeさんとCarrie J. Caiさんによる投稿です。

機械学習(ML)の進歩は、糖尿病性眼疾患や転移性乳癌を画像から検出する事を可能にし、医療従事者の診断支援などの分野で大きな可能性が期待されています。

高性能なアルゴリズムは臨床医の信頼と採用を得るために必要ですが、それだけでは必ずしも十分ではありません。

・どのような情報を医師に提供できるのか？
・医師はその情報をどのように取り扱う事が出来るのか？

はMLテクノロジが最終的にはユーザに有用となるか否かの判断において決定的な要因となる可能性があります。

解剖病理学(Anatomical Pathology)、すなわち疾患が疑われる部位を顕微鏡で観察して分析する事は、癌やその他の多くの疾患を診断する際に広く使われているゴールドスタンダードな診断手法です。解剖病理学などの医学的な専門分野は、MLを利用する事で大いに利益を得ることができます。

病理学による診断は伝統的に物理的な顕微鏡を使用して行われていますが、疾患が疑われる組織の高解像度画像をコンピューターで検査することができる「デジタル病理学」の採用が増えています。

デジタル病理学を利用すると、病理学者が困難な症例やまれな疾患の診断に取り組む時、一般の病理学者が非常に専門知識を必要とする症例に取り組む時、および訓練中の病理学者の学習の際などに、関連情報をはるかに簡単に調べることができるようになります。

「私が今見ている患部の病理学的特徴は何だろうか？」というよくある疑問が発生した際、伝統的な病理学の解決策は、同僚医師に尋ねたり、書物を参照したり、オンライン資料を手間をかけて閲覧し、似たような視覚的特徴を持つ画像を見つける事です。

このような問題に対する一般的なコンピュータビジョン技術を利用した解決策は、CBIR(Content-Based Image Retrieval コンテンツベースの画像検索)と呼ばれ、その1つの例はGoogle Imagesの「類似画像検索(reverse image search)」機能です。ユーザーは探したい画像を入力として使用し、類似の画像を検索する事ができます。

本日、私達は医学における類似画像検索のためのヒューマンコンピュータインタラクション研究の更なる進歩を解説する2つの研究論文を発表できる事を喜んでいます。

Nature Partner Journal（npj）Digital Medicine誌に掲載されている「Similar Image Search for Histopathology: SMILY」では、機械学習ベースの病理学向け類似画像検索ツールについて報告しています。

私たちの2番目の論文、「Human-Centered Tools for Coping with Imperfect Algorithms During Medical Decision-Making」は、2019年のACM CHIのヒューマンファクター・イン・コンピューティング・システムズ会議で言及される名誉を受けました。

私達は、画像ベース検索のために様々な使い勝手を探求し、医師とSMILYとの相互作用に対するそれらの効用を評価しました。

SMILYのデザイン
SMILYを開発する最初のステップは、50億の自然な非病理学的画像(例えば、犬、木、人工物など)を使って、「画像」を数学的な「ベクトル」に圧縮する作業をディープラーニングモデルに学習させる事でした。

訳注：画像ファイルは、テキストファイルなどに比べて大きなデータサイズを持ち、そのままではディープラーニングモデルにとって扱いにくいのです。ベクトルは画像に比べると非常に小さいデータサイズで、且つ、ニューラルネットワークにとって扱い安い形式なのです。

画像等のニューラルネットワークで扱いにくい形式をベクトルに変換する作業は、embeddingと呼ばれ、日本語では「埋め込み」と訳される事が多いです。embeddingは、「複雑な情報をシンプルなベクトルに要約する作業」と見なす事が出来るので、「情報をベクトルに埋め込んで要約する作業」と考えれば、「埋め込み」という訳は不自然ではないのですが、「埋め込み」と言う訳をそのまま使うと不自然に感じられてしまう日本語の文脈は数多く、翻訳するのが難しく感じる単語ではあります。

ニューラルネットワークは、学習中に、画像のembeddingを計算および比較することによって、類似画像と異なる画像を区別することを学びます。

次に、このモデルを使用して、The Cancer Genome Atlasの不特定スライドの資料を使用して、画像の部分部分に関してembeddingのデータベースを作成します。

SMILYツールで検索したい画像の一部を選択すると、検索対象画像のembeddingが同時に計算され、データベース内で比較されて、最も類似したembeddingの画像が取得されます。

SMILEYデータベースを構築するステップと、検索対象画像から類似イメージ検索を実行するプロセスの概略図。