SMILY：病理学のための人間中心の類似画像検索ツール(2/2)

１．SMILY：病理学のための人間中心の類似画像検索ツール(2/2)まとめ

・SMILYをユーザに受け入れられるようにするためには人間中心の設計が必要であった
・具体的には状況に応じてユーザが何を求めているか柔軟に設定できるようにした
・人間中心のアプローチによってSMILYの信頼性が重要視されるようになった

２．人間中心のアプローチとは？

以下、ai.googleblog.comより「Building SMILY, a Human-Centric, Similar-Image Search Tool for Pathology」の意訳です。元記事は2019年7月19日、Narayan HegdeさんとCarrie J. Caiさんによる投稿です。

SMILEYを人間中心のツールと共に使う
しかしながら、病理医がどのようにSMILYを利用するかを観察した時、問題が発覚しました。

具体的には、病理医が本当にしたい事は、類似した画像を含んでいる過去の症例から学ぶ事です。そして、検索の際は「この画像に似ている画像」という漠然とした検索を実行します。

しかし、このツールは検索の目的を理解することはできませんでした。病理医は、類似した組織学的特徴を捜しているのでしょうか？。それとも腺の形態？、全体的な構造？、または何か他の特徴を見つけようとしているのでしょうか？

言い換えれば、ユーザーは、探しているものを実際に見つけるために、ケースバイケースで検索結果を誘導し、洗練させる機能を必要としていました。

更に、この検索を改良する必要性は、医師が「反復診断」を実行するために生じている事がわかりました。「反復診断」とは、仮説を生成し、これらの仮説を検証するためのデータを収集し、代替仮説を探求し、反復的に以前の仮説を再検討または再検証する手順を繰り返す事です。

そのため、SMILEYが実際のユーザーのニーズを満たすためには、ユーザーと対話する際に別のアプローチを必要とする事が明らかになりました。

私たちの第2の論文で説明されている「注意深い人間中心の研究」を通じて、私達はSMILYを設計し、強化しました。具体的には、ユーザーがその類似性を状況に応じて何を意味するのか表現することを可能にしたのです。

1)領域による絞り込み機能
ユーザーは画像内の関心のある領域を切り取ることができ、検索はその領域だけに限定されます。

2)症例による絞り込み
ユーザーは検索結果の一部を選択し、その結果を更に検索することができます。

3)概念による絞り込み
スライダーを使用して、検索結果に臨床概念がどの程度存在するかを指定できます(例：癒合腺管)(訳注：前立腺癌の危険性を判断する際に使われるグリーソン分類と言う指標は、特定の組織の変異状態の多さなどを元に診断するのですが、そういった特定変異の存在の量をスライダーを使って指定する事が出来ると言う事です)

これらの検索対象の概念をあらかじめ機械学習モデルに組み込むのではなく、エンドユーザーが後から新しい検索概念を作成し、特定のケースで重要と思われる概念を検索できるよう検索アルゴリズムをカスタマイズ可能な形式で開発しました。

これにより、機械学習モデルがすでに学習を実行した後であっても、関心のある各概念または用途を思いついたら、元のモデルを再トレーニングする必要なしに、ツールを介して新しい探索を実行する事が可能になりました。

病理医と行ったユーザー調査を通して、ツールベースのSMILYは検索結果の臨床的有用性を高めるだけでなく、これらのツール機能がない従来のバージョンのSMILYと比較してユーザーの信頼と機械学習による提案が採用される可能性を大幅に高めることがわかりました。

興味深いことに、これらの改良ツールは、単に類似性検索を上手く実行する以上の方法で病理医の意思決定プロセスをサポートしているように見えました。

病理医は、反復検査の結果が変化する事を利用し、仮説の可能性を漸進的に追跡する手段としたのです。

例えば、検索結果が意図していなかった驚くべきものになったとき、多くの人が基礎となるアルゴリズムをテストし理解するためにツールを使って再検索しました。検索を妨げていると思われる領域を切り取ることや、概念スライダーを調整して、無視されている疑いのある概念の存在を増やすことなどです。

自動化技術の利点を活用しつつ、機械学習の診断結果を受動的に受け取ることを超えて、医師はツールを使って積極的に自身の仮説を検証し、彼らの専門分野の知識を増強する力を得ました。

これらの対話型ツールにより、ユーザーは各類似画像検索を意図や目的に合わせて調整できます。私たちは、デジタル化された病理画像の大規模なデータベースの検索を支援するSMILYの可能性に興奮しています。

この技術の潜在的な用途の1つは、病理画像の教科書に説明的な見出しを付けて索引付けし、医学生や病理医が視覚的な検索を使用してこれらの教科書を検索し、学習プロセスの速度を向上することです。

別の用途は、腫瘍の形態と患者の転帰(症状の進行状況)の相関関係を研究している癌研究者にとって有用である事です。類似の症例の検索を高速で行う事ができます。

最後に、病理学者はSMILYのようなツールを利用して、症例に関する特徴の出現箇所を全て突き止める事ができるようになるかもしれません。(例：活発な細胞分裂の兆候、または有糸分裂など)

SMILYを使い同じ患者の組織サンプルで、がん治療の必要性を知らせるために重症度をよりよく理解する事が出来るようになります。

また、重要な私達の発見は、洗練された機械学習アルゴリズムが最も有用であるためには、人間中心の設計と対話型ツールと共に使われる必要があるという事実を実証し、証拠として追加した事です。

謝辞
この作品は、Jason D. Hipp、Yun Liu、Emily Reif、Daniel Smilkov、Michael Terry、Craig H. Mermel、Martin C. Stumpe、そしてGoogle HealthとPAIRのメンバーなしでは実現できませんでした。2つの論文「Similar Image Search for Histopathology: SMILY」と「Human-Centered Tools for Coping with Imperfect Algorithms during Medical Decision-Making」のプレプリントはarxiv.orgから入手できます。