StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)

１．StylEx：犬と猫の違いは何かを視覚的に説明する新しい手法(2/2)まとめ

・StylExは分類器を説明するものであり、現実世界の分類を説明するものではない
・現実世界におけるクラスラベル間の物理的な違いを特徴付けるとは限らない
・分類器やデータセットにおける未知のバイアスの検出と軽減にも有望

２．StylExによる特徴の分離

以下、ai.googleblog.comより「Introducing StylEx: A New Approach for Visual Explanation of Classifiers」の意訳です。元記事は2022年1月18日、Oran LangさんとInbar Mosseriさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Tran Mau Tri Tam on Unsplash

フェーズ2：解きほぐされた属性の抽出

学習が完了したら、学習済みジェネレータのStyleSpaceを検索し、分類器に大きな影響を与える属性を探します。そのため、StyleSpaceの各座標を操作し、分類確率への影響を測定します。

与えられた画像に対して、分類確率の変化を最大化するような上位の属性を探します。これにより、上位K個の画像固有の属性が得られます。このプロセスをクラス毎に多数の画像に対して繰り返すことで、さらに上位K個のクラス固有の属性を発見することができ、分類器が特定のクラスについて何を学習したかを知ることができるのです。私たちはこのエンドツーエンドのシステムを「StylEx」と呼んでいます。

画像固有の属性を抽出する視覚的な説明
一度学習した後、与えられた画像の分類確率に最も影響を与えるStyleSpaceの座標を検索します

StylExは幅広い領域と分類器に適用可能

私たちの手法は、様々な領域や分類器(バイナリ分類器、マルチクラス分類器)に対して有効です。以下に、クラス固有の説明例を示します。テストした全ての領域において、私たちの手法によって検出された上位の属性は、人間が解釈しても首尾一貫して意味的な概念に対応していると検証できました。

知覚された性別と年齢の分類器について、以下は、分類器ごとに検出された上位4つの属性です。本手法では、各属性について、その属性を最もよく表すように自動的に選択された複数の画像を例示しています。各属性について、元画像と属性操作された画像を交互に表示しています。各画像の左上には、属性の操作が分類器の確率に与える影響の度合いが表示されています。

知覚的性別分類器用に自動検出された上位4つの属性

知覚年齢分類器用に自動検出された上位4つの属性

なお、本手法は分類器を説明するものであり、現実世界の分類を説明するものではありません。つまり、この方法は、ある分類器がデータから利用することを学習した画像の属性を明らかにするように設計されています。これらの属性は、必ずしも現実世界におけるクラスラベル間の物理的な違い(例えば、若者と老人)を特徴付けるとは限りません。

特に、これらの検出された属性は、分類器の学習やデータセットの偏りを明らかにする可能性があり、これは本手法のもう一つの重要な利点です。さらに、本手法で明らかになった偏りを補正するサンプルで学習データセットを補強するなど、ニューラルネットワークの公正さを向上させるために利用することができます。

分類損失(classifier loss)をStyleGANのトレーニングに追加することは、分類が細かい部分に依存するような領域において非常に重要であることがわかります。

例えば、網膜画像に対して分類損失を与えずに学習させたGANは、必ずしも特定の疾患に対応する細かい病理学的な詳細を生成するわけではありません。分類損失を追加することで、GANは分類の説明として、これらの微細な病態を生成するようになります。

以下、網膜画像分類器(DME disease)と葉の病気分類器(sick/healthy leaf classifier)について例示します。

StylExは、例えば網膜のDMEのマーカーとしてよく知られている「硬性白斑(hard exudate)」や、葉の病気の目印である「腐敗(rot)」など、病気の指標と一致する属性を発見することができます。

網膜画像のDME分類器において、自動検出された上位4つの属性

病気/健康な葉の画像を分類する際に自動検出された上位4つの属性

最後に、この方法はマルチクラス問題にも適用可能であることが、200種の鳥を扱う鳥類分類器で実証されました。

CUB-2011で学習した200クラスの分類器において、
(a)クラス「テリムクドリモドキ(brewer blackbird)」
(b)クラス「キバラメジロハエトリ(yellow bellied flycatcher)」
について、上位4つの属性を自動検出したもの。このように、StylExはCUB分類法の属性に対応する属性を検出していることがわかります。

より大きな影響と次のステップ

全体として、我々は与えられた画像やクラスを対象にする分類器に対して意味のある説明を生成することを可能にする新しい技術を紹介しました。

この技術は、GoogleのAI原則に則り、分類器やデータセットにおけるこれまで知られていなかったバイアスの検出と軽減に向けた有望なステップであると確信しています。

さらに、複数の属性に基づく説明に焦点を当てることは、これまで不透明だった分類プロセスに関する新しい洞察を提供し、科学的発見のプロセスを支援する鍵となります。最後に、私たちのGitHubリポジトリには、論文で使用したGANのColabとモデルの重みが含まれています。

謝辞

この投稿で紹介した研究は、Oran Lang, Yossi Gandelsman, Michal Yarom, Yoav Wald(インターンとして), Gal Elidan, Avinatan Hassidim, William T. Freeman, Phillip Isola, Amir Globerson, Michal Irani および Inbar Mosseri.によって行われたものです。

このブログ記事の執筆をリードしてくれたJenny HuangとMarilyn Zhang、研究論文とこの記事の倫理審査をしてくれたReena Jana, Paul Nicholas, およびJohnny Sorakerに感謝します。