機械学習モデルの分類外データの検出を改良(3/3)

１．機械学習モデルの分類外データの検出を改良(3/3)まとめ

・尤度比は背景部分の影響を取り除き、意味を持つ部分に焦点を当てているためOODを適切に検出可能
・尤度は背景部分の画素が非常に特徴的なパターンで並んでいる事を学習してしまいOOD検出に失敗する
・ Fashion-MNISTやゲノムベンチマークでは高いOOD検出を達成できたが引き続き研究が必要

２．尤度比(likelihood-ratio)とは？

以下、ai.googleblog.comより「Improving Out-of-Distribution Detection in Machine Learning Models」の意訳です。元記事の投稿は2019年12月17日、Jie RenさんとBalaji Lakshminarayananさんによる投稿です。

尤度比(likelihood-ratio)を使ってOODを検出
私達は背景部分の影響を取り除き、意味を持つ部分に焦点を当てた尤度比法を提案します。まず、摂動(perturb:ワザと小さく乱す事)させた入力を使って背景モデルをトレーニングします。

入力を摂動させる方法は、現実世界で発生する遺伝子の突然変異をヒントに、入力内の位置をランダムに選択し、別の値で置き換える事で実現します。画像の場合、値は0から256までの値からランダムに選択され、DNA配列の場合、値は4つの可能なヌクレオチド(A、T、C、またはG)から選択されます。

適切な量を摂動してやる事により、データ内に存在する「意味を持つ部分」の構造が破損し、背景部分の特徴のみが補足されるようになります。その後、完全なモデルと背景モデルの間で尤度比を計算します。背景部分の影響を取り除くと、意味を持つ部分の尤度のみが残ります。求められる尤度比は、背景部分と対比したスコアです。つまり、背景部分と比較して意味を持つ箇所がどれだけ重要性を持つかを補足しています。

尤度と尤度比の差を定性的に評価するために、Fashion-MNISTおよびMNISTデータセットの各画素の値をプロットし、画像と同じサイズのヒートマップを作成しました。これにより、どの画素が2つの定義にそれぞれ最も寄与しているかを視覚化できます。

対数化した尤度ヒートマップから、「背景部分の画素」が「意味を持つ部分の画素」よりはるかに尤度に寄与している事がわかります。改めて考えてみれば、これは驚くべきことではありません。背景部分の画素はほとんどが「0」の文字列で構成されているため、非常に特徴的なパターンになり、モデルは非常に容易に特徴表現として学習してしまいます。MNISTヒートマップとFashion-MNISTヒートマップの比較は、MNISTがより高い尤度値を返す理由を示しています。MNISTには単により多くの背景部分があるのです！
代わりに、尤度比は意味を持つ部分により重点を置いている事がわかります。

左：Fashion-MNISTおよびMNISTデータセットの対数化した尤度ヒートマップ
右：尤度比で表した同事例のヒートマップ
値が大きいピクセルは、明るい色合いです。尤度は「背景部分の画素」の影響を大きく受けていますが、尤度比は「意味を持つ部分の画素」に焦点を合わせているため、OOD検出に適しています。

尤度比法は、背景画像の影響を修正し、Mashist Fashion-MNIST向けにトレーニングされたPixelCNN ++モデルに基づいて、0.089 – 0.994のAUROCスコアでMNIST画像をOOD検出するスコアを大幅に改善します。ゲノムベンチマークデータセットに適用すると、今回の手法は、この困難な問題で他の12の比較対象手法より優れた最先端のパフォーマンスを実現しました。

詳細については、NeurIPS 2019で発表した論文「Likelihood Ratios for Out-of-Distribution Detection」をご覧ください。私達の尤度比法(likelihood ratio method)は、ゲノムデータセットでは最先端のパフォーマンスを達成しましたが、モデルを現実世界のアプリケーションとして展開しても問題ないと言えるほど十分な精度はまだありません。この重要な問題の解決に貢献し、現在の最先端技術を改善することを研究者の皆さんに奨励します。データセットはGitHubリポジトリで入手できます。

謝辞
本稿で解説する研究は、Google AIとDeepMindのいくつかのチームにまたがるコラボレーション、Jie Ren, Peter J. Liu, Emily Fertig, Jasper Snoek, Ryan Poplin, Mark A. DePristo, Joshua V. Dillon, Balaji Lakshminarayananによって、達成されました。
NeurIPS 2019のレビュー担当者から受け取ったこの作業に関するすべての議論とフィードバックに感謝します。また、GoogleとDeepMindの同僚：Alexander A. Alemi, Andreea Gane, Brian Lee, D. Sculley, Eric Jang, Jacob Burnim, Katherine Lee, Matthew D. Hoffman, Noah Fiedel, Rif A. Saurous, Suman Ravuri, Thomas Colthurst, Yaniv Ovadia、そしてGoogle BrainおよびTensorFlowチームにも感謝します。