敵対的サンプルはバグではなく人間には知覚できない高度な特徴(3/5)

１．敵対的サンプルはバグではなく人間には知覚できない高度な特徴(3/5)まとめ

・堅牢ではない特徴が存在しなくてもバグから敵対的サンプルを構築できる
・しかし、バグから構築した敵対的サンプルによる学習は転移しない
・堅牢ではない特徴は転移しバグは転移しないと言う事は高度な特徴説を補強

２．「バグ」から構築された敵対的なサンプル

以下、distill.pubより「A Discussion of Adversarial Examples Are Not Bugs, They Are Features」の意訳です。元記事の投稿は2019年8月6日、Chris OlahさんとLudwig Schubertさんによる編纂です。

敵対的な例は単なるバグです
Preetum Nakkiranは、実データに転移しない敵対的なサンプルを作り上げました。これは、敵対的サンプルの一部が、元の論文の枠組みの中で「バグ」として定義されたものである事を示唆しています。Preetumは、元にした分布に「堅牢でない特徴」がない場合でも、敵対的なサンプルが発生する可能性がある事も示しています。

元の著者からのコメント
私達の論文では敵対的サンプルをきめ細かく見ています。すなわち、堅牢でない特徴が存在し、敵対的なサンプルがそれらから生じる一方で、「バグ」から生じる敵対的サンプルも存在します。「バグ」から構築された敵対的なサンプルが転移しないという事実は、転送可能性と(堅牢でない)特徴がリンクしていると言う別の観点からの証拠を構成します。

誤ってラベル付けされたデータからの学習
Eric Wallaceは、トレーニングエラーとなったトレーニング、また関係ないデータセットから学んだ予測トレーニングの両方が、転移できることを示しています。これらの実験は、元の論文の堅牢ではない特徴を学習した転移結果に類似しています。3つの結果はすべて、「誤ってラベル付けされたデータから学習した」一種の例です。

元の著者からのコメント
これらの実験は、根本的に、「人間にとっては意味のない特徴」を学習する現象が実際に広範囲に発生する可能性があるという事実を創造的に実証しています。

原著者による議論と回答
原作者は、コメントのヤリトリから生じた重要事項と明確化について説明しています。この記事には、各コメントに対する回答も含まれています。