MinDiff：機械学習モデルの不公平な偏見を軽減(1/2)

１．MinDiff：機械学習モデルの不公平な偏見を軽減(1/2)まとめ

・分類器は重要な役割を果たすが不当な偏見を最小限に抑えるように構築されている事が大切
・MinDiffはMLモデルをトレーニングする際の不公平な偏見を効率的に軽減するツール
・公平性を評価する指標の1つは機会均等だが現実世界の問題は必ずしも理想通りにいかない

２．MinDiffとは？

以下、ai.googleblog.comより「Mitigating Unfair Bias in ML Models with the MinDiff Framework」の意訳です。元記事の投稿は2020年11月16日、Flavien ProstさんとAlex Beutelさんによる投稿です。

機会均等に関する考察は以下の記事なども読んでおくと公平性の難しさ、つまり「何を持って公平とするか？」という問題の難しさに対して理解が深まると思います。
ML-fairness-gym：機械学習システムの長期的な影響を調査するツール(1/3)
ML-fairness-gym：機械学習システムの長期的な影響を調査するツール(2/3)
ML-fairness-gym：機械学習システムの長期的な影響を調査するツール(3/3)
TFCO：制約付き最適化ライブラリを使用して公平性の目標を設定(1/3)
TFCO：制約付き最適化ライブラリを使用して公平性の目標を設定(2/3)
TFCO：制約付き最適化ライブラリを使用して公平性の目標を設定(3/3)

元タイトルにあるMitigatingは緩和の意味ですが、中々しっくり来る画像が見つからないので、緩和しすぎてる感もある本画像がアイキャッチ画像となりました。クレジットはPhoto by Jacalyn Beales on Unsplash

機械学習(ML:Machine Learning)の責任ある研究開発は、様々な社会的課題の解決を支援する上で極めて重要な役割を果たすことができます。Googleの研究は、医療過誤から患者を保護し、洪水予測モデルを改善することから、Google翻訳などの製品の不当な偏見に取り組む方法を提示する事、他の研究者が同じことを行うためのリソースを提供する事まで、GoogleのAI原則を示しています。

MLを責任を持って適用するための広大な分野の１つは、分類タスクです。分類タスクとは、データをラベル付きのカテゴリに分類するシステムです。 Googleでは、このようなモデルを製品全体で使用して、悪意のある表現の検出から年齢に応じたコンテンツフィルタリングに至るまで、ポリシーを適用しています。これらの分類器は重要な役割を果たしますが、不当な偏見(Bias)を最小限に抑えるように構築されていることも不可欠です。

本日、MLモデルをトレーニングする際の不公平な偏見を効果的かつ効率的に軽減するためにTF Model Remediation libraryで利用できる新しい正則化手法であるMinDiffのリリースを発表します。本投稿では、この手法の背後にある研究について説明し、Googleの製品に組み込む際に観察された実際的な制約と要件にどのように対処するかを説明します。

分類器の不公平な偏見
MinDiffの使用方法を説明するために、有害と見なされる可能性のあるコメントの識別と削除を担う分類器を検討してみましょう。1つの課題は、分類器が特定のユーザーグループからの送信に対して不当に偏っていないことを確認することです。偏りがあると、これらのグループからコンテンツが誤って削除される可能性が増えてしまいます。

学術界は、MLの公平性に関する確固たる理論的基盤を築き、不公平な偏見とは何を意味するのか、公平性を評価するための様々なフレームワーク間の綱引きについて幅広い視点を提供しています。

最も一般的な指標の1つは機会均等(equality of opportunity)です。この場合、グループ間の偽陽性率(FPR:False Positive Rate)の差を測定して最小化することを意味します。つまり、分類器は「問題がないコメントを誤って削除してしまう割合」を全グループ間で平等にする必要があります。同様に、分類器の偽陰性率もグループ間で等しくなければなりません。つまり、分類器は「有害なコメントを見逃さない割合」を全グループ間で平等にする必要があります。

最終目標が製品の改善である場合、不当な偏見の軽減を多くのモデルで実現できることが重要です。ただし、これにはいくつかの課題があります。

(1)疎な人口統計データ
機会均等に関する元の研究では、問題に対する後処理アプローチが提案されました。
これは、モデルの偏見を相殺するために、サービス時に各ユーザーグループに異なる分類しきい値を割り当てることで構成されていました。

ただし、現実世界では、プライバシーポリシーなど、多くの理由でこれが不可能な場合がよくあります。例えば、人口統計は、ユーザーから識別情報の収集許可を得て収集される事がよくありますが、これを許可するユーザーもいれば、許可しないまたはデータの削除を選択するユーザーもいます。

偏見に後処理ではなくモデルのトレーニング方法を変更して対処する場合でも、ほとんどのデータに人口統計情報が関連付けられていないことを前提とする必要があるため、人口統計がわかっているいくつかのサンプルを効率的に使用する必要があります。

(2)使いやすさ
あらゆる手法を広く採用するには、既存のモデルアーキテクチャに簡単に組み込むことができ、ハイパーパラメータにあまり敏感ではない必要があります。 MLの公平性の原則をアプリケーションに組み込むための初期のアプローチでは、GANのような敵対的な手法を利用していましたが、トレーニング中にモデルが頻繁に縮退するため、製品チームが反復作業するのが難しくなり、他の製品チームが新規に採用する事を躊躇うようになる事がわかりました。

(3)品質
不公平な偏見を取り除く手法は、全体的な分類パフォーマンス(精度など)の低下も可能な限り少なくする必要があります。緩和アプローチによって精度が低下すると、モデルが有害なコメントが許可してしまう可能性が高まるため、適切なバランスをとることが重要です。