Fairness Indicator：公正な機械学習を構築するためのツール(3/3)

１．Fairness Indicator：公正な機械学習を構築するためのツール(3/3)まとめ

・Fairness IndicatorsはTensorFlow関連のツールを使っていると簡単に呼び出す事が出来る
・TensorFlow関連のツールやTensorFlowを一切使っていなくてもモデル出力に適用が可能
・今後もFairness Indicatorsを垂直方向と水平方向に拡張しつつケーススタディを充実する予定

２．Fairness Indicatorsの使い方

以下、ai.googleblog.comより「Fairness Indicators: Scalable Infrastructure for Fair ML Systems」の意訳です。元記事の投稿は2019年12月11日、Catherina XuさんとTulsee Doshiさんによる投稿です。

貴方が開発中のモデルにFairness Indicatorsを使用する方法
Fairness Indicatorsは、モデルのパフォーマンスを調査および視覚化する事が出来るTensorFlow Extended(TFX)のコンポーネントであるTensorFlow Model Analysisの上に構築されています。

以下のいずれかの方法でFairness Indicatorsをシステムに組み込むことができます。

1)TensorFlowやTFXなどのTensorFlow関連のツールを使用している場合

・TFXのEvaluatorコンポーネントの一部としてのFairness Indicatorsへアクセスする事ができます。

・他の基準をリアルタイムに評価している時はTensorBoard経由でFairness Indicatorsにアクセスする事ができます。

2)TensorFlow関連のツールを使用していない場合

Fairness Indicatorsをpipを使ってダウンロードし、Tensorflow Model Analysisを独立したツールとして使用する事ができます。

3)TensorFlowを全く使っていないモデルの場合
Model Agnostic TFMAを使用して、任意のモデルの出力についてFairness Indicatorsを使用する事ができます。

Fairness Indicatorsのケーススタディ
私達はFairness Indicatorsの使用例を説明するケーススタディと紹介ビデオを作成しました。このケーススタディではJigsawのToxicityデータセットでトレーニングされたモデルが持つ意図的に設定したものではないバイアスを検出して軽減します。

このデータセットは、音声会話が荒れないようにするMLモデルをトレーニングしているJigsaw内のチームであるConversation AIチームによって開発されました。モデルは、テキストのコメントが有害か、侮辱的か、性的表現を含むか、など様々な側面からチェックするように訓練されています。

こういったモデルの主な使用例は、コンテンツのモデレーションです。

モデルが特定の種類のメッセージに体系的にペナルティを課す場合(例えば、コメントに悪意がないのに悪意有とマークしてしまい、誤検出率が高くなってしまう場合など)、それらの音声は聞えなくなります。ケーススタディでは、データセットに存在する性自認(gender identity:自分が男性なのか女性なのかという認識)キーワードによってスライスされたサブグループの誤検出率を調査し、ツール(Fairness Indicators、TFDV、およびWIT)の組み合わせを使用して、根本的な問題を検出、診断、および対策を講じています。

次にやる事は何でしょうか？
Fairness Indicatorsは初めの一歩にすぎません。私達はFairness Indicatorsを垂直方向と水平方向に拡張する予定です。

しきい値を設定ぜずとも分類子を評価できる測定基準など、サポート可能な測定基準を増やし有効にして、垂直方向へ拡張します。また、アクティブラーニングやmin-diffなどの手法を利用する修復ライブラリ(remediation libraries)を作成することにより、水平方向に拡張します。

実例を通して学ぶことが重要であると考えているため、今後数か月にわたってリリースされるより多くの機能を使って、より多くのケーススタディを行いたいと考えています。

Fairness Indicatorsの利用を開始するには、GitHubリポジトリをご覧ください。貴方自身のケースで公平性評価をどのように考えれば良いかについては、GitHubのfairness-indicatorsのページを参照してください。

Fairness Indicatorsが最も役立つ場所、および追加された機能がどんな時に価値があるかを理解するために、あなたと提携したいと思います。tfx@tensorflow.orgまでご意見をお聞かせください。

謝辞
この研究の背後に存在するコアチームには、Christina Greer, Manasi Joshi, Huanming Fang, Shivam Jindal, Karan Shukla, Osman Aka, Sanders Kleinfeld, Alicia Chang, Alex Hanna, そしてDan Nanasが含まれます。また、James Wexler、Mahima Pushkarna、Meg Mitchell、Ben Hutchinsonのプロジェクトへの貢献に感謝します。