Fairness Indicator：公正な機械学習を構築するためのツール(2/3)

１．Fairness Indicator：公正な機械学習を構築するためのツール(2/3)まとめ

・Fairness Indicatorsを使用すると公平性基準の計算と視覚化が可能になり、独自の基準を追加する事も可能
・Fairness IndicatorsはWhat-If toolと統合されており問題がありそうなデータスライスを事前に特定可能
・公平性の概念は状況や場面に依存するため様々なケーススタディや事例も提供されている

２．Fairness Indicatorsとは？

以下、ai.googleblog.comより「Fairness Indicators: Scalable Infrastructure for Fair ML Systems」の意訳です。元記事の投稿は2019年12月11日、Catherina XuさんとTulsee Doshiさんによる投稿です。

Fairness Indicatorsツールの一覧

Fairness Indicatorsツールを使用すると、分類モデルの識別結果に良く使われる公平性基準の計算と視覚化が可能になります。

例えば、偽陽性率や偽陰性率など、スライス(訳注：スライスチーズのスライス、「薄く切る」の意味で、データを色々な切り口で分割する事を意味しています)したデータ全体、または基準となるスライスとのパフォーマンスを簡単に比較できます。

このツールは、統計的に有意な不均衡を明らかにする可能性のある信頼区間を計算し、複数のしきい値にわたって評価する事ができます。基準とするスライスを自由に切り替えて、他の基準を用いて様々なパフォーマンスも検証できます。ユーザーは、ユーザ独自のユースケース用に視覚化を行うために独自の基準を追加することもできます。

更に、Fairness IndicatorsはWhat-If tool(WIT)と統合されています。Fairness Indicatorsグラフ上のバーをクリックすると、これらの特定のデータポイントがWITに読み込まれ、さらに検査、比較、反事実分析(counterfactual analysis)が行われます。

これは、大規模なデータセットで特に役立ちます。WITを使用して詳細な分析を行う前に、Fairness Indicatorsを使用してデータのどの部分に問題があるか特定できるためです。

Fairness Indicatorを使用して、公平性の評価を視覚化します。