ML-fairness-gym：機械学習システムの長期的な影響を調査するツール(1/3)

１．ML-fairness-gym:機械学習システムの長期的な影響を調査するツール(1/3)まとめ

・機械学習の公平性は一般的に固定したデータセットを利用して公平性を確認する事で行われる
・機械学習の影響を受けたデータが次の入力に使われるような動的な環境では不十分なチェックになる
・ML-fairness-gymは環境的および時間的な変化が及ぼす影響を考慮して公平性を分析する仕組み

２．ML-fairness-gymとは？

以下、ai.googleblog.comより「ML-fairness-gym: A Tool for Exploring Long-Term Impacts of Machine Learning Systems」の意訳です。元記事の投稿は、2020年2月5日、Hansa Srinivasanさんによる投稿です。アイキャッチ画像のクレジットはPhoto by bruce mars on Unsplash

機械学習システムは、刑事事件の判決、児童福祉の評価、医師の診察などの多くの大切な意思決定が必要になる場面で、人間の決定を支援するために増々使用されるようになっています。

そのような大切な場面で使われるシステムが公正であるかどうかを理解することは非常に重要であり、モデルを短期的、および長期的な視点から理解する必要があります。

機械学習システムの公平性を評価する一般的な方法は、固定したデータセットを利用してシステムへ様々な入力を行い、機械学習が行う判断基準に不平等な格差がないかを確認する事で行われます。

事実、多くの既存の機械学習の公平性を確認するツール(AIF360、fairlearn、fairness-indicators、fairness-comparisonなど)は、エラーメトリックベースの手法、つまり既存のデータセットを使ってエラーとされた判断基準に偏りがないか分析を行う手段を提供しています。

この種の分析は単純な環境であれば有効な可能性があります。しかし、機械学習アルゴリズムの影響を理解するためには「機械学習アルゴリズムが動作する環境」が重要な場合があります。

例えば、動的に収集したデータを使う場合は、時間と共にデータの性質が変化する可能性があります。また、フィードバックループを備えたシステムでは、機械学習アルゴリズムの影響を受けたデータが次の入力データとして使われるため、機械学習アルゴリズム自体が環境に影響を及ぼす場合があります。

これらの場合、アルゴリズムの決定に対する公平性は、理想的には、エラーメトリックベースの手法より、環境的および時間的な変化が及ぼす影響を考慮して分析されるべきでしょう。

このようなより広い視点から機械学習アルゴリズムの開発を促進するため、私達はML-fairness-gymをリリースしました。これは、機械学習ベースの意思決定システムを社会環境に展開する事の潜在的な、長期的影響を調査する簡単なシミュレーションを構築するための仕組みです。

論文「Fairness is not Static: Deeper Understanding of Long Term Fairness via Simulation Studies」では、ML-fairness-gymを使用して、自動意思決定システムが及ぼす長期的な影響を調査する方法を示していまし。これらの長期的な影響とは、今までに出版された機械学習の公平性に関する文献で指摘された問題点です。

例：貸出問題(The Lending Problem)
機械学習システムの公平性を考慮するための古典的な問題は、Liu等によって指摘された貸出問題です。この問題は、銀行のローン審査を非常に単純化および定型化した表現であり、単一のフィードバックループに焦点を当てて、その効果を分離して詳細に調査します。

この問題では、個々のローン申請者がローンを完済する確率を、クレジットスコアの関数として定式化しています。ローン申請者は、任意のグループのいずれかに属し、そのグループを構成するメンバーの属性は貸付を行う銀行によって観察可能とします。

各グループは、異なるクレジットスコアを初期値として持ちます。銀行は、グループ全体に適用される、またはグループごとに調整されたクレジットスコアのしきい値を決定してローン審査を行おうとします。スコアがしきい値より高い応募者はローン申請を許諾され、スコアが低い応募者は拒否されます。

シミュレーションで個人を選択した時、彼がローンを完済できるかどうかは、彼が所属するグループの回収可能性に基づいて決定されます。

この場合、現在ローンを申請している個人は将来的に追加のローンを申請する可能性を持ち、その場合、ローンを完済する事により、彼のクレジットスコアと彼が所属するグループの平均クレジットスコアの両方が増加します。同様に、もし、申請者がローンを返せなくなった場合、彼が所属するグループの平均クレジットスコアは低下します。

銀行の目標によって、最も効果的なしきい値は異なってきます。利益最大化を目標とする銀行は、申請者がローンを返済する見込みの推定値に基づいて、予測収益を最大化するしきい値を設定するでしょう。

グループ間の公平性を求めている別の銀行では、機会の平等を満たしつつ利益を最大化するしきい値を実装しようとするかもしれません。その目標は平等な陽性率(TPR:True Positive Rate)を実現する事です。

陽性率(TPR)とは再現率(Recall)または感度(Sensitivity)とも呼ばれ、ローン申請を許可された人の何パーセントが実際にローンを完済したか測る尺度です。

この場合、銀行採用する機械学習技術は、グループの分布と個人の所得に基づいてローン審査に最も効果的なしきい値を決定するために用いられます。しかし、この手法は短期的な目的に焦点を合わせる事が多いため、異なるグループ間で意図しない不公平な結果をもたらす可能性があります。

上：2つのグループのクレジットスコアの分布を、100回のシミュレーションで変更しています。
左下：銀行の現金
右下：グループ1のTPRを青、グループ2を緑で表現しています。