ML-fairness-gym：機械学習システムの長期的な影響を調査するツール(2/3)

１．ML-fairness-gym:機械学習システムの長期的な影響を調査するツール(2/3)まとめ

・固定したデータセットを利用した公平性の確認は２つの欠陥がある事が知られている
・第一にテストセットが不完全かシステム固有のバイアスを内包している可能性がある事
・第二に機械学習システムの出力によって行われた行動が、将来の入力に影響を与える可能性がある事

２．ML-fairness-gymによるシミュレーション

以下、ai.googleblog.comより「ML-fairness-gym: A Tool for Exploring Long-Term Impacts of Machine Learning Systems」の意訳です。元記事の投稿は、2020年2月5日、Hansa Srinivasanさんによる投稿です。アイキャッチ画像のクレジットはPhoto by bruce mars on Unsplash

固定データセットを使った分析の欠陥
貸出問題などを評価するための機械学習の標準的なやり方は、データの一部を「テストセット」として予約し、それを使用して関連するパフォーマンス基準を計算することです。次に、これらのパフォーマンス基準が主要なグループ間でどのように異なるかを調べることにより、公平性が評価されます。

ただし、フィードバックループを持つシステムでこのようなテストセットを使用すると、主に2つの問題があることがよく知られています。

第一に、テストセットが既存のシステムから生成された場合、それらは不完全であるか、そのシステムに固有のバイアスを内包している可能性があります。

貸出問題の例では、「ローン申請が許可された個人」が「ローンを完済したか？」に関しての情報しか存在しない可能性があるため、テストセットが不完全な可能性があります。つまり、テストセットには、「ローン申請が許可されなかった個人」、または「以前にローン申請をした事がない個人」についての情報が含まれていない場合があります。

二番目の問題は、機械学習システムの出力によって行われた行動が、将来の入力データとして影響を与える可能性がある事です。機械学習システムによって決定されたしきい値は、融資継続時にも使用されます。人々がこれらのローンを債務不履行にするか完済するかは、将来のクレジットスコアに影響し、機械学習システムにフィードバックされていきます。

これらの問題は、固定したデータセットを使って公平性を評価する事の欠点を強調し、アルゴリズムが使用されている実際の環境でアルゴリズムの公平性を分析する必要性を動機付けます。そのため、私達は機械学習の実践者が機械学習システムにシミュレーションベースの分析を行う事を支援するML-fairness-gymフレームワークを作成しました。

長期視点で分析するためのシミュレーションツールとしてのML-fairness-gym
ML-fairness-gymは、Open AIのGymフレームワークを使用して、逐次的な意思決定をシミュレートします。このフレームワークでは、エージェントはシミュレートされた環境と繰り返し対話を行います。

各ステップで、エージェントは環境の状態に影響を与えるアクションを選択します。
その後、環境は、エージェントの行動が引き起こした観測結果を明らかにします。
エージェントをその観察結果を次のアクションを通知するために使用します。

このフレームワークでは、環境は「システム」と「問題」の動的な関係をモデル化し、観測結果はエージェントへのデータとして機能するので、機械学習システムとして扱う事ができます。

フレームワークで使用されるエージェントと環境の相互作用ループの図