TFCO：制約付き最適化ライブラリを使用して公平性の目標を設定(2/3)

１．TFCO：制約付き最適化ライブラリを使用して公平性の目標を設定(2/3)まとめ

・「正しい」制約とは、何を持って公平とするか、または問題とユーザーの要件によって異なる
・矛盾する制約を課す事も可能なので適切な解決策がない制約を指定しないように注意が必要
・相対制約ではなく絶対制約を使用すると基準を下にずらしてしまう事を防ぐ事ができる

２．TFCOで制約を設定する際の注意事項

以下、ai.googleblog.comより「Setting Fairness Goals with the TensorFlow Constrained Optimization Library」の意訳です。元記事の投稿は2020年2月21日、Andrew Zaldivarさんによる投稿です。アイキャッチ画像のクレジットはPhoto by Cristian Newman on Unsplash

どの制約を設定するのが妥当なのか知る方法
「正しい」制約とは、何を持って公平とするか、または問題とユーザーの要件によって異なります。このため、ユーザーが厳選されたお仕着せのリストから制約を選択することを強制しないように努めています。代わりに、制約が満たすべき条件を割合として指定することにより、広範囲に起こりうる問題を定義できるようにして、柔軟性を最大化しようとしました。

この柔軟性には欠点があります。注意を怠ると、矛盾する制約を課す事になってしまうため、適切な解決策がない制約を持つ問題が発生する可能性があります。上記の例では、真の陽性率(TPR:True Positive Rates、見逃さない事)に加えて、偽の陽性率(FPR:False Positive Rates、誤検知する事)が等しくなるように制約を課す事ができます。(つまり、「均等オッズ(equalized odds)」)。ただし、これら2つの制約セットの潜在的に矛盾する性質は、線形モデルの要件と相まって、非常に低い精度を持つ予測モデルの開発に繋がる可能性があります。例えば：

上図では、真の陽性率と偽の陽性率の両方を等しくする制約を満たした上で、精度を最大化するような決定境界が選択されてます。(訳注：２つの制約を満たそうとした結果、分類精度が非常に悪化してしまう)

柔軟性が不十分なモデルでは、両方のグループのFPRが等しいがFPRそのものが非常に大きい(上記の事例のように、誤検知率は等しいけれども誤検知率自体が非常に大きい)か、またはTPRが等しいがTPRそのものが非常に小さい結果になります(ここで図示はしていませんが、見逃さない割合は等しいけれども見逃さない割合自体がが非常に小さい)。

失敗することはありますか？
割合を指定する事で制約として多くの公平性の目標を表現できることは、機械学習の責任ある開発の進歩を促進するのに役立ちますが、開発者が対処しようとしている問題を慎重に検討することも必要です。

例えば、4つのグループに同じ精度を与えるようにトレーニングを制約したとします。しかし、それらのグループのうちの1つは、他の3つより分類するのが非常に難しいとします。この場合、制約を満たすための唯一の方法は、他の3つのグループの分類精度を下げて、4番目のグループの低い精度に一致させる事です。しかし、これはおそらく望ましい結果ではありません。

「より安全な」代替策は、たとえば各グループに少なくとも75％の精度を達成するように要求することにより、各グループが何らかの絶対基準を個々に満たすように制約することです。

通常、相対制約ではなくこのような絶対制約を使用すると、グループが互いに下に基準をずらしてしまう事を防ぐ事ができます。もちろん、達成できない精度を設定する事もできてしまいますので、そのため、いくらかは念を入れて確認する事は必要です。