皆のためのMLモデルの構築：機械学習の公平性を理解する(2/3)

１．皆のためのMLモデルの構築：機械学習の公平性を理解する(2/3)まとめ

・what-ifツールを使うと個々の特徴が個々のデータポイントにどのような影響を与えているのかを確認可能
・データの偏りを無視するために特定の特徴を考慮しないように調整した上で最高の精度を目指す事も出来る
・他にも「Equal opportunity」や「Equal accuracy」など様々な最適化戦略をデータに合わせて適用可能

２．What-ifツールの使い方

以下、cloud.google.comより「Building ML models for everyone: understanding fairness in machine learning」の意訳です。元記事の投稿は2019年9月26日、Sara Robinsonさんによる投稿です。

AIプラットフォームをWhat-ifツールに接続

XGBoostを使用してモデルを構築します。GitHubとAI Hubで完全なコードを見つけることができます。XGBoostモデルのトレーニングとAIプラットフォームへの展開は簡単です。

model = xgb.XGBClassifier(objective='binary:logistic')

model.fit(data, labels)

model.save_model('model.bst')

!gsutil cp model.bst gs://your_gcs_bucket

!gcloud ai-platform versions create v1 \
--model=model \
--framework='XGBOOST' \
--runtime-version=1.14 \
--origin=gs://your_gcs_bucket \
--python-version=3.5

モデルのAIプラットフォームへの展開が出来たので、それをWhat-ifツールに接続できます。

# This prediction adjustment function is needed since the What-If Tool expects 
# a model's prediction output as a list of scores for each class.

def adjust_prediction(pred):
  return [1 - pred, pred]

config_builder = (WitConfigBuilder(test_examples.tolist(), data.columns.tolist() + ['SalePrice'])
  .set_ai_platform_model('your-gcp-project', 'housing', 'v1', adjust_prediction=adjust_prediction)
  .set_target_feature('SalePrice')
  .set_label_vocab(['Under160', 'Over160']))
WitWidget(config_builder)

上記のコードを実行すると、下図のような視覚化が行われます。

左上の部分的依存プロット(Partial dependence plots)を選択すると、個々の特徴が個々のデータポイント(データポイントを選択している場合)に関するモデルの予測、または全てのデータポイントに関するモデルの予測にどのような影響を与えているのかを確認できます。

全体的依存プロット(global dependence plots)では、住宅の全体的な品質評価がモデルの予測に大きな影響を与えたことがわかります。(つまり品質評価が上がると価格は上がります)しかし、寝室の数はそうではありませんでした。

この投稿の残りの部分では、公平性の指標に焦点を当てます。

[Fairness]タブの使用を開始

視覚化した図の左上で、[Performance & Fairness]タブを選択します。以下が最初に表示されるものです。

沢山ありますね！設定オプションを追加する前に、詳細を見てみましょう。

「Explore overall performance」セクションでは、モデルの精度に関連するさまざまな指標を確認できます。デフォルトでは、しきい値を操作するためのスライダーは0.5に位置しています。

つまり、このモデルでは0.5を超える予測値は$160kを超えるものとして分類され、0.5を下回るものは$160kを下回るものとして分類されます。しきい値は、モデルのトレーニング後に決定する必要がある値です。What-ifツールは、最適化の対象に基づいて最適なしきい値を決定するのに役立ちます。(詳細については後述)しきい値スライダーを移動すると、すべての基準が変化することがわかります。

混同マトリックス(confusion matrix)は、各クラスの正しい予測の割合を示します。(4つの正方形を合計すると100％になります)。ROCおよびPrecision/Recall(PR)も、モデルの精度の一般的な指標です。データを様々な切り口でスライスして試行錯誤すると、このタブから最高の洞察が得られます。

データスライスに最適化戦略を適用

What-ifツールの左上にある[Configure]セクションで、[Slice by]ドロップダウンから特徴を選択します。最初に、ガレージが家に付帯しているかどうかを示す「GarageType_Attchd」を見てみましょう。(いいえの場合は0、はいの場合は1です)