Model Card Toolkit:モデルカード作成支援ツール

１．Model Card Toolkit:モデルカード作成支援ツールまとめ

・モデルカードは食品に張られている成分表ラベルと同じ意図で発明された
・公平性や性能に関する注意書きを付与する事でモデルの透明性を高める事を意図している
・モデルカードツールキットを使用するとモデルカードが比較的楽に作成できる

２．Model Card Toolkitとは？

以下、ai.googleblog.comより「Introducing the Model Card Toolkit for Easier Model Transparency Reporting」の意訳です。元記事の投稿は2020年7月29日、Huanming FangさんとHui Miaoさんによる投稿です。

モデルカードは、モデルの成分表のようなものです。スーパーなどで販売されている食品には、内容物や産地や加工責任者、食べるに当たっての注意書きなどが書かれていますが、公開されている学習済みニューラルネットワークモデルにもそういった成分表が付属していあればモデルの透明性が増すので安心して使えますよね、でもモデルカードを作るのはそれはそれで手間がかかるのでModel Card Toolkitを用意しました！というお話です。

成分表とは英語で「Table of ingredients」らしいのですが、これで画像検索すると「テーブルの上に載ったingredients(材料)」の画像が沢山出てきて、これじゃないけれども、間違ってはいないヘルシーな野菜のアイキャッチ画像のクレジットはPhoto by Sharon Pittaway on Unsplash

機械学習(ML:Machine learning)モデルの透明性は、ヘルスケアから個人資産管理、雇用に至るまで、人々の生活に影響を与えるさまざまな領域にわたって重要です。一般消費者が必要とする情報は様々であり、モデルが使用用途に適切かどうかを判断するために開発者が必要とする詳細も異なります。この透明性に関する要望により、モデルの透明性のための新しいツールである「モデルカード(Model Cards)」を開発することになりました。

モデルカードは、MLモデルの来歴、使用法、および倫理に基づく評価を報告するための構造化フレームワークを提供し、モデルの推奨される用途と制限の詳細な概要を情報提供します。開発者、規制当局、および一般ユーザーに等しく利益をもたらすことができます。

昨年、モデルカードを公開し、Googleのチームがオープンソースとしてリリースしたモデル用のモデルカードの作成に取り組みました。例えば、MediaPipeチームは、多くの一般的なタスクのための最新のコンピュータービジョンモデルを作成し、GitHubリポジトリに各オープンソースモデルのモデルカードを含めています。

このようなモデルカードの作成にはかなりの時間と労力がかかり、データとモデルパフォーマンスの両方の詳細な評価と分析が度々必要になります。多くの場合、データの様々なサブセットでモデルがどのように実行されるかを更に評価し、どんな場合にモデルのパフォーマンスが低下するかを指摘する必要があります。

更に、モデルカードの作成者は、モデルの使用目的と制限、および潜在的なユーザーに役立つ可能性のある倫理的な考慮事項について報告し、アクセス可能で理解可能な形式で情報を編集して提示する事を望まれる場合があります。

全ての機械学習の実践者が効率的にモデルカードを作成できるようにするために、私達はモデルカードツールキット(MCT:Model Card Toolkit)を共有しています。MCTは、開発者がモデルカードに入力する情報の編集をサポートし、様々な閲覧者に有用なインターフェースの作成に役立ちます。

MCTを実際に使用する方法を示すために、UCIの国勢調査所得データセットでトレーニングされた単純な分類モデル用のモデルカードを実際に作成するColabによるチュートリアルもリリースしています。

Model Card Toolkitの紹介
モデルカードの作成者がモデル情報を整理できるように、モデルカードに含めるフィールドを指定するJSONで定義できるようにしています。MCTは、MLメタデータ(MLMD:ML MetaData)で保存されたモデルの来歴情報を使用して、データのクラス分布やモデルパフォーマンス統計などの関連情報をJSONに自動的に入力します。

また、JSONスキーマのインスタンスをモデルカードとして視覚化するModelCardデータAPIも提供しています。モデルカードの作成者は、モデルのパフォーマンスが全体的なパフォーマンスから逸脱している可能性のある領域を強調する基準値を含め、最終的なモデルカードに表示する基準とグラフを選択できます。

MCTがモデルカードに主要な基準とグラフを入力すると、モデルカードの作成者は、モデルの使用目的、制限、トレードオフに関する情報、そして、モデルを使用する人々に知られていない他の倫理的考慮事項について補足できます。

もし、モデルが特定のデータ範囲に対して十分に機能しない場合、制限セクションは、開発者がこれらの問題とそれに対処するのに役立つ推奨される軽減戦略を記述する場所になります。

このタイプの情報は、モデルがユースケースに適しているかどうかを開発者が判断する上で重要であり、モデルが適切に使用されるようにモデルカード作成者が前提としている条件を提供するのに役立ちます。現在、モデルカードを視覚化する1つのUIテンプレートを提供していますが、他の形式で情報を視覚化したい場合は、HTMLでさまざまなテンプレートを作成できます。

現在、MCTは、オープンソースまたはGoogle Cloud PlatformでTensorFlow Extended(TFX)を使用している全てのユーザーが利用できます。TFXを介してMLモデルを提供していないユーザーは、JSONスキーマを利用してHTMLテンプレートを介して視覚化する方法が利用できます。

これは、MCTと一緒に提供されているUIテンプレートを活用したモデルカードの例です。
Colabのチュートリアルに沿って作成されました。

まとめ
現在、MCTには広い用途に使えるMLモデル用レポートの標準テンプレートが含まれていますが、MLのより具体的なアプリケーション用のUIテンプレートを作成し続けています。どのフィールドが重要で、様々な用途でMCTを活用する最適な方法について会話したい場合は、githubまたはColabのチュートリアル(MLMD_Model_Card_Toolkit_Demo.ipynb)から始めることができます。 model-cards@google.com宛てにメールを送信して、あなたがMCTをどのように活用したかをお知らせください。TensorFlowエコシステムで責任あるAIを宣伝するためのGoogleの取り組みについて詳しく知りたい方は、TensorFlow Responsible AIページをご覧ください。

謝辞
Huanming Fang, Hui Miao, Karan Shukla, Dan Nanas, Catherina Xu, Christina Greer, Neoklis Polyzotis, Tulsee Doshi, Tiffany Deng, Margaret Mitchell, Timnit Gebru, Andrew Zaldivar, Mahima Pushkarna, Meena Natarajan, Roy Kim, Parker Barnes, Tom Murray, Susanna Ricco, Lucy Vasserman, および Simone Wu