Explainable AI:説明可能なAI(3/3)

１．Explainable AI:説明可能なAI(3/3)まとめ

・xAIよりAIが内包する偏見(bias)の解決に力を割くべきと主張する人もいる
・人間の意思決定も理由を説明できていない可能性があるが機械に説明を求めるのは意義があるのか？
・「説明を行うシステムの追求」と「偏りが少なく公平性が高いシステムの追求」の両軸が必要

２．説明可能なAI以外にも考慮しなければいけない事

以下、towardsdatascience.comより「Google’s new ‘Explainable AI” (xAI) service」の意訳です。元記事の投稿は2019年11月25日、Tirthajyoti Sarkarさんによる投稿です。アイキャッチ画像のクレジットはPhoto by Rob Schreckhise on Unsplash

詳細と歴史的な観点については、この素晴らしいホワイトペーパー「AI Explainability Whitepaper」をご覧ください。全体として、これは良いスタートのように思えます。ただし、Google社内であっても、全員がxAIのアイデアに熱心なわけではありません。

偏見(bias)がより大きな問題だと言う人もいます。以前、GoogleのリサーチディレクターであるPeter Norvigは、説明可能なAIについて以下のように語っていました。

「人間に対しても意思決定に至るまでの思考を質問する事ができます。しかし、認知心理学者が発見した事は、人間は質問を受けた時点では、本当は意思決定プロセスを決めていないということです。人間は最初に意思決定を下し、質問を受けた時点で、後付けで説明を生成しているという事です。それは本当の意思決定に至るまでの思考を説明しているわけではないかもしれません。

従って、基本的に、私たちの意思決定プロセスは心理状態によって制限されており、機械にとっても違いはありません。マシンインテリジェンスのためにこれらのメカニズムを本当に変更する必要があるのでしょうか？また、出てきた答えや洞察がユーザーにとって心地よい回答ではなかった場合はどうでしょうか？」

訳注：人間の意思決定が実は後付けの可能性がある、という説を私が初めて読んだのは、ベストセラー「サピエンス全史」で有名になったユヴァル・ノア・ハラリさんの続編、「ホモ・デウス」でした。

本の中で紹介されている実験によれば、例えば「右手を上げる」という意志が明確化する前に「右手を上げる」という動作が始まっている事が観察されているそうです。つまり、右手を上げたのは自分の自由意志で、日差しが眩しくて防ぎたかったからだと人間が思っていても、実は「何か」が促した行動に従っただけであって、脳は後付けでその行動に理由を与えているだけかもしれないと言う説なのです。

ユアルさんの結論としては「人間の自由意志など言うものは存在しない。全てはDNAに刻み込まれたアルゴリズムに従って動いているだけである！」という事でした。

にわかには受け入れがたい、あまりに衝撃的な話なのですが、衝撃的な話すぎるためなのか、私がそれを読んで思った事は「もう少し勤勉なアルゴリズムに差し替えしたいなぁ」でした。自由意志などが存在しないのならば、意思を振り絞って眠さをこらえて勉強とか馬鹿らしい話で結論が決まっているならばやるかやらないかで迷うなどと言う茶番は止めてアルゴリズムに頑張って頂きたいです。また、受け取り方によっては「運命」や「赤い糸」などが本当の話になり、ある意味ロマンチックな事なのかもしれませんし、定められた人生であるのならば人生に無駄な事など一切ないのですから「わが生涯に一片の悔いなし!!」と前向きに捉える事も出来るのかなぁっと思います。

脱線しましたが、人間でさえ本当の意思決定に至った理由を説明できていない可能性があるのに、AIの説明可能性を追求するべきなのか、というのが論点です。

代わりに、彼は、マシンの意思決定プロセスにおける偏見の特定と公平性の追求に、より多くの重要性を与えるべきだと主張しました。

これを実現するには、モデルの内部を追及する作業が必ずしも最適な場所であるとは限りません。システムによって行われる様々な出力決定を時間軸などで確認して、隠れたバイアスメカニズムを特定する事ができます。

AIシステムを単に説明する未来よりも、偏見と公平性を重要視すべきでしょうか？

ローンを申請して拒否された場合、説明可能なAIサービスは、「十分な収入の証拠がないため、貴方のローン申請は拒否されました」と言った声明を出力する事になるでしょう。

ただし、機械学習モデルを作成した事がある人は、判断プロセスがそのような1元的なものではない事を知っています。そのような決定を引き起こす数学的モデルの特定の構造と重みは、学習時に使ったデータセットに依存するのです。本来は「収入」と「経済状態を改善する能力(Economic mobility)」の問題であるはずなのに、地域や人種、性別や年齢など社会の特定のセクションの人々に対して不利益になる結果を返してしまう事があります。

従って、議論は、「単純に説明を行うシステムを追求する事」と「偏りが少なく公平性が高いシステムを構築する事」の重要性を相対的に比較する事となり、より白熱します。

訳注：例えば、給与を査定するAIがあったとして、そのAIを学習させる際に使った給与データに「男性は正社員比率が高く、女性はパートタイマー比率が高い」偏りがあるデータであったとします。そうすると一般的に正社員の方がパートタイマーよりは給与が高いでしょうから、男性の給与を女性より常に高く査定するAIが出来上がってしまいます。そして、このAIが説明可能なAIサービスであったら「過去X年分のX万人分の給与データに基づいて貴方の給与はXX万円と査定されました」と説明してくれるかもしれませんが、その説明には意味があるのでしょうか？

医療分野などではAIがレントゲン写真の何処に注目して病気を見つけたのかが説明出来るのは大切ですが、「説明可能なAI」であっても「公平なデータを用いて学習させたか？」という観点が重要と言う事ですね。

人間社会でも説明になってない説明を見かける事はありますから、xAIだけを重視すると状況によっては危ういと言う事と思います。

共有したい質問やアイデアがある場合は、著者(tirthajyoti)にお問い合わせください。また、著者のGitHubリポジトリで機械学習とデータサイエンスのコード、アイデア、リソースを確認できます。あなたが私のようにAI /機械学習/データサイエンスに情熱を持っているなら、LinkedInで私を追加するか、Twitterで私をフォローしてください。