Meena：どんな会話にも対応できるチャットボット(1/3)

１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ

・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い
・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル会話モデルで雑談対応可能
・Meenaは現在の状況を意識して会話に適切に応答する事を学習しており人間と自然な対話が出来る

２．Meenaとは？

以下、ai.googleblog.comより「Towards a Conversational Agent that Can Chat About…Anything」の意訳です。元記事は2020年1月28日、Daniel AdiwardanaさんとThang Luongさんによる投稿です。

ついに来るべきものが来た、GPT-2の際にも感じた、人間を超えつつある圧倒的な存在に対する興味と興奮と感動と恐怖と憧れが混ざり合った複雑な気持ちになるお話です。

2022年1月追記）後続研究として「LaMDA：人間より機知に富んだ会話が可能な対話モデル」が発表されました。

アイキャッチ画像のクレジットはPhoto by Max Hofstetter on Unsplash

現代の会話エージェント(チャットボット)は、専門的な会話に特化する傾向があります。ユーザーが予想される使用方法から大きく逸脱しない限り、パフォーマンスは良好です。

その一方、チャットボットが様々な一般的な会話に適切に対応できるようになる事を目指す研究があり、これをオープンドメインチャットボット(open-domain chatbots)の研究と言います。この研究では特定の事柄に対する専門的な会話だけではなく、ユーザーが望むほぼ全ての一般的な会話に対応できるチャットボットの開発を試みて、補完的なアプローチを検討しています。

このような一般的な会話に対応可能なエージェントは、魅力的な研究問題であるだけでなく、コンピューターと人間の対話をさらに自然にする事、外国語の学習方法を改善する、会話により操作可能な映画やビデオゲームのキャラクターの開発など、多くの興味深いアプリケーションにつながる可能性があります。

ただし、現在のオープンドメインチャットボットには重大な欠陥があり、多くの場合、会話の内容に意味がありません。彼らは時々、これまで述べてきた事と矛盾する事や、現実世界についての常識と基本的な知識を欠いている発言をします。更に、チャットボットは多くの場合、現在の状況にそぐわない、その場しのぎの回答を返します。例えば、「わかりません」は質問に対する賢明な回答ですが、具体的な答えではありません。現在のチャットボットは、多くのユーザーの問いかけに対応しようとして、人間よりも頻繁にこういった回答を返します。

論文「Towards a Human-like Open-Domain Chatbot」では、私達はMeenaを紹介しています。Meenaは26億のパラメータを内部に持ち、エンドツーエンドでトレーニングされた新しいニューラル会話モデルで、従来の最先端のチャットボットよりも賢明で具体的な会話を行う事が出来ます。

この改善度合いは、私達が新たに提案するSensibleness and Specificity Average(SSA)と呼ばれるオープンドメインチャットボットを評価するための評価基準に明確に表れます。SSAは人間の会話の基本的で且つ重要な属性を捕捉している度合を測定します。

驚くべき事に、SSAはどのニューラル会話モデルにも容易に利用できる計測基準であるPerplexityに非常に相関している事が示されました。

訳注:Perplexityは過去には「単語絞り込み性能」と強引に訳した事がありますが、「サルが木からXXX」と言う文のXXXの部分に当てはまる単語が「落ちた」「登った」「桃太郎」「美しい」の中からどこまで絞り込めるか、というイメージです。名詞や形容詞が来るのがオカシイと判断できる言語モデルだったら後者２つは除去できるし「木から」の部分を理解できる言語モデルであったら「登った」がオカシイと判断できる、といった感じです。言語モデルの評価にPerplexityは良く使われています。

Meena(左)と人(右)の間のチャット。