サーバ移行作業中のためアクセスしにくくなる事があります

Meena:どんな会話にも対応できるチャットボット(1/3)

AI

1.Meena:どんな会話にも対応できるチャットボット(1/3)まとめ

・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い
・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル会話モデルで雑談対応可能
・Meenaは現在の状況を意識して会話に適切に応答する事を学習しており人間と自然な対話が出来る

2.Meenaとは?

以下、ai.googleblog.comより「Towards a Conversational Agent that Can Chat About…Anything」の意訳です。元記事の投稿は2020年1月28日、Daniel AdiwardanaさんとThang Luongさんによる投稿です。ついに来るべきものが来た、GPT-2の際にも感じた、人間を超えつつある圧倒的な存在に対する興味と興奮と感動と恐怖と憧れが混ざり合った複雑な気持ちになるお話です。アイキャッチ画像のクレジットはPhoto by Max Hofstetter on Unsplash

現代の会話エージェント(チャットボット)は、専門的な会話に特化する傾向があります。ユーザーが予想される使用方法から大きく逸脱しない限り、パフォーマンスは良好です。

その一方、チャットボットが様々な一般的な会話に適切に対応できるようになる事を目指す研究があり、これをオープンドメインチャットボット(open-domain chatbots)の研究と言います。この研究では特定の事柄に対する専門的な会話だけではなく、ユーザーが望むほぼ全ての一般的な会話に対応できるチャットボットの開発を試みて、補完的なアプローチを検討しています。

このような一般的な会話に対応可能なエージェントは、魅力的な研究問題であるだけでなく、コンピューターと人間の対話をさらに自然にする事、外国語の学習方法を改善する、会話により操作可能な映画やビデオゲームのキャラクターの開発など、多くの興味深いアプリケーションにつながる可能性があります。

ただし、現在のオープンドメインチャットボットには重大な欠陥があり、多くの場合、会話の内容に意味がありません。彼らは時々、これまで述べてきた事と矛盾する事や、現実世界についての常識と基本的な知識を欠いている発言をします。更に、チャットボットは多くの場合、現在の状況にそぐわない、その場しのぎの回答を返します。例えば、「わかりません」は質問に対する賢明な回答ですが、具体的な答えではありません。現在のチャットボットは、多くのユーザーの問いかけに対応しようとして、人間よりも頻繁にこういった回答を返します。

論文「Towards a Human-like Open-Domain Chatbot」では、私達はMeenaを紹介しています。Meenaは26億のパラメータを内部に持ち、エンドツーエンドでトレーニングされた新しいニューラル会話モデルで、従来の最先端のチャットボットよりも賢明で具体的な会話を行う事が出来ます。

この改善度合いは、私達が新たに提案するSensibleness and Specificity Average(SSA)と呼ばれるオープンドメインチャットボットを評価するための評価基準に明確に表れます。SSAは人間の会話の基本的で且つ重要な属性を捕捉している度合を測定します。

驚くべき事に、SSAはどのニューラル会話モデルにも容易に利用できる計測基準であるPerplexityに非常に相関している事が示されました。

訳注:Perplexityは過去には「単語絞り込み性能」と強引に訳した事がありますが、「サルが木からXXX」と言う文のXXXの部分に当てはまる単語が「落ちた」「登った」「桃太郎」「美しい」の中からどこまで絞り込めるか、というイメージです。名詞や形容詞が来るのがオカシイと判断できる言語モデルだったら後者2つは除去できるし「木から」の部分を理解できる言語モデルであったら「登った」がオカシイと判断できる、といった感じです。言語モデルの評価にPerplexityは良く使われています。


Meena(左)と人(右)の間のチャット。

Meena
Meenaは、現在の状況(context)を意識して会話に適切に応答する事を学習する、エンドツーエンドのニューラル会話モデルです。トレーニングの目的はperplexity、すなわち、次に出現するトークンの予測の不確実性(Meenaの場合は会話の次の単語)を最小化する事です。

その中心にあるのは、Evolved Transformer seq2seqアーキテクチャです。これは、複雑性を改善するために進化的ニューラルアーキテクチャ検索によって発見されたTransformerアーキテクチャです。

具体的には、以下に示すように、Meenaには1つのEvolved Transformerエンコーダーブロックと13のEvolved Transformerデコーダーブロックがあります。

エンコーダーは、会話コンテキストを処理して、Meenaが会話で既に言ったことを理解できるようにします。デコーダーはその情報を使用して実際の応答を定式化します。 ハイパーパラメーターを調整することで、より強力なデコーダーがより高い会話品質の鍵であることを発見しました。


会話の7ターン目「Star Trek:TNG」をエンコードし、「TNG」から応答「The Next Generation」を導き出すMeena

 

3.Meena:どんな会話にも対応できるチャットボット(1/3)関連リンク

1)ai.googleblog.com
Towards a Conversational Agent that Can Chat About…Anything

2)arxiv.org
Towards a Human-like Open-Domain Chatbot

コメント

タイトルとURLをコピーしました