BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(1/2)

１．BlenderBot 2.0：長期記憶とインターネット検索能力を合わせ持つチャットボット(1/2)まとめ

・Facebook AI Researchが最先端のチャットボットであるBlenderBot 2.0を公開
・会話中に収集された情報を長期記憶に保存したりインターネットから情報を取得可能
・世界中の情報を検索した後、発見した内容に基づいて適切な会話応答を生成可能

２．BlenderBot 2.0とは？

以下、ai.facebook.comより「Blender Bot 2.0: An open source chatbot that builds long-term memory and searches the internet」の意訳です。元記事の投稿は2021年7月16日、Jason WestonさんとKurt Shusterさんによる投稿です。

直近のチャットボットの進化は目覚ましいものがあると頭ではわかっていたものの、本記事を読んでにわかには信じ難いレベルの進化に驚きました。足りない情報を検索して持ってくるというアイディアはGoogleもREALMなどでやっていますが、質問回答システムではイマイチ効果があるのかないのか良くわからない状態と認識していたのでデモ画像を見る限り、チャットボットでこれを実現出来ているように見えるのはただただ驚きです。

Blendしている感じを出したかったアイキャッチ画像のクレジットはPhoto by Jordan on Unsplash

Facebook AI Researchは、オープンソースでBlenderBot 2.0を開発しました。これは、継続的に情報を引き出せる長期記憶とタイムリーな情報をインターネットで検索する機能を備えており、ほぼすべてのトピックについて洗練された会話を行うことができる最初のチャットボットです。これは、2020年にオープンソース化した元のBlenderBot 1.0の重要な更新であり、性格、共感、知識などのいくつかの会話スキルを1つのシステムに組み合わせた最初の技術である1.0を元に開発したものです。

・BlenderBot 2.0は、人と会話する際に、より長く、より知識の裏付けを持つ会話が出来る事を示しました。そして、その前身である従来の最先端のチャットボットよりも、複数回にわたる会話でも一貫した会話を続ける事ができます。

・このモデルは、会話中に収集された関連情報を取得して長期記憶に保存するため、この知識を数日、数週間、さらには数か月続く可能性のある進行中の会話で活用できます。知識は、話す相手ごとに個別に保存されるため、ある会話で学習した新しい情報が別の会話で使用されることはありません。

・会話中に、モデルは現在の状況を意識してインターネットを検索し、結果を読み取り、人々の質問やコメントに応答する際にその情報を組み込むことができます。これは、モデルが絶えず変化する世界で最新の状態に保たれることを意味します。

・本日、完全なモデル、コード、評価のセットアップに加えて、モデルのトレーニングに使用される2つの新しい会話データセット(インターネット検索によって増強した人間との会話と、複数の人々と過去に行った会話に基いて会話するマルチセッションチャット)をリリースします。このデータセットで本研究を再現し、会話型AIの研究を進めることができます。

GPT-3やFacebookAIの最初のバージョンのBlenderBot 1.0などの現在の言語生成モデルは、少なくとも現在進行中の会話の文脈で自分自身を明確に表現し、現実的な文章を生成できます。しかし、彼らは非常に短い「金魚レベルの記憶(goldfish memory、非常に貧弱な記憶力の事)」に苦しんでいます。

そして彼らが持っている長期記憶は静的です。それは彼らが以前に教えられたことに限定されており、彼らは追加の知識を得ることができません。

そのため、GPT-3とBlenderBot 1.0は、NFLのスーパースターであるTom BradyがまだNew England Patriotsにいると信じており、現在はTampa Bay Buccaneersに所属しており2021年のスーパーボウルで優勝したことを知りません。同様に、過去の人気テレビ番組や映画については知っていますが、最新のテレビドラマであるWandaVisionのような新しいシリーズについては知りません。

もし、貴方がGPT-3またはBlenderBot 1.0に昨日何かを言ったとしたら、彼らは今日はそれを忘れてしまいます。更に悪いことに、アルゴリズムの欠陥のために、これらのモデルは悪名高い幻覚(hallucinate)を引き起こします。つまり、正しくない情報を自信を持って発言してしまいます。

チャットボットがこれらの制限に悩まされないようにするため、私達の研究プラットフォームであるParlAIを通じて新しいオープンソースチャットボットであるBlenderBot 2.0のリリースを発表できることに興奮しています。

BlenderBot 2.0は、記憶領域にアクセスして幻覚を軽減する機能を備えており、共感、知識、性格などの多様な会話スキルを1つのシステムに融合した最初のチャットボットであるBlenderBot 1.0に基づいています。

言語モデル生成の研究は急速に進んでおり、業界内には、チャットボットの会話能力を大幅に拡張するための優れたツールがこれまでになくあります。既存のシステムは、食べ物、映画、バンドなどの範囲が限定された内容に関する質問には答えることができます。しかし、通常、より複雑な会話や自由形式の会話、例えばTom Bradyのキャリアについて詳しく話し合う事などに苦労します。

しかし、BlenderBot 2.0に基づくテクノロジーは、数日、数週間、さらには数か月続く可能性のある会話について複数回にわたってで会話できるようになること、そして、会話が進展するにつれて知っている事と話せる事が増やせるため、いつの日か日常生活を便利にする欠かせないものになる可能性があります。

何故ならBlenderBot 2.0は、インターネットを検索して時間をかけて知識の使用および構築を行い、以前のアイデアを参照できる最初のチャットボットだからです。長期記憶を持ちし、インターネットからの情報を使って会話を強化する機能を含むこれらの進歩は、現在のシステムのいくつかの欠点を克服します。

テストでは、BlenderBot2.0が従来の最高のシステムの会話能力よりも優れていることがわかりました。会話中、BlenderBot 2.0は、関連する新しい知識について任意の検索エンジンを使用してインターネットを検索する事が出来、長期的なローカルメモリに読み取りと書き込みの両方を行うことができます。私たちの研究では、2つのアプローチをテストしました。最近傍検索を介してアクセスできるインターネットのダンプファイルとMicrsoftの検索エンジンであるBingのSearchAPIです。

世界中の情報を検索した後、発見した内容に基づいて適切な会話応答を生成します。インターネットに接続し、常に変化する世界に接続することで、BlenderBot2.0は常に最新の状態になります。つまり、私たちのモデルは、インターネットで利用できる幅広いトピックの中で、現在再生中の最新のスポーツスコア、映画、テレビ番組、および最新のレビューを会話に組み込むことができる可能性があります。

BlenderBot 2.0は、以前行った議論の内容も記憶しています。従って、例えば、Tom Bradyについて数週間前に話しているとしたら、それがあなたに関連するトピックであることがわかっているため、将来の会話でNFLについて発言する可能性があります。

同様に、今年のアカデミー賞の前に映画について話していた場合は、その後、オスカーを受賞した映画「Nomadland」が登場する可能性があります。さらに、BlenderBot 2.0は知識を活用できるため、他のシステム(実験的評価手法で測定)よりも幻覚を起こす可能性が低くなります。