タスク指向対話でシンプルで効果的なゼロショット転移を実現(3/3)

１．タスク指向対話でシンプルで効果的なゼロショット転移を実現(3/3)まとめ

・D3STとSDTは従来モデルと同程度のモデルサイズで、同等以上の性能を発揮
・D3STとSDTはスキーマの言語的変化に対して強い堅牢性を持つ事もわかった
・D3STとSDTは未知のタスクに対して驚くほどの汎化能力を発揮する事がある

２．D3STとSDTの性能

ベンチマークの結果

D3STとSDTを多くのベンチマークで評価しました。特にSGDデータセットでは、テストセット内の未知の会話に対するゼロショット汎化性能をテストしています。また、状態トラッキングモデルを、モデルが正確に現在の対話状態を予測できた対話ターンの割合であるJGA(Joint Goal Accuracy)で評価しました。

以下に示すように、私達のモデルはどちらも従来モデル(T5DSTとpaDST)と同程度のモデルサイズで、同等もしくはそれ以上の性能を発揮します。一般に、SDTはD3STよりわずかに性能が良いです。

私達のモデルはT5言語モデルの異なるサイズを持つモデルでも利用可能なことに注意してください。さらに、従来モデルはフォワードパスごとに1つのスロットの予測しかできませんが、私達のモデルは両方とも1回のフォワードパスで対話状態全体をデコードすることができます。
これは訓練と推論の両方でより効率的な方法です。

SGDデータセットにおける、従来モデルと提案モデルD3ST、SDTのモデルサイズに対するJGAをグラフ化したもの。なお、paDSTは追加のデータ補強を行っています。

両論文では、追加の指標も報告されています。D3STはMultiWOZデータセットにおいて、MultiWOZ 2.4で75.9%のJGAと、最先端の品質を示しました。

D3STとSDTは、MultiWOZのクロスドメイン一つ抜き交差検証設定(cross-domain leave-one-out setting)において、最先端の性能を示しています。さらに、D3STとSDTはSGD-Xデータセットを用いて評価され、スキーマの言語的変化に対して強い堅牢性を示しました。これらのベンチマークは、D3STとSDTが、未知のタスクやドメインに汎化できる能力を持つ、最先端のTODモデルであることを示しています。

ゼロショット能力

D3STとSDTは未知のタスクに対して驚くほどの汎化能力を発揮することがあります。以下にそのような例の一つを紹介します。

SGDデータセットで学習したD3STモデルが、このブログ記事の作成に関する未見のメタ会話(左)に対して予測(右)を行っています。このモデルは、ブログ、著者、NLPに関連する知識で微調整されていないにもかかわらず、完全に正しい現在の対話状態を予測しています。

今後の課題

これらの論文は、未知のタスクや領域に一般化できるゼロショットTODシステムの実現可能性を示しています。しかし、現時点ではDST問題に限定しています。私たちはこの研究を拡張して、ゼロショット対話政策モデリングを可能にし、TODシステムが任意の指示に従って行動を起こすことができるようにする予定です。

また、現在の入力形式では、入力シーケンスが長くなり、推論に時間がかかることがあります。そこで、スキーマ情報をより効率的に符号化するための新たな方法を模索しています。

謝辞

この記事はJeffrey Zhao、Raghav Gupta、Harrison Lee、Mingqiu Wang、Dian Yu、Yuan Cao、Abhinav Rastogiの共同作業によるものです。Yonghui WuとIzhak Shafranの継続的な助言と指導に感謝します。

３．タスク指向対話でシンプルで効果的なゼロショット転移を実現(3/3)関連リンク

１）ai.googleblog.com
Simple and Effective Zero-Shot Task-Oriented Dialogue

２）arxiv.org
Description-Driven Task-Oriented Dialog Modeling
Show, Don’t Tell: Demonstrations Outperform Descriptions for Schema-Guided Task-Oriented Dialogue

３）github.com
google-research/task-oriented-dialogue