Googleチャットでの会話要約(2/2)

１．Googleチャットでの会話要約(2/2)まとめ

・知識蒸留でPegasusをTransformerとRNNのハイブリッド設計に蒸留した
・蒸留の結果Pegasusと同様の品質を保ちながら応答遅延とメモリ使用量を低減
・低品質な要約をふせぐためにデータセットや起動条件、非表示化を工夫した

２．チャット要約の品質を向上させた工夫

アイキャッチ画像はstable diffusion2.0の生成

会話要約のモデル設計

前述したように、Transformerは抽象的要約のようなsequence-to-sequenceタスクでよく使われるモデルアーキテクチャです。ここで、入力は文書の単語、出力は要約の単語です。

PegasusはTransformerと抽象要約用にカスタマイズされた自己教師付き事前学習を組み合わせており、会話要約に最適なモデルとなっています。まず、PegasusをForumSumデータセット(入力は会話の単語、出力は要約の単語)で微調整します。

次に、知識蒸留法を用いて、PegasusモデルをTransformerエンコーダとリカレントニューラルネットワーク(RNN)デコーダのハイブリッドアーキテクチャに蒸留します。その結果、Pegasusモデルと同様の品質を保ちながら、応答遅延とメモリ使用量を低減することができました。

品質とユーザー体験

優れた要約とは、会話の本質を捉え、且つ流暢で文法的に正しいものです。

人間による評価とユーザーからのフィードバックに基づき、要約モデルはほとんどの場合、有用で正確な要約を生成することがわかりました。しかし、時折、低品質の要約が生成されることがあります。

ユーザーから報告された問題を調べた結果、低品質な要約には主に2つのタイプがあることがわかりました。1つ目は「誤帰属(misattribution)」で、ある行動をどの人物や実体が言ったか、または実行したかをモデルが混同してしまう場合です。もう一つは、モデルが生成した要約がチャットの会話を誤って表現したり、矛盾している「誤表示(misrepresentation)」です。

低品質な要約に対処し、ユーザー体験を向上させるために、私達はいくつかの領域で進歩を遂げています。

(1)ForumSumの改善
ForumSumはチャットの会話をうまく表現していますが、Google Chatの会話にはForumSumとは異なる特定のパターンや言語スタイルがあることに気づきました。(例：ユーザーが他のユーザーについて言及する方法、省略形や特殊記号の使用など)。

ユーザーから報告された例を調査した結果、これらの分布外の言語パターンが低品質の要約に寄与していると結論付けました。そこで、まず、チャットとForumSumの会話の不一致を可能な限り減らすために、データの整形とクリーンアップを行いました。次に、ForumSumに学習データを追加し、これらのスタイルのミスマッチをよりよく表現できるようにしました。これらの変更により、低品質な要約を減らすことができました。

(2)トリガー制御
要約がユーザーに最も価値をもたらすようにするために、まず、チャットの会話が要約する価値があるかどうかを確認する必要があります。例えば、ユーザーが積極的に会話に参加し、未読メッセージがあまりない場合や、会話が短すぎる場合には、要約を生成する価値が低いことがわかりました。

(3)低品質な要約の検出
上記の2つの方法は、低品質で価値の低い要約を制限していますが、私達は、そのような要約が生成されたときに、それを検出してユーザーに見せないようにする方法を開発しました。これらは、要約の全体的な品質と、誤認識や誤表示問題に悩まされているかどうかを測定するための一連の経験則的とモデルです。

最後に、ハイブリッドモデルは大幅な性能向上をもたらしましたが、未読のメッセージがあるSpacesを開くと、要約生成の待ち時間がユーザーにとってまだ目立ちました。この問題を解決するために、私たちは新しいメッセージが送信、編集、または削除されるたびにサマリーを生成し、更新するようにしました。そして、ユーザーが未読のメッセージでSpacesを開いたときに、サマリーがスムーズに表示されるように、サマリーをエフェメラルにキャッシュしています。

結論と今後の課題

私達は、最先端の抽象的要約モデル(abstractive summarization models)を適用して、WorkspaceユーザーのSpacesでの生産性向上を支援することに興奮しています。これは大きな進歩ですが、私たちはユーザ体験と要約の全体的な品質をさらに向上させる多くの機会があると信じています。今後の方向性としては、複数のトピックを含む絡み合った会話のモデリングと要約の改善、チャット会話と要約の間の事実関係の一貫性をよりよく測定する指標の開発などを検討しています。

謝辞

著者は、この研究に貢献したGoogleの多くの人々に感謝します。
Ahmed Chowdhury, Alejandro Elizondo, Anmol Tukrel, Benjamin Lee, Cameron Oelsen, Chao Wang, Chris Carroll, Don Kim, Hun Jung, Jackie Tsay, Jennifer Chou, Jesse Sliter, John Sipple, Jonathan Herzig, Kate Montgomery, Maalika Manoharan, Mahdis Mahdieh, Mia Chen, Misha Khalman, Peter Liu, Robert Diersing, Roee Aharoni, Sarah Read, Winnie Yeung, Yao Zhao, そしてYonghui Wu。