１．Googleドキュメントで要約を自動生成(1/2)まとめ
・Googleドキュメントに要約文を作成して自動的に生成／提案する機能が実装された
・全ユーザーが要約を追加可能だが自動生成はGoogle Workspaceのビジネスユーザーのみ
・自然言語理解と自然言語生成、特にTransformerとPegasusがこの技術を支えている
２．AIで要約を生成する技術の変遷
以下、ai.googleblog.comより「Auto-generated Summaries in Google Docs」の意訳です。元記事は2022年3月23日、Mohammad SalehさんとAnjuli Kannanさんによる投稿です。
アイキャッチ画像のクレジットはPhoto by Ben Mullins on Unsplash
報告書、レビュー、概要書、方針書など、毎日受信箱に届く大量の文書に対応するのは、多くの人にとって困難なことでしょう。新しい文書が届いたとき、その文書に優先順位をつけるために、要点を簡単にまとめておいてほしいと思うことはよくあることです。しかし、文書の要約を作成することは、認知的に困難であり、特に文書作成者がゼロから始める場合は、時間がかかることがあります。
そこで先日、Googleドキュメントでは、書き手が要約を作成する際に役立つ候補がある場合、自動的に生成するようになった事を発表しました。本日は、機械学習(ML:Machine Learning)モデルを用いて、文書を理解し、確信が持てれば、文書内容の1-2文の自然言語による説明を生成する方法を説明します。
しかし、文書の作成者は、提案をそのまま受け入れたり、文書の要約をよりよく理解するために必要な編集を行ったり、提案を完全に無視したりと、完全なコントロールすることができます。読者は、このセクションをアウトラインとともに使用して、文章を高いレベルで理解し、ナビゲートすることもできます。
すべてのユーザーが要約を追加できますが、自動生成される提案は現在、Google Workspaceのビジネスユーザーのみが利用できます。文法の提案、スマートコンポーズ、オートコレクトに続く、職場での文書コミュニケーションを改善するための貴重なステップになると考えています。
文書の要約を提案できるようになると、左上に青い要約のアイコンが表示されます。文書の作成者は、提案された文書の要約を表示、編集、または無視することができます。
モデルの詳細
この5年間の自然言語理解(NLU:Natural Language Understanding)と自然言語生成(NLG:Natural Language Generation)のためのML、特にTransformerとPegasusの驚異的な進歩がなければ、要約の自動生成は不可能であったでしょう。
長い文書の言語理解と生成という個々に困難なタスクを組み合わせた抽象的なテキスト要約は、NLUとNLGの研究において長年の課題となっています。NLUとNLGを組み合わせる一般的な方法は、入力が文書の単語、出力が要約の単語である、sequence-to-sequence学習を用いたMLモデルです。ニューラルネットワークは入力トークンと出力トークンの対応付けを学習します。初期のsequence-to-sequenceパラダイムのアプリケーションでは、エンコーダーとデコーダーの両方にリカレントニューラルネットワーク(RNN:Recurrent Neural Networks)が使用されていました。
Transformerの登場は、RNNに代わる有望な選択肢となりまた。Transformerは自己注意を用いて、文書要約に重要な長い入出力依存関係をよりよくモデル化することができるからです。しかし、これらのモデルは十分に学習するために大量の人手によるラベル付けデータを必要とするため、Transformerの登場だけでは文書要約の最先端を大きく前進させるには十分ではありませんでした。
しかし、Transformerと自己教師あり事前学習(BERT、GPT、T5など)の組み合わせにより、ラベル付きデータが限られている多くのNLUタスクにおいて大きなブレークスルーがもたらされました。自己教師あり事前学習では、モデルは大量のラベル無しテキストを用いて、一般的な言語理解・生成能力を学習します。そして、その後の微調整の段階で、要約や質問応答のような特定のタスクにこれらの能力を適用することを学習します
Pegasusではこの考え方をさらに一歩進め、抽象的な要約に特化した事前学習目標を導入しました。Pegasusの事前学習はギャップ文予測(GSP:Gap Sentence Prediction)とも呼ばれ、ラベル付けされていないニュース記事やウェブ文書が入力となりますが、その中の完全な一文がマスクされ、残りのマスクされていない文を元にモデルはマスクされた一文を再構成することが要求されます。
特に、GSPでは様々な経験則的な手法により、文書に不可欠と思われる文をマスクすることを試みています。直感的には、事前学習を可能な限り要約タスクに近づけることです。Pegasusは様々な要約データセットにおいて、最先端の結果を得ることができました。しかし、この研究の成果を製品化するためには多くの課題が残されていました。
３．Googleドキュメントで要約を自動生成(1/2)関連リンク
１）ai.googleblog.com
Auto-generated Summaries in Google Docs
