Smart Compose：人工知能が電子メールの作成をアシストする技術

１．Smart Compose：人工知能が電子メールの作成をアシストする技術まとめ

・次に書く単語を予測して電子メールの作成を助けるSmart ComposeをGoogleが発表
・既にリリースされているボタン一つで返信できるSmart Replyの発展版
・今後は個人の文章スタイルにより近づける事も研究されている

２．Smart Composeとは？

先週のGoogleの開発者向けイベント、GoogleI/OでGoogleはGmailの人工知能を使った新機能であるSmart Composeを発表した。Smart Composeを使うと、次に打ち込まれる文章が予測され候補が自動的に提案されるため、電子メールの下書きを早く作成する事が出来る。Googleは2017年5月にSmart Replyと言う、Gmailメールの返信を３択から選ぶ機能を既にリリース済みである。

Smart ComposeはSmart Replyで開発された技術を更に発展させたもので、返信メール作成時でも新規メール作成時でも使う事が出来る。

Smart Composeの開発時には３つの課題があった。

（１）反応速度
Smart Composeはユーザーがキーを入力する毎に次の言葉を予測して提示するので、反応速度はユーザーがストレスを感じない100ミリセコンド以内に抑える必要があった。予測精度を上げるとモデルが複雑になり反応速度は下がってしまうため、精度と反応速度のバランスをとる事は重要な課題であった。

（２）規模
Gmailは14億人以上の多種多様なユーザーが使用している。この規模のユーザーに自動文章補完機能を提供しようとすると、モデルは使用者によって微妙に異なる文脈に最適化したフレーズを予測できるようにする必要があった。

（３）公平性とプライバシー
Smart Composeは、Smart Replyの開発時と同等な厳しいユーザプライバシーポリシーを遵守して開発された。Smart Composeが提案する補完候補は、現実世界に存在する差別やバイアス、及び個人情報が含まれないようにする必要があった。また、開発者は電子メールの内容に直接アクセスする事はできないため、確認する事ができないデータセットを元に人工知能の学習を行わなければならなかった。

３．Smart Composeの学習モデル

文章を自動生成するための広く使われている手法にはngramやneural bag-of-words (BoW)、そしてRNN language (RNN-LM)モデルがある。これらの手法は、直前の単語を使って次に出てくる単語を予測する。
しかし、電子メールでは直前の単語以外にも予測に使えるものがある。Smart Composeは、電子メールのタイトル、以前の本文（返信メール作成時）などを利用して単語予測を行う事とした。

このアプローチにより単語予測の問題を、文章の出現順番予測の問題(seq2seqモデル)と見なす事ができるようになった。元文章は「電子メールの表題と電子メールの本文（存在する時のみ）」、予測文章は「ユーザーが作成している電子メール」である。このアプローチは予測の品質に関しては上手くいったが、反応速度に関してはGoogleが課した基準を満たす事ができなかった。

反応速度の問題を解決するため、GoogleはBoWモデルとRNN-LMモデルを組み合わせた。これはseq2seqモデルより早く動作し、予測精度も大きく低下する事はなかった。このハイブリッドアプローチでは、タイトルと以前の本文をword embeddingsを用いて扱いやすい形にし、直前の単語と共にRNN-LMモデルに入力として与える事とした。

４．Smart Composeをより早く実行させるために行った事

学習モデルを決定した後、様々なハイパーパラメーターのチューニングや数十億を超える学習用データを使った学習が必要になる。これらは全て非常に時間がかかる事である。これをスピードアップさせるために、GoogleはTPUv2 Pods（TPUv2が4 x 64搭載されているマシン）を使用した。これにより、学習はわずか一日未満で完了した。

こうして高速なハイブリッドモデルの作成に成功したが、一般的なCPUを使用してSmart Composeの初期バージョンを実行すると、平均応答時間は目標の100ミリ秒を超えて、数百ミリ秒以上かかってしまった。ユーザの時間を節約する機能がユーザを待たす事は受け入れられない。幸運な事に、TPUはSmart Composeをサービスとして提供する際にも用いる事ができた。これにより、平均待ち時間を大幅に改善し、同時に単一のマシンで処理できるよう級数を大幅に増やす事もできた。

５．公平性とプライバシーに関する配慮

機械学習における公平性は重要な事である。人工知能は現実世界の人間の偏見や認知バイアスを反映して、望ましくない単語の関連付けや文章を作成してしまう。Caliskan氏が論文「Semantics derived automatically from language corpora contain human-like biases」で指摘したように、偏見は自然言語データと深く絡み合っている。Googleは人工知能の学習から潜在的な偏見をなくす方法を積極的に研究している。Smart Composeは数十億のフレーズやセンテンスから訓練されているため、スパム振り分けの人工知能と同様に、複数のユーザが使用する一般的なフレーズを学習するようにした。

５．Smart Composeの今後の方向性

Googleは引き続き、最新のアーキテクチャー(TranformerやRNMT+など)や高度なトレーニングテクニックを試して、Smart Composeの品質を向上する事に取り組んでいく。新しいテクニックが応答速度の基準を満たせれば、そのテクニックは製品に取り込まれる。これに加えてGoogleは、個人の文章のスタイルを学び、個々人の書く文章により正確にマッチするように設計された個人用言語モデルの開発にも取り組んでいる。

６．Smart Compose：人工知能が電子メールの作成をアシストする技術感想

Smart Replyは日本のGmailでも使えるようになっていますが、LINEのスタンプのような使用感で、より気軽に返信は出来るようになりますが「心を込めてメールを書く」と言った感覚がなくなり、よりドライなコミュニケーションに感じてしまう事があるのですが、返信しないで放置になってしまうよりはずっと良いかもですね。

しかし、Smart Composeが発展し、Google Duplexと組み合わさると電話によるコミュニケーションも留守番電話ではなく、自動応答をしてくれるようになるのでしょうか。パーソナルアシスタントの完成形に着々と前進していますね。