Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)

１．Federated Reconstruction：部分的に端末内で連合学習を行い連合学習の規模を拡大(2/2)まとめ

・部分的端末内連合学習のための手法であるFederated Reconstructionを発表
・Federated Reconstructionは通信量を削減しつつパーソナライズが可能
・数億人のユーザーを持つGboardの推薦システムに採用されている

２．連合再構築とは？

以下、ai.googleblog.comより「A Scalable Approach for Partially Local Federated Learning」の意訳です。元記事の投稿は2021年12月16日、Karan Singhalさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Kelvin Yan on Unsplash

このシンプルなアプローチにより、従来手法の課題を回避します。また、前回学習データが存在するという仮定をしないため、大規模な連合学習が可能になり、ローカルパラメータが常に新しく再構成されるため、陳腐化を防ぐことができます。

また、連合学習に参加しなかったユーザであっても学習済みモデルを入手し、ローカルデータを用いてローカルパラメータが再構成されるため、推論を行うことができます。

Federated Reconstructionは、他のアプローチと比較して、未参加のユーザであってもより良い性能のモデルを学習させることができます。未参加ユーザーを含む行列分解タスクに対して、このアプローチは中央サーバに一元化した学習法(centralized training)や基準となるFederated Averagingの両方を大幅に上回る性能を示しました。

	RMSE ↓	Accuracy ↑
Centralized	1.36	41%
FedAvg	0.934	40%
FedRecon (this work)	0.907	43%

未参加ユーザーを含む行列分解タスクの二乗平均平方根誤差(低いほど良い)と精度。
中央サーバーでの学習やFederated Averaging(FedAvg)は共にプライバシーに配慮したユーザembeddingsを中央サーバに送信しますが、Federated Reconstruction(FedRecon)はこれを回避します。

これらの結果は、メタ学習(つまり、学習するための学習)の観点から説明できます。Federated Reconstructionは、「未参加ユーザーのローカルパラメータ」を「高速かつ正確に再構成できるグローバルパラメータ」を学習させます。

つまり、Federated Reconstructionはローカルパラメータを学習するための学習なのです。実際、約100万個のローカルパラメータを持つモデルでも、1回の勾配降下ステップでうまく再構成できることが確認されています。

また、Federated Reconstructionは、ユーザー固有のembeddingsを持たないモデルに対しても、モデルパラメータを中央サーバーに送信する必要性を減らしながら、モデルを個々のユーザーに対してパーソナライズする方法を提供します。

これを評価するために、次の単語を予測する言語モデルのパーソナライズにFederated Reconstructionを適用し、通信量の削減にもかかわらず他のパーソナライズ手法と同程度の精度を達成し、性能が大幅に向上することを確認しました。また、通信量が一定であれば、Federated Reconstructionは他のパーソナライズ手法を凌駕する性能を発揮します。

	Accuracy ↑	Communication ↓
FedYogi	24%	Whole Model
FedYogi + Finetuning	31%	Whole Model
FedRecon (this work)	31%	Partial Model

ユーザー固有のembeddingsを用いない次の単語予測タスクの精度とサーバー・クライアント間の通信。FedYogiは全てのモデルパラメータを送信しますが、FedReconはこれを回避します。

Gboardにおける現実世界での展開

大規模環境におけるFederated Reconstructionの実用性を検証するため、数億人のユーザーを持つモバイルキーボードアプリケーションであるGboardにアルゴリズムを展開しました。

Gboardのユーザは、GIF画像やスタンプなどを使って他のユーザとコミュニケーションをとります。各ユーザーはこれらの表現手段に対して非常に異なった好みを持っているため、ユーザーが使いたいと思うような新たな表現手段を予測する際に行列分解は適しています。

Gboardのユーザーは、個人的な好みにあうスタンプを使ってコミュニケーションをとることができます。

私たちは、Federated Reconstructionを用いて、各ユーザと各表現の行列分解モデルを学習しました。その際、各Gboardユーザのユーザembeddingsは端末内に維持しました。

このモデルをGboardユーザーに適用したところ、推奨表現のクリック率が29.3%増加しました。Gboard ユーザーのほとんどは、連合学習に未参加であったため、Federated Reconstruction はこの結果において重要な役割を果たしました。

さらなる探求

部分的端末内連合学習のための手法であるFederated Reconstructionを発表しました。Federated Reconstructionは、プライバシーに配慮してパラメータの通信を減らしつつ、異なったユーザの好みに対応する事を可能にします。私たちは、この手法をAI原則に沿ってGboardに拡張し、数億人のユーザーに対する推薦システムを改善しました。

行列分解を行うFederated Reconstructionの技術的な確認は、TensorFlow Federatedチュートリアルをご覧ください。また、汎用的なTensorFlow Federatedライブラリと、実験を実行するためのオープンソースコードも公開されています。

謝辞

Karan Singhal, Hakim Sidahmed, Zachary Garrett, Shanshan Wu, Keith Rush, 及びSushant Prakashが共著者です。

Wei Li、Matt Newton、Yang Luには、Gboardの導入に協力してもらいました。また、Brendan McMahan, Lin Ning, Zachary Charles, Warren Morningstar, Daniel Ramage, Jakub Konecný, Alex Ingerman, Blaise Agüera y Arcas, Jay Yagnik, Bradley Green, そして Ewa Dominowskaに、有益なコメントとご支援をいただきました。