連合学習のための分散型差分プライバシー(2/2)

１．連合学習のための分散型差分プライバシー(2/2)まとめ

・分散差分プライバシーはSmart Text Selectionに正式なプライバシー保証を追加しますが、その正式な保証は比較的弱いものとなっている
・しかし、正式なプライバシー保証のないモデルよりもプライバシーの向上を定量化できるようになり、数値で表せるため改善となっている
・偽クライアントを十分な数注入することによってDDP保証を回避する事などが出来なようにするために継続的に強化を進めていく計画である

２．分散型差分プライバシーの利点

以下、ai.googleblog.comより「Distributed differential privacy for federated learning」の意訳です。元記事は2023年3月2日、Florian HartmannさんちPeter Kairouzさんによる投稿です。

アイキャッチ画像はカスタムStable Diffusion先生による生成

分散型差分プライバシー

分散差分プライバシー(DDP:Distributed Differential Privacy)は、正直であるが好奇心旺盛なサーバーが連合学習の調整役になる事に関してsDP保証を提供する技術です。DDPは、参加する各端末が端末内で更新を切り取ってノイズを発生させ、前述の新SecAggプロトコルでこれらのノイズのある切り取られた更新を集約することで機能します。その結果、サーバーは切り取られた更新のノイズの合計だけを見るだけとなります。

しかし、端末内でノイズを付加する事とSecAggの使用という組み合わせは、実際には大きな課題をもたらします。

・離散化手法の改善
一つの課題は、SecAggの有限群において、モデルパラメータを整数として扱い、整数モジュラー演算で適切に表現することです。例えば、最も近い整数へのランダムな丸め込みは、モデルパラメーターの数に等しい因子でユーザーの貢献度を膨らませる可能性があります。そこで、モデルパラメータをスケーリングし、ランダムな回転を加え、最も近い整数に丸めることで、この問題に対処しました。また、学習中に離散化スケールを自動調整するアプローチも開発しました。これにより、DPとSecAggをより効率的かつ正確に統合することができました。

・最適化された離散的なノイズの加算
もう一つの課題は、モデルパラメータごとに任意のビット数を選択し、エンドツーエンドのプライバシー保証を犠牲にすることなく、そのスキームを考案することです。この課題に対処するため、離散化領域で整数ノイズを追加し、分散離散ガウス機構と分散スケラム機構を用いて整数ノイズベクトルの和のDP特性を分析しました。

分散差分プライバシーを用いた連合学習の概要

私たちは、様々なベンチマークデータセットと本番環境でDDP法をテストし、モデルパラメータごとにサイズ12ビットのSecAgg有限群を用いて、central DPと同等の精度を実現できることを検証しました。

つまり、メモリと通信帯域を削減しながら、プライバシーに関する付加的な利点を達成することができたのです。これを実証するために、この技術をSmart Text Selectionモデルの訓練と起動に適用しました。これは、モデルの品質を維持するために適切な量のノイズを選択した状態で行われました。連合学習でトレーニングされたすべてのSmart Text Selectionモデルは、トレーニング中にサーバーが見るモデルの更新と指標の両方に適用されるDDP保証を持つようになりました。また、TensorFlow Federatedでの実装をオープンソース化しました。

実証的プライバシーテスト

DDPはSmart Text Selectionに正式なプライバシー保証を追加しますが、その正式な保証は比較的弱いものです。(有限ですが数百単位の大きさのεを使用します)。

しかし、有限のεは、いくつかの理由から、正式なプライバシー保証のないモデルよりも改善されています。

(1)有限のεは、さらなるプライバシーの向上を定量化できる領域にモデルを移行させる
(2)大きなεであっても、学習済みモデルから学習データを再構築する能力が大幅に低下していることを示すことができる

経験的なプライバシーの優位性をより具体的に理解するために、Secret SharerフレームワークをSmart Text Selectionモデルに適用して徹底的な分析を実施しました。Secret Sharerはモデル監査技術であり、モデルが意図せずに学習データを記憶してしまう度合いを測定するために使用することができます。

Smart Text SelectionのSecret Sharer分析を行うために、SecAggを使用して勾配を収集する対照実験をセットアップしました。治療実験では、ノイズの量が異なる分散型差分プライバシーアグリゲータを使用しました。

その結果、ノイズの量が少なくても暗記が有意に減少し、ベースラインと比較して関連するテスト用情報のSecret Sharerランク指標が2倍以上になることがわかりました。つまり、DPεが大きくても、このモデルでは、これらのノイズ量がすでに暗記を減らすのに役立つことが経験的に検証されたのです。しかし、これをさらに改善し、より強力な形式的保証を得るために、将来的にはさらに大きなノイズ倍率を使用することを目指します。

次のステップ

私たちは、正直だが好奇心旺盛なサーバーに対する正式なDP保証を備えた、初の連合学習および分散差分プライバシーシステムを開発し、配備を開始しました。しかし、完全に悪意のあるサーバーは、SecAggの公開鍵交換を操作するか、あるいは集約プールに所定のノイズを加えない「偽」の悪意のあるクライアントを十分な数注入することによって、DDP保証を回避することができるかもしれません。私たちは、DP保証とその範囲を継続的に強化することで、これらの課題に対処することを楽しみにしています。

謝辞

ブログ記事自体に大きな影響を与えたAdria Gasconに感謝するとともに、これらのアイデアを発展させ、実践に移すことに貢献した人々にも感謝します。

Ken Liu, Jakub Konečný, Brendan McMahan, Naman Agarwal, Thomas Steinke, Christopher Choquette, Adria Gascon, James Bell, Zheng Xu, Asela Gunawardana, Kallista Bonawitz, Mariana Raykova, Stanislav Chiknavaryan、 Tancrède Lepoint、Shanshan Wu、Yu Xiao、Zachary Charles、Chunxiang Zheng、Daniel Ramage、Galen Andrew、Hugo Song、Chang Li、Sofia Neata、Ananda Theertha Suresh、Timon Van Overveldt、Zachary Garrett、Wennan Zhu、およびLukas Zilka。

また、アニメーションの図を制作してくれたTom Smallに感謝します。