プライバシー 連合学習のための分散型差分プライバシー(1/2)
１．連合学習のための分散型差分プライバシー(1/2)まとめ ・連合学習は機械学習モデルのトレーニングを分散して行う手法でデータは各端末内で処理されるためプライバシーが保たれる事が特徴 ・セキュアアグリゲーションと分散版差分プライバシーの2つ...
differential privacy
プライバシー 
プライバシー FriendlyCore:集約時の誤差を低減する新規差分プライベートフレームワーク(2/2)
１．FriendlyCore:集約時の誤差を低減する新規差分プライベートフレームワーク(2/2)まとめ ・FriendlyCoreは従来アルゴリズムと比較してパラメータの大きな値でより良いパフォーマンスを発揮する ・FriendlyCore...
プライバシー FriendlyCore:集約時の誤差を低減する新規差分プライベートフレームワーク(1/2)
１．FriendlyCore:集約時の誤差を低減する新規差分プライベートフレームワーク(1/2)まとめ ・差分プライバシー(DP:Differential Privacy)は個人を特定できないようにしながら全体としての傾向を学習させる機械学...
プライバシー Connect the Dots:差分プライバシーのより効率的なプライバシーコスト推定(2/2)
１．Connect the Dots:差分プライバシーのより効率的なプライバシーコスト推定(2/2)まとめ ・Connect-the-Dotsは離散化して戻す事で効率的な計算を行うアルゴリズム ・Connect-the-Dotsは先行実装に...
プライバシー Connect the Dots:差分プライバシーのより効率的なプライバシーコスト推定(1/2)
１．Connect the Dots:差分プライバシーのより効率的なプライバシーコスト推定(1/2)まとめ ・差分プライバシーはプライバシーを保証した上で分析や機械学習を可能にする ・差分プライバシーでは個々のアルゴリズムを合成した際の特性...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)まとめ ・RR-with-priorは事前確率を使う事で予測の精度を大幅に増加させる ・経験的実験でもLabelDPがモデルの実用性を大幅に向上させる事...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)まとめ ・米国国勢調査も採用している差分プライバシーは製品を実世界に展開する際に良く使われる ・差分プライバシーを使うとシステムがプライバシーをどの程度...
プライバシー 厳密な差分プライバシー保証を持つ連合学習(3/3)
１．厳密な差分プライバシー保証を持つ連合学習(3/3)まとめ ・米国国勢調査より強い基準のFLモデルを本番環境に配備するという成果を達成した ・他のMLモデルや製品でも実用的で利用可能であるとはまだ言えず研究は続く ・ユーザーの潜在的なプラ...
プライバシー 厳密な差分プライバシー保証を持つ連合学習(2/3)
１．厳密な差分プライバシー保証を持つ連合学習(2/3)まとめ ・多くの外部要因によって利用可能なデバイスの数が大幅に変化し得るので困難であった ・学習に参加可能な端末が少ないとランダム性がないためプライバシーが緩まる事になる ・累積和と負相...
プライバシー 厳密な差分プライバシー保証を持つ連合学習(1/3)
１．厳密な差分プライバシー保証を持つ連合学習(1/3)まとめ ・連合学習は学習データをデバイスに残したままモデルの学習が可能でプライシー重視 ・ユーザーデータを使って学習するモデルにとって重要なもう一つの原則は匿名化処理 ・差分プライバシー...
プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(2/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・差分プライバシーのプライバシーと実用性の両立は様々な工夫が必要となる ・フルバッチトレーニングと公開データを使った転移学習を組み合わせた ・DP-SGDはJAXで高...
プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(1/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・大量データを集約して学習データにしていてもモデルは個人に関する特徴を取り込み可能 ・個人に関する特徴が符号化されないようにするため連合学習の重要性が高まっている ・...