プライバシー 匿名化した確率的勾配降下法で広告の効果測定を行う(1/2)
１．匿名化した確率的勾配降下法で広告の効果測定を行う(1/2)まとめ ・プライバシーと使い勝手の良さを両立するMLアルゴリズムが求められている ・最も広く使われているアルゴリズムはDP-SGDと呼ばれるSGDの拡張版 ・DP-SGDは計算負...
人工知能/機械学習
プライバシー 
学会 EMNLP 2022におけるGoogleの存在感
１．EMNLP 2022におけるGoogleの存在感まとめ ・2022年12月7日～11日にアラブ首長国連邦アブダビでEMNLP2022が開催 ・Google社員も多数参加し50以上の論文やワークショップに積極的に参加 ・本サイトで概要を翻...
基礎理論 機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(2/2)
１．機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(2/2)まとめ ・最も単純な顕著性評価法Gradient L2がBERTベースのモデルに対して良い結果 ・あるモデルでうまくいく方法が、他のモデルでうまくいかないこともある ・...
基礎理論 機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(1/2)
１．機械学習が学習時に抜け道を見つけてズルをしてしまう事を防止(1/2)まとめ ・最新の機械学習モデルは誤った推論を行って正しい予測をする事がある ・例えば画像内に含まれる透かしや背景を元に画像分類を行う事などがある ・これを防止する手法は...
モデル ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(2/2)
１．ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(2/2)まとめ ・現在のChatGPTにはまだ制限があり不正確または無意味な答えを書くことがある ・不明瞭な質問の意図を聞きなおす事も稀でユーザーの意図を推測す...
モデル ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(1/2)
１．ChatGPT:フェルマーの小定理をテーマに五行詩を作ってみせる言語モデル(1/2)まとめ ・OpenAIがChatGPTと呼ばれる対話形式で会話可能なモデルを公開 ・ChatGPTは追加の質問に答えたり、不適切な要求を拒否する事が可能...
モデル Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)
１．Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(2/2)まとめ ・指示微調整とは指示形式で表現されたデータセットでLMを微調整する事 ・指示微調整は1800タスクで実施し場合でもわずかな計算量しか必要としない ・...
モデル Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(1/2)
１．Flan-U-PaLM:わずかな追加計算で大規模言語モデルの性能を向上(1/2)まとめ ・巨大言語モデルを学習させるためには膨大な計算資源を必要でハードルが高い ・膨大な計算資源を使わずに既存モデルを大幅に改善する2つの手法を提案 ・U...
学会 NeurIPS 2022におけるGoogleの存在感
１．NeurIPS 2022におけるGoogleの存在感まとめ ・11/27(日)-12/3(土)に今年最大の機械学習会議であるNeurIPS 2021が開催 ・Googleは160を超える論文で強力な存在感を示し講演やワークショップも開催...
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(2/2)まとめ ・PlaybookはAsk、Inspect、Answer、Auditという4つのモジュールで構成 ・各モジュールには透明性の問題に対処する...
データセット Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)
１．Data Cards Playbook:データセットの透明性を高めるツールキット(1/2)まとめ ・データセットの起源、開発、意図等に関する理解の共有は重要度が高まっている・しかしデータセットに関する知識はチームや個人間で分散してしまう...
モデル Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)
１．Expert Choice：大規模なMoEモデルを偏らせずに学習させる工夫(2/2)まとめ ・密なFFNにMoEとゲーティング機能を適用するのはFFNが重い処理であるため ・エキスパートが受け入れるトークン数に上限を設けるとスコアは1ポ...