AI関連その他 Rax:JAXで使えるランキングシステム用ライブラリ(2/2)
１．Rax:JAXで使えるランキングシステム用ライブラリ(2/2)まとめ ・RaxはNDCGを近似してノイズを加える事で微分と局所最適化問題を解決した ・他のJax関連ツールとスムーズに連携できるようにRaxは設計されている ・JAXのT5...
jax
AI関連その他 AI関連その他 Rax:JAXで使えるランキングシステム用ライブラリ(1/2)
１．Rax:JAXで使えるランキングシステム用ライブラリ(1/2)まとめ ・ランク付けは、様々な領域にまたがる中核的な問題で機械学習技術であるLTRが良く使用される ・比較的新しい機械学習フレームワークであるJAXで動作するLTRライブラリ...
学習手法 Alpa：わずか1行でJAXニューラルネットワークを並列化(1/2)
１．Alpa：わずか1行でJAXニューラルネットワークを並列化(1/2)まとめ ・データ並列を行うと複数アクセラレータで並列処理できるのでモデルの規模拡大が可能 ・しかし、最近の大規模モデルはデータ並列では間に合わずモデル並列処理が必要にな...
プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(1/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・大量データを集約して学習データにしていてもモデルは個人に関する特徴を取り込み可能 ・個人に関する特徴が符号化されないようにするため連合学習の重要性が高まっている ・...
プライバシー FedJAX：連合学習のシミュレーションをJAXで容易に実行(2/2)
１．FedJAX：連合学習のシミュレーションをJAXで容易に実行(2/2)まとめ ・GPU、TPU 1 TensorCore、マルチコアTPUと2つのデータセットでFedJAXを評価 ・TPUを使用するとfederated EMNIST-6...
プライバシー FedJAX：連合学習のシミュレーションをJAXで容易に実行(1/2)
１．FedJAX：連合学習のシミュレーションをJAXで容易に実行(1/2)まとめ ・連合学習を使用するとデータをスマホからクラウドに送信せずともモデルトレーニングが可能 ・連合学習を研究する際の使いやすさを重視したJAXベースのFedJAX...
ロボット Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(2/3)
１．Brax：Colabで大規模分散システムを凌駕する強化学習用物理シミュレーションエンジン(2/3)まとめ ・Braxは「シミュレーション時に分岐が発生しない」ことを保証する事で効率化を実現 ・計算が厳密に同じであるため複雑さを軽減でき、...
AI関連その他 Google Research：2020年の振り返りと2021年以降に向けて(5/5)
１．Google Research：2020年の振り返りと2021年以降に向けて(5/5)まとめ ・TensorFlowは5周年で累計ダウンロード数は1億6000万を超え、JAXへの投資も倍増 ・データセットの公開、各種助成金などにより研究...
モデル Neural Tangents：高速に手軽にニューラルネットワークの幅を無限に拡張(1/2)
１．Neural Tangents：高速に手軽にニューラルネットワークの幅を無限に拡張(1/2)まとめ ・最近の多くの研究結果はDNNの幅を無限に拡張していくとガウス過程に収束していく事を示している ・この収束が有効である限り勾配降下の収束...
ロボット Google Research：2019年の振り返りと2020年以降に向けて(7/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(7/8)まとめ ・機械学習をロボットの制御に応用するために特に強化学習を使った研究が行われた ・世界モデルの学習やポリシーにランダム性を取り込む事、オープンソ...