学習手法 Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(2/2)
１．Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(2/2)まとめ ・Plexは各サブモデルが予測を行って集約することでより効率的なアンサンブルを行う ・Plexはタスク毎にチューニングせずともモデルの出力そのままで...
deep learning
学習手法 学習手法 Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(1/2)
１．Plex:何をすればディープラーニングの信頼性を高める事が出来るのか？(1/2)まとめ ・機械学習は学習データから分離したテストデータに適用した場合に最も精度が高くなる ・しかし、現実世界で直面するデータが学習データと一致している事はほ...
モデル CMT-DeepLa：パノプティックセグメンテーションをクラスタ問題として考える(2/2)
１．CMT-DeepLab：パノプティックセグメンテーションをクラスタ問題として考える(2/2)まとめ ・マスクtransformerをクラスタリングの観点から再定義すると性能と解釈可能性が大幅に向上 ・kMaX-DeepLabは修正が簡単...
モデル CMT-DeepLa：パノプティックセグメンテーションをクラスタ問題として考える(1/2)
１．CMT-DeepLab：パノプティックセグメンテーションをクラスタ問題として考える(1/2)まとめ ・パノプティックセグメンテーションは車や人等の実体と雲や道路等の意味的存在を同時に扱う ・従来はインスタンスセグメンテーションとセマンテ...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)まとめ ・RR-with-priorは事前確率を使う事で予測の精度を大幅に増加させる ・経験的実験でもLabelDPがモデルの実用性を大幅に向上させる事...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)まとめ ・米国国勢調査も採用している差分プライバシーは製品を実世界に展開する際に良く使われる ・差分プライバシーを使うとシステムがプライバシーをどの程度...
AI関連その他 2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？
１．2022年のAIの進歩は汎用人工知能に手が届くところまで来ているのか？まとめ ・汎用人工知能は存在しえない。人間レベルのAIでさえ汎用的ではなく分化している ・モデルの規模を拡大する事は有用だが人間レベルのAIを達成するための十分条件で...
学習手法 Alpa：わずか1行でJAXニューラルネットワークを並列化(2/2)
１．Alpa：わずか1行でJAXニューラルネットワークを並列化(2/2)まとめ ・Alpaは標準的な専門家が設計したTransformerモデルでは最高のフレームワークに匹敵する ・mixture-of-expert層を持つTransfor...
学習手法 Alpa：わずか1行でJAXニューラルネットワークを並列化(1/2)
１．Alpa：わずか1行でJAXニューラルネットワークを並列化(1/2)まとめ ・データ並列を行うと複数アクセラレータで並列処理できるのでモデルの規模拡大が可能 ・しかし、最近の大規模モデルはデータ並列では間に合わずモデル並列処理が必要にな...
学会 ICLR 2022におけるGoogleの存在感
１．ICLR 2022におけるGoogleの存在感まとめ ・4/25(月) - 4/29(金)に第10回目の開催となる ICLR 2022が仮想空間で開催された ・Googleは100近い論文で強力な存在感を示し講演やワークショップも開催 ...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)まとめ ・SmeLUは推薦システムにおいてその再現性を高める事や学習と推論の効率を向上させる ・滑らかな活性化を用いる事で精度など他の重要な指標を低下させ...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)まとめ ・ReLU関数は勾配が0になった時に学習結果を反映できないのでランダムな挙動に繋がる ・活性化が滑らかなネットワーク(GELU、Swishなど)は...