モデル LLaMA、chatGPT値下げ、FLAN-UL2：直近の巨大ゴリラ同士の殴り合い
１．LLaMA、chatGPT値下げ、FLAN-UL2：直近の巨大ゴリラ同士の殴り合いまとめ ・一週間前にMetaが最大650億のパラーメーターを持つLLaMAを非商用ライセンスで公開 ・三日前にOpenAIがchatGPTのAPI経由での...
人工知能/機械学習
モデル 
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ロボット編～(2/2)
１．2022年のGoogleのAI研究の成果と今後の展望～ロボット編～(2/2)まとめ ・大規模言語モデルは汎化と性能がデータ量に応じて向上するのでロボットも同じ事ができないか考えた ・ロボットもデータの規模と多様性を増やすと新しいタスク、...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ロボット編～(1/2)
１．2022年のGoogleのAI研究の成果と今後の展望～ロボット編～(1/2)まとめ ・大規模で汎用的な言語モデルを他のアプローチと連携し、ロボットが人間の幅広い知識から学習して自然に関わり合えるようにする能力を探求 ・これにより「ロボッ...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～その他の先進的なアルゴリズム編～(2/2)
１．2022年のGoogleのAI研究の成果と今後の展望～その他の先進的なアルゴリズム編～(2/2)まとめ ・広告オークション研究も引き続き継続し、入札が代理入札者経由で行われる設定での最適化を研究した ・柔軟なオンライン配分問題のための新...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～その他の先進的なアルゴリズム編～(1/2)
１．2022年のGoogleのAI研究の成果と今後の展望～その他の先進的なアルゴリズム編～(1/2)まとめ ・堅牢なアルゴリズム設計はGoogle全体のシステム特に機械学習と人工知能モデルの屋台骨となっており優先度が高い ・教師、半教師あり...
学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(2/2)まとめ ・多くの半教師あり学習法は、ラベル付きデータとラベル無しデータが同じ分布を持つと仮定しているが現実は異なる事が多い ・SPADEはラベル無...
学習手法 SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)
１．SRRとSPADE:自己教師／半教師あり学習で完全教師あり学習を凌駕する異常検知(1/2)まとめ ・従来の異常検知は完全にラベル付けされたデータに対して有効だが、ラベル付けは非常に手間がかかるため必ずしも現実的な設定ではない ・ラベルな...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(3/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(3/3)まとめ ・大規模モデルは高い性能だが製品展開する上で法外に高いコストがかかる可能性があるためサービス効率を向上さ...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(2/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(2/3)まとめ ・大規模環境では線形に計算コストが増える手法でさえも高コストなりがちであり、学習を安定させるために効率的...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(1/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(1/3)まとめ ・AIや機械学習が製品やビジネスシーンに導入される機会が増えるにつれ、モデルの効率とコストは些細な考慮事...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(3/3)
１．2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(3/3)まとめ ・モジュール式なコンパイラLLVMにML技術を体系的に統合した産業レベルのフレームワークであるMLGOをリリース ・MLの実践者はモデ...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(2/3)
１．2022年のGoogleのAI研究の成果と今後の展望～MLとコンピュータシステム編～(2/3)まとめ ・最近のMLPerfのコンペでは、TPUs v4が5つのベンチマークで新記録を達成し、2位に比べて平均1.42倍の差をつけた ・プラッ...