AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(2/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(2/3)まとめ ・大規模環境では線形に計算コストが増える手法でさえも高コストなりがちであり、学習を安定させるために効率的...
data efficiency
AI関連その他 
ヘルスケア 転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)
１．転移学習手順を改良して医療用モデルを少量データでも開発しやすくする(2/2)まとめ ・事前学習を３ステップにする事で最大で600倍少ないデータで高品質なモデルを学習可能 ・この手法はモデルのアーキテクチャやデータセットに依存しないことが...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)まとめ ・階層的アーキテクチャは空間的な関係を保持しておりCAMを適用して解釈が可能 ・モデルの収束速度が...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(2/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(2/3)まとめ ・Nested Hierarchical Transformerは各ノードが持つ情報が重複していな...
モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)まとめ ・Vision Transformer(ViT)とその亜種は視覚理解タスクで最近大きく注目されてい...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
学習手法 深層強化学習の力でロボットが俊敏で知的な移動を実現(1/3)
１．深層強化学習の力でロボットが俊敏で知的な移動を実現(1/3)まとめ ・強化学習のサンプル効率の悪さは依然として多くのアルゴリズムにとって主要なボトルネック ・脚式ロボットのためのデータ効率の良い強化学習として効率的な学習方法を発表 ・必...