学習手法

学習手法

BLE:成層圏に到達可能な高高度気球の操作をシミュレートする強化学習環境(1/2)

1.BLE:成層圏に到達可能な高高度気球の操作をシミュレートする強化学習環境(1/2)まとめ ・機械学習の進歩の原動力となってきたのが、成果を測定可能なベンチマークテストの存在 ・高高度気球の制御という実世界の問題を扱う新しい強化学習用ベン...
学習手法

Soft Prompt:プロンプトを人力でなく学習させる新手法(2/2)

1.Soft Prompt:プロンプトを人力でなく学習させる新手法(2/2)まとめ ・プロンプトベース学習は、急速に進化している手法でパラメータ効率が良い事が特徴 ・モデルサイズが大きくなるとプロンプトチューニングは微調整したモデルと同等に...
学習手法

Soft Prompt:プロンプトを人力でなく学習させる新手法(1/2)

1.Soft Prompt:プロンプトを人力でなく学習させる新手法(1/2)まとめ ・モデルの規模が大きくなるとタスク毎に複数のモデルを微調整して保存することは難しくなる ・GPT-3は1つの巨大モデルでも入力を工夫すれば多様なタスクを実行...
モデル

Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)

1.Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(3/3)まとめ ・階層的アーキテクチャは空間的な関係を保持しておりCAMを適用して解釈が可能 ・モデルの収束速度が...
モデル

Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(2/3)

1.Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(2/3)まとめ ・Nested Hierarchical Transformerは各ノードが持つ情報が重複していな...
モデル

Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)

1.Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)まとめ ・Vision Transformer(ViT)とその亜種は視覚理解タスクで最近大きく注目されてい...
ロボット

XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか?(2/2)

1.XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか?(2/2)まとめ ・XIRLは実演者と学習者が異なる形状である際の模倣問題に取り組む手法 ・時間的サイクル整合性を用いて実施形態に依存しない報酬関数を学習 ・サンプル効率が高...
ロボット

XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか?(1/2)

1.XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか?(1/2)まとめ ・人は他人から学ぶがロボットも同じようにする事ができないか考えた ・しかしロボットは人間と物理的に異なる構造を持つため人間の模倣が困難 ・XIRLは動画から...
インフラ

Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)

1.Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)まとめ ・プラットフォームを意識したNASを使いTPUやGPUに最適化したEfficientNet-Xを設計 ・TPUv3およ...
インフラ

Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(1/2)

1.Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(1/2)まとめ ・最新のアクセラレータのピーク性能とMLモデル実行時の性能の間にギャップが広がりつつある ・指標(FLOPS)ではなく...
ロボット

BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか?(2/2)

1.BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか?(2/2)まとめ ・模倣学習の拡張でロボットが未経験の新しいタスクに対応できるようになる可能性を示した ・言語モデルが学習した概念同士の関連がロボットに柔軟性...
ロボット

BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか?(1/2)

1.BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか?(1/2)まとめ ・既存のロボット工学は新しい対象やタスク、目標に汎化できるようにする研究が多い ・指示を元に全く新しいタスクをロボットが実行できるようになる...