モデル Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)
１．Nested Hierarchical Transformer:ViTに数行のコードを加えるだけでデータ効率を大幅に向上(1/3)まとめ ・Vision Transformer(ViT)とその亜種は視覚理解タスクで最近大きく注目されてい...
モデル 
ロボット XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(2/2)
１．XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(2/2)まとめ ・XIRLは実演者と学習者が異なる形状である際の模倣問題に取り組む手法 ・時間的サイクル整合性を用いて実施形態に依存しない報酬関数を学習 ・サンプル効率が高...
ロボット XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(1/2)
１．XIRL:人と形状が異なるロボットは人から学ぶ事が出来るのか？(1/2)まとめ ・人は他人から学ぶがロボットも同じようにする事ができないか考えた ・しかしロボットは人間と物理的に異なる構造を持つため人間の模倣が困難 ・XIRLは動画から...
インフラ Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)
１．Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(2/2)まとめ ・プラットフォームを意識したNASを使いTPUやGPUに最適化したEfficientNet-Xを設計 ・TPUv3およ...
インフラ Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(1/2)
１．Platform-Aware NAS:ハードウェア性能を最高に引き出すニューラル・アーキテクチャ探索(1/2)まとめ ・最新のアクセラレータのピーク性能とMLモデル実行時の性能の間にギャップが広がりつつある ・指標(FLOPS)ではなく...
ロボット BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか？(2/2)
１．BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか？(2/2)まとめ ・模倣学習の拡張でロボットが未経験の新しいタスクに対応できるようになる可能性を示した ・言語モデルが学習した概念同士の関連がロボットに柔軟性...
ロボット BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか？(1/2)
１．BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか？(1/2)まとめ ・既存のロボット工学は新しい対象やタスク、目標に汎化できるようにする研究が多い ・指示を元に全く新しいタスクをロボットが実行できるようになる...
プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(2/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・差分プライバシーのプライバシーと実用性の両立は様々な工夫が必要となる ・フルバッチトレーニングと公開データを使った転移学習を組み合わせた ・DP-SGDはJAXで高...
プライバシー 差分プライバシーを使って大規模な画像分類モデルを学習(1/2)
１．差分プライバシーを使って大規模な画像分類モデルを学習(1/2)まとめ ・大量データを集約して学習データにしていてもモデルは個人に関する特徴を取り込み可能 ・個人に関する特徴が符号化されないようにするため連合学習の重要性が高まっている ・...
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(3/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(3/3)まとめ ・元データが必ずしもルールに従うとは限らないのでルールの効果は元データに依存 ・DeepCTRLは再トレーニングせずにデータに合わせてルールの強さを変...
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(2/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(2/3)まとめ ・ルールベースの目標を用いた学習ではパラメータに対して目標が微分可能な事が必要 ・入力特徴量に小さなランダムノイズを加える事で非微分的制約に対応可能な...
ヘルスケア DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(1/3)
１．DeepCTRL:ニューラルネットワークにルールを教えて制御する試み(1/3)まとめ ・ニューラルネットワークはデータから物理法則等を学習できるが誤差が大きい ・エネルギー保存の法則など、ルールを直接学習できると効率が向上するはず ・D...