モデル FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)
１．FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(2/2)まとめ ・FELIXは完全に非自己回帰であり最先端のスコアを達成しながら高速な推論を実現可能 ・事前トレーニングとマスク言語モデルを念頭に必要なトレーニングデータ...
人工知能/機械学習
モデル モデル FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)
１．FELIX：タグ付けと挿入を使う効率的で柔軟なテキスト編集モデル(1/2)まとめ ・seq2seqは自然言語生成タスクで好まれるが単一言語が対象の際は最適でない可能性 ・自己回帰で低速であり単一言語では入力が出力にコピーされるだけの事が...
基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(2/2)まとめ ・深淵広大なネットワークには非常に類似した特徴表現を持つ連続したレイヤーが出現する ・これはブロック構造と呼ばれデータセットサイズに対するモデルサ...
基礎理論 ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)
１．ディープなネットワークもワイドなネットワークも同じ事を学習しているのか？(1/2)まとめ ・ニューラルネットワークの性能を調整する際はネットワークの深さや幅が調整される ・しかし精度以外にこれらの違いがどのように影響するかについての理解...
学会 ICLR 2021におけるGoogleの存在感
１．ICLR 2021におけるGoogleの存在感まとめ ・2021年5月3日(月)から7日(金)まで仮想空間でICLR 2021が開催 ・Google AIブログで概要が発表済みの論文も10存在するので要チェック ・Gradient Bo...
学習手法 RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(2/2)
１．RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(2/2)まとめ ・シミュレーションの並行実行は簡単ではないためTFのAutoGraphなど最適化の利用が重要 ・RecSim NGにより複雑なマルチエー...
学習手法 RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(1/2)
１．RecSim NG：柔軟で規模拡大可能で微分可能なシミュレーション付き推薦システム(1/2)まとめ ・推薦システムは広く利用されているが公平なサービスを提供するために多くの課題がある ・推薦システムで強化学習アルゴリズムを利用すためシミ...
学習手法 HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(3/3)
１．HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(3/3)まとめ ・HPPを使用すると、エージェントは軌道を予測して調整し、調整ミスを回避できる ・HPPは追加のトレーニングなしで現実の世界に直接転移させる事が出来る...
学習手法 HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(2/3)
１．HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(2/3)まとめ ・システムは予測、計画、および制御の3つのモジュールから構成されている ・各エージェントは自分自身の動き用と他のエージェント用の予測モデルを学習 ・予...
学習手法 HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(1/3)
１．HPP：ロボット同士が待ち合わせできるようにするモデルベース強化学習(1/3)まとめ ・制御された環境では一元化されたプランナーを使えば複数ロボットが連携して動作可能 ・現実世界では独立したロボット同士で連携する場合は目標を互いに調整す...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(2/2) ・Panoptic-DeepLabは複数フレームにおける深度推定やインスタンスID付与ができない ・ViP-DeepLabは2つの連続...
モデル ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2)
１．ViP-DeepLab：深度推定とパノプティックセグメンテーションを動画に対して同時に適用(1/2) ・人間は二次元画像である写真から三次元環境に関する視覚情報を非常に簡単に取得できる ・自動運転などを実現するためには同様に平面画像から...