ロボット Performer-MPC：Transformerをロボットに適用して機敏に自律走行させる(2/2)
１．Performer-MPC：Transformerをロボットに適用して機敏に自律走行させる(2/2)まとめ ・Performer-MPCはロボットに搭載可能で8msで応答し、830万のPerformerパラメータを備えておりリアルタイム...
transformer
ロボット ロボット Performer-MPC：Transformerをロボットに適用して機敏に自律走行させる(1/2)
１．Performer-MPC：Transformerをロボットに適用して機敏に自律走行させる(1/2)まとめ ・人間中心の環境では狭い空間を安全かつ効率的に走行する事や適度な距離を保つ事など複雑なルールがロボットに要求される ・Trans...
AI関連その他 2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(1/3)
１．2022年のGoogleのAI研究の成果と今後の展望～ディープラーニング用モデルの効率を向上させるアルゴリズム編～(1/3)まとめ ・AIや機械学習が製品やビジネスシーンに導入される機会が増えるにつれ、モデルの効率とコストは些細な考慮事...
モデル RT-1:現実世界の大規模データを取り扱い可能なロボット操作用Transformer(2/2)
１．RT-1:現実世界の大規模データを取り扱い可能なロボット操作用Transformer(2/2)まとめ ・RT-1は他のロボットの経験を観察する事で新しいスキルを身につける事が可能 ・SayCanとRT-1を組み合わせる事によって初見のキ...
アプリケーション Googleチャットでの会話要約(2/2)
１．Googleチャットでの会話要約(2/2)まとめ ・知識蒸留でPegasusをTransformerとRNNのハイブリッド設計に蒸留した ・蒸留の結果Pegasusと同様の品質を保ちながら応答遅延とメモリ使用量を低減 ・低品質な要約をふ...
モデル LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(2/2)
１．LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(2/2)まとめ ・LFNRの制限の1つは狭い範囲から情報を取得しているため汎化できない事 ・GPNRでは同じ深度のポイント間で情報を交換するtransformerを追加...
モデル LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(1/2)
１．LFNRとGPNR：反射するCDを含む場面の視線合成が可能な新手法(1/2)まとめ ・ある風景の複数の写真から新しい視点を合成する視点合成タスクは長年の課題 ・LFNRではCDの光彩のような視点に依存する効果を再現する課題に取り組んだ ...
学習手法 OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(2/2)
１．OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)まとめ ・OptFormerは様々な最適化アルゴリズムを正確に模倣できるようになった ・OptFormerは最適化目標値の予測とその不確実性の推定が...
学習手法 OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)
１．OptFormer：パラメータ名など言語情報を参考にハイパーパラメータを最適化(1/2)まとめ ・ハイパーパラメータの最適化はモデルの性能を左右する可能性があるため大事 ・従来のハイパーパラメータ探索法はパラメータ数や範囲が同一である事...
モデル ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)
１．ByteQRNN：BERTの1/300のサイズで同等性能なオンデバイスモデル(2/2)まとめ ・ByteQRNNはマージAttentionサブレイヤーと量子化ビーム探索で計算を効率化している ・事前学習済みのByteQRNNの性能は、3...
モデル MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)
１．MGDT：41種のゲームを人間同等にプレイ可能なTransformer(2/2)まとめ ・MGDTは様々な経験を学習した方が専門家レベルのデモのみを学習するより優れている ・他の学習システムと比較してモデルサイズの増加に伴う性能向上がよ...
モデル MGDT：41種のゲームを人間同等にプレイ可能なTransformer(1/2)
１．MGDT：41種のゲームを人間同等にプレイ可能なTransformer(1/2)まとめ ・現在の強化学習は様々な個別タスクの意思決定に秀でるが汎用性に関する研究は少ない ・自然言語、視覚、生成モデルの分野ではTransformerが活躍...