学習手法 タスク指向対話でシンプルで効果的なゼロショット転移を実現(1/3)
１．タスク指向対話でシンプルで効果的なゼロショット転移を実現(1/3)まとめ ・会話型エージェントは、航空券の予約やレストランの検索など様々なタスクで使われる ・タスクが異なるとデータ収集とモデルを再トレーニングする必要が出てくるのは問題 ...
学習手法 
学習手法 DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(2/2)
１．DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(2/2)まとめ ・InverseAugとLearnableAlignという2つの新手法で位置合わせを改善しDeepFusionを実現 ・DeepFusion...
学習手法 DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(1/2)
１．DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(1/2)まとめ ・LiDARと視覚カメラは、自律走行車やロボットに使用される2種類のセンサー ・最先端の3次元物体検出器の多くはカメラを有効活用できていなか...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(3/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(3/3)まとめ ・ALXのパラメータを慎重に調整し、メモリを半減させながら精度を維持する事ができた ・理想はコア数を増すと線形に学習時間が減少する事だがネットワーク通信時間の影響を受ける ・AL...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(2/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(2/3)まとめ ・ALXは各TPUコアの計算能力とメモリが無駄にならないように設計を工夫している ・デモ用にWebGraphと呼ばれる大規模な実世界のウェブリンク予測データセットを公開 ・Web...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(1/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(1/3)まとめ ・行列分解を使う手法は単純ではあるが性能が良いので推薦システムなどに昔から使われている ・ALSは行列分解のパラメータを学習するための基本的なアルゴリズムで規模拡大の効率が良い ...
モデル VDTTS：視覚駆動型の音声合成モデル(2/2)
１．VDTTS：視覚駆動型の音声合成モデル(2/2)まとめ ・TTSおよびTTS with length hintの両モデルより様々な観点でVDTTSは大きく優れている ・VDTTSはビデオフレームのみを使って話者が何を話しているかを予測す...
モデル VDTTS：視覚駆動型の音声合成モデル(1/2)
１．VDTTS：視覚駆動型の音声合成モデル(1/2)まとめ ・ノイズの多い環境で録音されたオリジナルの音声をスタジオで再録音し品質を高める時がある ・新たに録音した音声と映像の同期を取る必要がありこの作業は難しく、面倒な作業となる ・VDT...
学習手法 JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(2/2)
１．JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(2/2)まとめ ・JSRLは任意の初期ガイドポリシーや微調整アルゴリズムと組み合わせて使用する事が可能 ・視覚ベースタスクでも他のすべての手法よりも高速に改善可能で最も...
学習手法 JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(1/2)
１．JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(1/2)まとめ ・強化学習は試行錯誤でタスクを実行するがゼロからポリシーを学習する事は難しい ・例えば複雑でゴールにどれだけ近づいているかを測定できないようなタスクの解...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(3/3)まとめ ・SmeLUは推薦システムにおいてその再現性を高める事や学習と推論の効率を向上させる ・滑らかな活性化を用いる事で精度など他の重要な指標を低下させ...
基礎理論 SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)
１．SmeLU：ディープラーニングの再現性を悪化させている犯人はReLU関数(2/3)まとめ ・ReLU関数は勾配が0になった時に学習結果を反映できないのでランダムな挙動に繋がる ・活性化が滑らかなネットワーク(GELU、Swishなど)は...