モデル LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(1/2)
１．LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(1/2)まとめ ・画像分類などでは事前学習後にタスク毎に微調整に固有データが必要になるので手間がかかる ・代替手法には画像とテキストを使う対照学習があるが微調整手法に...
人工知能/機械学習
モデル 
学習手法 タスク指向対話でシンプルで効果的なゼロショット転移を実現(3/3)
１．タスク指向対話でシンプルで効果的なゼロショット転移を実現(3/3)まとめ ・D3STとSDTは従来モデルと同程度のモデルサイズで、同等以上の性能を発揮 ・D3STとSDTはスキーマの言語的変化に対して強い堅牢性を持つ事もわかった ・D3...
学習手法 タスク指向対話でシンプルで効果的なゼロショット転移を実現(2/3)
１．タスク指向対話でシンプルで効果的なゼロショット転移を実現(2/3)まとめ ・D3STは会話状態を予測を行う際に、スロットと意図の記述を活用するDSTモデル ・SDTは具体的な会話内で可能なスロットと値を示す、単一の注釈付き対話例を活用 ...
学習手法 タスク指向対話でシンプルで効果的なゼロショット転移を実現(1/3)
１．タスク指向対話でシンプルで効果的なゼロショット転移を実現(1/3)まとめ ・会話型エージェントは、航空券の予約やレストランの検索など様々なタスクで使われる ・タスクが異なるとデータ収集とモデルを再トレーニングする必要が出てくるのは問題 ...
学習手法 DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(2/2)
１．DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(2/2)まとめ ・InverseAugとLearnableAlignという2つの新手法で位置合わせを改善しDeepFusionを実現 ・DeepFusion...
学習手法 DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(1/2)
１．DeepFusion：センサー情報とカメラ情報を効果的に融合して3次元物体検出(1/2)まとめ ・LiDARと視覚カメラは、自律走行車やロボットに使用される2種類のセンサー ・最先端の3次元物体検出器の多くはカメラを有効活用できていなか...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(3/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(3/3)まとめ ・ALXのパラメータを慎重に調整し、メモリを半減させながら精度を維持する事ができた ・理想はコア数を増すと線形に学習時間が減少する事だがネットワーク通信時間の影響を受ける ・AL...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(2/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(2/3)まとめ ・ALXは各TPUコアの計算能力とメモリが無駄にならないように設計を工夫している ・デモ用にWebGraphと呼ばれる大規模な実世界のウェブリンク予測データセットを公開 ・Web...
基礎理論 ALX：大規模な行列計算をＴＰＵ上で実現(1/3)
１．ALX：大規模な行列計算をＴＰＵ上で実現(1/3)まとめ ・行列分解を使う手法は単純ではあるが性能が良いので推薦システムなどに昔から使われている ・ALSは行列分解のパラメータを学習するための基本的なアルゴリズムで規模拡大の効率が良い ...
モデル VDTTS：視覚駆動型の音声合成モデル(2/2)
１．VDTTS：視覚駆動型の音声合成モデル(2/2)まとめ ・TTSおよびTTS with length hintの両モデルより様々な観点でVDTTSは大きく優れている ・VDTTSはビデオフレームのみを使って話者が何を話しているかを予測す...
モデル VDTTS：視覚駆動型の音声合成モデル(1/2)
１．VDTTS：視覚駆動型の音声合成モデル(1/2)まとめ ・ノイズの多い環境で録音されたオリジナルの音声をスタジオで再録音し品質を高める時がある ・新たに録音した音声と映像の同期を取る必要がありこの作業は難しく、面倒な作業となる ・VDT...
学習手法 JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(2/2)
１．JSRL:事前ポリシーを効率的に使用して強化学習をジャンプスタート(2/2)まとめ ・JSRLは任意の初期ガイドポリシーや微調整アルゴリズムと組み合わせて使用する事が可能 ・視覚ベースタスクでも他のすべての手法よりも高速に改善可能で最も...