モデル FLAN：指示調整により初見タスク実行能力を向上した言語モデル(2/2)
１．FLAN：指示調整により初見タスク実行能力を向上した言語モデル(2/2)まとめ ・FLANはGPT-3よりサイズが小さいがゼロショット設定のGPT-3を上回った ・一部のタスクでは小数ショット設定のGPT-3よりも優れた結果を出した ・...
モデル
モデル モデル FLAN：指示調整により初見タスク実行能力を向上した言語モデル(1/2)
１．FLAN：指示調整により初見タスク実行能力を向上した言語モデル(1/2)まとめ ・モデルが意味のある文章を生成するためには現実世界の知識と物事を抽象化する能力が必要 ・モデルは規模拡大するとこれらの知識を自動的に取得するが条件は明確にわ...
モデル Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(2/2)
１．Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(2/2)まとめ ・翻訳前後で話者の声を保持するために同じ話者の声を使用してS2STモデルをトレーニングする ・多数のバイリンガルに協力して貰うのは難しいのでPnG...
モデル Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(1/2)
１．Translatotron 2：音声間直接翻訳アプローチの品質を更に改良(1/2)まとめ ・音声間翻訳システムは通常、音声認識や機械翻訳、音声合成を順番に適用して実現 ・2019年には2言語間で翻訳元音声を翻訳先音声に直接翻訳できるTr...
モデル Pathdreamer：馴染のない建物内で何処に何がありそうか予測するAI(2/2)
１．Pathdreamer：馴染のない建物内で何処に何がありそうか予測するAI(2/2)まとめ ・Pathdreamerはベースラインと比較して成功率を10%高くする事ができる ・現実世界を実際に移動するエージェントより成功率は低いが時間と...
モデル Pathdreamer：馴染のない建物内で何処に何がありそうか予測するAI(1/2)
１．Pathdreamer：馴染のない建物内で何処に何がありそうか予測するAI(1/2)まとめ ・人はなじみのない建物内でも視覚的な手がかりを利用して効率的に移動できる ・この機能をAIで実現するためには「視覚的な世界モデル」の実装が必要と...
モデル CoAtNets：畳み込みと自己注意の利点を備えたハイブリッドモデル(2/2)
１．CoAtNets：畳み込みと自己注意の利点を備えたハイブリッドモデル(2/2)まとめ ・CNNよりTransformerモデルの方が大規模データセットに対応する能力が高い ・CoAtNetsは畳み込みと自己注意を組み合わせたハイブリッド...
モデル CoAtNets：畳み込みと自己注意の利点を備えたハイブリッドモデル(1/2)
１．CoAtNets：畳み込みと自己注意の利点を備えたハイブリッドモデル(1/2)まとめ ・モデルとデータサイズが大きくなるにつれてトレーニング効率が重要な焦点になりつつある ・ニューラルアーキテクチャ探索を活用して画像認識用のモデルを2種...
モデル Deep-MARC：初めてみる物体をマスクする能力を向上する秘訣(2/2)
１．Deep-MARC：初めてみる物体をマスクする能力を向上する秘訣(2/2)まとめ ・典型的なmask R-CNNの実装は完全教師有り設定ではパフォーマンスに影響を与えなかった ・部分的教師有り設定ではcropping-to-ground...
モデル Deep-MARC：初めてみる物体をマスクする能力を向上する秘訣(1/2)
１．Deep-MARC：初めてみる物体をマスクする能力を向上する秘訣(1/2)まとめ ・境界ボックス形式ではなくマスク形式のラベルを作成する際に性能が低下する要因を特定 ・一部のみがマスク形式ラベルを持つ部分的教師あり設定でも高パフォーマン...
モデル AI Choreographer：音楽に合わせたダンスを生成する人工知能(2/2)
１．AI Choreographer：音楽に合わせたダンスを生成する人工知能(2/2)まとめ ・FACTはMotion、Audio、Cross-Modalの3種のTransformerから構成される ・full-attention mask...
モデル AI Choreographer：音楽に合わせたダンスを生成する人工知能(1/2)
１．AI Choreographer：音楽に合わせたダンスを生成する人工知能(1/2)まとめ ・機械学習でダンスを生成するには動きと音楽を考慮して連続モーションを生成する能力が必要 ・既存のAISTダンスデータセットに３D情報を付与してAI...