学習手法 タスク指向対話でシンプルで効果的なゼロショット転移を実現(3/3)
１．タスク指向対話でシンプルで効果的なゼロショット転移を実現(3/3)まとめ ・D3STとSDTは従来モデルと同程度のモデルサイズで、同等以上の性能を発揮 ・D3STとSDTはスキーマの言語的変化に対して強い堅牢性を持つ事もわかった ・D3...
nlp
学習手法 
モデル PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)
１．PaLM:5400億パラメータを持つ革新的なパスウェイ言語モデル(1/3)まとめ ・昨年、Googlは領域やタスクを横断して汎化できる高効率な単一モデルPathways構想を発表 ・PaLMはPathwaysシステムで学習した5,400...
学習手法 Soft Prompt：プロンプトを人力でなく学習させる新手法(1/2)
１．Soft Prompt：プロンプトを人力でなく学習させる新手法(1/2)まとめ ・モデルの規模が大きくなるとタスク毎に複数のモデルを微調整して保存することは難しくなる ・GPT-3は１つの巨大モデルでも入力を工夫すれば多様なタスクを実行...
モデル TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)
１．TaskMoE：効率的に推論を行うためにタスク別のルーティングを学習(1/2)まとめ ・MoEは効果的だが多くのトークンを複数のexpertsに送ると多くの計算コストがかかる ・TokenMoEはTaskMoEと異なりタスク毎にサブネッ...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(2/2)まとめ ・LinMaxMatchアルゴリズムはループ処理を行わないので効率的 ・事前トークン化とWordPiece化を直接実...
学習手法 Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)
１．Fast WordPiece Tokenization:WordPieceによるトークン化を高速に実行(1/2)まとめ ・自然言語処理アプリケーションではトークン化が基本的な前処理ステップとなる ・WordPieceが良く使われているト...
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(1/2)まとめ ・大規模モデルを学習させて使用可能にするためには非常に多くの計算が必要となり手間 ・モデルをより効率的に学習させるためにスパース(疎)なネットワーク...
基礎理論 BERTは文法を理解しているのか？頻度を見ているだけなのか？(1/2)
１．BERTは文法を理解しているのか？頻度を見ているだけなのか？(1/2)まとめ ・言語モデルは機能する理由が不透明な事が多く更なる改善の妨げになっている ・英語の主語と動詞の一致規則を正しく適用するBERTモデルの能力を調査した ・初見の...
データセット GoEmotions：きめ細かい感情分類を行うためのデータセット(1/2)
１．GoEmotions：きめ細かい感情分類を行うためのデータセット(1/2)まとめ ・感情分類は1992年に提案された6つの基本的な感情を対象とする場合が多い ・GoEmotionsは12ポジティブ、11ネガティブ、4あいまい、1中立の感...
モデル FLAN：指示調整により初見タスク実行能力を向上した言語モデル(1/2)
１．FLAN：指示調整により初見タスク実行能力を向上した言語モデル(1/2)まとめ ・モデルが意味のある文章を生成するためには現実世界の知識と物事を抽象化する能力が必要 ・モデルは規模拡大するとこれらの知識を自動的に取得するが条件は明確にわ...
データセット C4_200M：文法エラー訂正用の合成データセット(1/2)
１．C4_200M：文法エラー訂正用の合成データセット(1/2)まとめ ・文法エラー修正とは、正しい文法やスペルを提案するため書き込みエラーをモデル化する試み ・近年GECの品質は大幅に向上したがこれは「翻訳」タスクを真似たアプローチをした...
データセット TimeDialとDisfl-QA：時の概念と流暢でない口語表現に対応するためのNLPデータセット(2/2)
１．TimeDialとDisfl-QA：時の概念と流暢でない口語表現に対応するためのNLPデータセット(2/2)まとめ ・非流暢さは本質的に音声現象であり、音声認識システムでテキスト出力時に最も影響がある ・しかし、非流暢さの概念を含んでま...