Keep Learning! Fail and open the door to a new world!
１．LaserTagger：制御可能で効率的な文章生成アプローチ(1/2)まとめ ・Transformerをベースとしたseq2seqモデルは高い性能を持つが文章生成に使うと３つの弱点がある ・幻覚、大量のトレーニングデータ、推論速度、の3つの弱点を改善しようとするアプローチがLaserTagger ・LaserTaggerは多くの文章生成タスクは入力文と出力文の間に多くの重複が存在する点に着目し […]
１．Meena：どんな会話にも対応できるチャットボット(3/3)まとめ ・PerplexityがMeena開発中に作ったSSA値などの人間による評価と強い相関関係を示す事がわかった ・Perplexityは言語モデルの不確実性を測定する従来から使われてきた自動に測定できる評価基準 ・今後もアルゴリズム、アーキテクチャ、データ、計算の改善を通じてperplexityを低下させる目標を継続 ２．Per […]
１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ ・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い ・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル会話モデルで雑談対応可能 ・Meenaは現在の状況を意識して会話に適切に応答する事を学習しており人間と自然な対話が出来る ２．Meenaとは？ 以下、ai.go […]
１．Reformer:効率的なTransformer(2/2)まとめ ・リバーシブルレイヤーは、レイヤーごとに2セットのアクティベーションを持つ事でメモリを節約 ・LSHとリバーシブルレイヤーによりReformerは16GBのメモリで最大100万語の連続テキストを処理可能 ・Reformerは超長文処理に加えて文書以外の処理でもTransformerモデルを使用するための基盤と成り得る ２．リバー […]
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttentionとメモリ割り当ての問題に直面する ・ReformerはLocality-Sensitive-Hashingとreversible residual laye […]
