学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallは...
transformer
学習手法 
入門／解説 組成の一般化能力の測定(3/3)
１．組成の一般化能力の測定(3/3)まとめ ・compound divergenceという新しい指標によりデータセットの難度を数値で表す事ができた ・代表的な3つの標準的なMLアーキテクチャは難度があがるにつれて正確性が直線的にさがってしま...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んで...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(2/3)まとめ ・NLP用の転移学習に導入されたアイデアと手法を広範囲にわたって調査して有用な知見を多く得た ・体系的な研究から得た最良の方法を組...
学習手法 T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった ・最も効果的な転移学習手法を調べ、得た...
入門／解説 LaserTagger：制御可能で効率的な文章生成アプローチ(1/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(1/2)まとめ ・Transformerをベースとしたseq2seqモデルは高い性能を持つが文章生成に使うと３つの弱点がある ・幻覚、大量のトレーニングデータ、推論速度、の3...
入門／解説 Meena：どんな会話にも対応できるチャットボット(3/3)
１．Meena：どんな会話にも対応できるチャットボット(3/3)まとめ ・PerplexityがMeena開発中に作ったSSA値などの人間による評価と強い相関関係を示す事がわかった ・Perplexityは言語モデルの不確実性を測定する従来...
入門／解説 Meena：どんな会話にも対応できるチャットボット(1/3)
１．Meena：どんな会話にも対応できるチャットボット(1/3)まとめ ・現在の人工知能を使ったチャットボットは特定の会話はこなせるが雑談に対応できる能力は低い ・MeenaはGPT-2を超える26億のパラメータを内部に持つ新しいニューラル...
基礎理論 Reformer：効率的なTransformer(2/2)
１．Reformer:効率的なTransformer(2/2)まとめ ・リバーシブルレイヤーは、レイヤーごとに2セットのアクティベーションを持つ事でメモリを節約 ・LSHとリバーシブルレイヤーによりReformerは16GBのメモリで最大1...
基礎理論 Reformer:効率的なTransformer(1/2)
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttenti...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(8/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(8/8)まとめ ・機械学習研究を促進するためにデータセットを公開しGoogle Dataset Searchで探しやすくした ・数百万のタスクを処理しつつ新し...
ロボット Google Research：2019年の振り返りと2020年以降に向けて(7/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(7/8)まとめ ・機械学習をロボットの制御に応用するために特に強化学習を使った研究が行われた ・世界モデルの学習やポリシーにランダム性を取り込む事、オープンソ...