自己教師│WebBigData

T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)

AI

2020.02.28
転移学習, ベンチマーク, BERT, dataset, transformer, nlp, 自己教師, elmo, mt-dnn

１．T5:Text-To-Text Transfer Transformerと転移学習の探索(1/3)まとめ・転移学習を用いたNLP関連技術の進歩が速すぎて何が効果的なのか評価することが困難になった・最も効果的な転移学習手法を調べ、得た洞察を元にT5と呼ばれる新しいモデルを開発・T5は多くのNLPベンチマークで最先端の結果を達成し、様々な下流タスクに微調整可能２．T5とは？以下、ai.g […]

Google Research：2019年の振り返りと2020年以降に向けて(7/8)

AI

2020.01.19
ロボット, 強化学習, モバイル, AI for Social Good, ベンチマーク, TPU, クラウド, 視覚, neurips, gan, transformer, 自己教師, federated learning, mediapipe, jeff dean

１．Google Research：2019年の振り返りと2020年以降に向けて(7/8)まとめ・機械学習をロボットの制御に応用するために特に強化学習を使った研究が行われた・世界モデルの学習やポリシーにランダム性を取り込む事、オープンソースなハードなど・TensorFlowは2.0がリリースされコンパイラ等の周辺ツールも続々改良されている２．ロボット制御とコミュニティへの支援以下、ai. […]

人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)

AI

2020.01.10
ロボット, 強化学習, 物理学, BERT, エッジ, 視覚, neurips, gan, transformer, openAI, nlp, 自己教師, gpt-2

１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)まとめ・AIが現実世界で益々使われるようになり拡張現実を組み合わせることで顧客体験が変わっていく可能性・2020年も言語モデルの分野で目覚ましい進歩が見られチューリングテストの合格に近づく可能性・ディープラーニングの表面的な活用だけでなく新しいアルゴリズム開発が科学分野で行われる可能性２．研究 […]

機械学習のトップマインドによる2020年のAI予測(2/3)

AI

2020.01.07
ロボット, 強化学習, BERT, neurips, gan, transformer, nlp, 自己教師, federated learning, jeff dean, 気候変動, elmo, mt-dnn

１．機械学習のトップマインドによる2020年のAI予測(2/3)まとめ・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測・顔認識AIなど個人のプライバシーに関する倫理的問題が表面化する可能性もある２．大規模モデルと自己教師学習の追求以下、venturebeat.comより「Top minds in ma […]

ALBERT:軽量化と冗長性排除をしたBERT(1/2)

AI

2019.12.29
ベンチマーク, BERT, transformer, nlp, 自己教師

１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった・パラメーターの因数分解と冗長性の排除でALBERTはわずかな性能劣化でほぼBERT同等の性能を達成２．ALBERTとは？以下、ai.googleblog.c […]