インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(1/3)まとめ ・最近のニューラルネットワークはTPUアクセラレータのメモリに収めるのが難しいくらい巨大化している ・しかし、性能とパラメータ数には強い...
BERT
インフラ 学習手法 MT-DNN：BERTを凌駕するMicrosoftの新しいNLPモデル
１．MT-DNN：BERTを凌駕するMicrosoftの新しいNLPモデルまとめ ・MT-DNNはマイクロソフトが発表した新しい自然言語処理モデルでBERTを上回るスコアを出した ・2015年に提案したモデルに基づいて構築されマルチタスク学...
入門／解説 FastText:テキストデータの特徴量抽出の実装(1/2)
１．FastText:テキストデータの特徴量抽出の実装(1/2)まとめ ・FastTextは2016年にFacebookによって最初に発表された素のWord2Vecモデルを拡張および改善したもの ・各単語をBag of Character ...
基礎理論 Transformer-XL：Attentionモデルの可能性を解き放つ
１．Transformer-XL：Attentionモデルの可能性を解き放つまとめ ・固定長の制限があったTransformerを大幅に改良するTransformer-XLの登場 ・「セグメントレベルの再帰」と「相対位置符号化」によりブレー...
入門／解説 Natural Questions:質問回答システムのための新しいコーパス
１．Natural Questions:質問回答システムのための新しいコーパスまとめ ・自然言語で表現された質問と回答のセットであるNatural Questionsが公開 ・長文を読むことによって回答を見つける事ができるかに焦点を当てたデ...
AI関連その他 2018年のGoogleの研究成果を振り返って(4/6)
１．2018年のGoogleの研究成果を振り返って(4/6)まとめ ・Googleの2018年のAI関連の研究や成果の振り返り ・AutoML、TPU、オープンソースソフトウェアとデータセット ・研究開発の結果から実際の製品として世に出たも...
入門／解説 2018年のGoogleの研究成果を振り返って(2/6)
１．2018年のGoogleの研究成果を振り返って(2/6)まとめ ・Googleの2018年のAI関連の研究や成果の振り返り ・量子コンピューターと自然言語理解と知覚について ・研究開発の結果から実際の製品として世に出たものまで幅広く紹介...
入門／解説 人工知能を創造するために生物の知能の仕組みを探求する試み(6/6)
１．人工知能を創造するために生物の知能の仕組みを探求する試み(6/6)まとめ ・スタンフォードでは「知性の出現に関する潜在的な法則」を解明するプロジェクトが立ち上がった ・そのために異なる分野を横断し、自由にアイデアを交換する新しい研究コミ...
入門／解説 2018年の機械学習とAIの主な進歩と2019年の主な傾向(2/2)
１．2018年の機械学習とAIの主な進歩と2019年の主な傾向(2/2)まとめ ・ELMoやBERTなどの自然言語処理分野におけるトランスファーラーニングの成功 ・プライバシー問題やAIのディストピアに繋がる利用が注目を集めた事 ・オンライ...
入門／解説 2018年の機械学習とAIの主な進歩と2019年の主な傾向(1/2)
１．2018年の機械学習とAIの主な進歩と2019年の主な傾向(1/2)まとめ ・様々な立場の専門家による人工知能と機械学習分野の振り返りと展望 ・ディープラーニングの進歩、機械学習の限界、自然言語処理手法の変化 ・大きな技術的進歩はなかっ...
その他の調査 予想外の事をしでかす人工知能の例
１．予想外の事をしでかす人工知能の例まとめ ・人工知能はルールや報酬を正しく設定しないと予想外の行動をとる事がある ・そういった予想外の行動の一覧をスプレッドシートで公開してくれている人がいる ・その予想外行動の中からわかりやすい事例を抜粋...
入門／解説 遂に機械は文脈を理解し始めました(2/2)
１．遂に機械は文脈を理解し始めました(2/2)まとめ ・Bertは人間同等な読解力を得たわけではないが新しい研究の方向性を示した ・自然言語に関する研究は壁にぶつかっていたので研究者達は興奮している ・ゴールはまだ遠いが爆発的な進歩に繋がる...