学習手法 BERT:自然言語処理のための最先端の事前トレーニング
１．BERT:自然言語処理のための最先端の事前トレーニングまとめ ・自然言語処理は学習に使えるデータが少ない事が問題になっている ・言語構造を事前トレーニングさせる事によりデータ不足問題を大きく改善できる ・双方向型の事前トレーニングである...
transformer
学習手法 入門／解説 Conceptual Captions：自動収集された新しい画像データセット
１．Conceptual Captions：自動収集された新しい画像データセットまとめ ・人工知能を使ってネット上のIMGタグのALT属性からキャプションと画像を収取する試みが発表 ・Conceptual Captionsと名付けられたこの...
学習手法 Universal Transformerを用いて翻訳を超える
１．Universal Transformerを用いて翻訳を超えるまとめ ・機械翻訳で圧倒的な性能を示したTransformerをより汎用的にしたUniversal Transformerの解説 ・複数の解釈ができる曖昧な単語をより深く調べ...
入門／解説 2分で理解するAttention
１．2分で理解するAttentionまとめ ・Attentionは文章のような前後の並びが重要なデータを上手く扱う事ができる ・並列処理の実現や遠く離れた単語間の関連性を捉える事も可能 ・Transformerは画像、オーディオ、ビデオなど...
入門／解説 いいえ！人工知能は予言なんてしません
１．いいえ！人工知能は予言なんてしませんまとめ ・Google翻訳に意味のない入力をすると神の言葉を代弁し始めると話題に ・人工知能が意志を持ちはじめたとか人工知能脅威論を煽る人も ・宗教的な発言が出力される理由はマイナー言語では宗教的資料...
モデル クラウドTPUが新しい料金体系で新たな地域で利用可能に
１．クラウドTPUが新しい料金で新たな地域で利用可能にまとめ ・クラウドTPUの空き時間を活用するプリエンプティブ料金が新設 ・プリエンプティブ料金は通常利金より７０％安価 ・同時にアジア、ヨーロッパ地域でも利用可能に ２．クラウドTPUの...
入門／解説 文章を意味から判断するセマンティック技術の紹介
１．文章を意味から判断するセマンティック技術の紹介まとめ ・単語出現頻度ではなく意味から文章を分類するセマンティックな技術が注目を集めている ・ユニバーサルセンテンスエンコーダーを使うと容易にセマンティックな分類が可能 ・現時点ではユニバー...
インフラ Googleが開発する人工知能用演算装置TPUの第三世代
１．Googleが開発する人工知能用演算装置TPUの第三世代まとめ ・第二世代TPU Podsの8倍の性能を誇る第三世代TPU Podsが発表 ・第三世代TPU Podsは100petaFLOPSの性能を達成 ・第二世代TPU Podsは今...
入門／解説 GoogleのAI研究チームの2017年成果 新手法編
１．GoogleのAI研究チームの2017年成果 新手法編まとめ ・GoogleのAI研究チームが2017年のまとめとして投稿した記事から新手法をまとめ ・これらの単語を覚えておくと2018年の人工知能のトレンドにもかなりついていけるはず ...