入門／解説 Google at ACL 2019
１．Google at ACL 2019まとめ ・イタリアのフィレンツェでは、自然言語理解に関する研究の第一級の会議であるACL2019が開催 ・ダイヤモンドスポンサー且つGoogle社員が関わった論文33、Workshops6、Tutor...
natural language processing
入門／解説 入門／解説 多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(2/2)
１．多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(2/2)まとめ ・USE-QAモジュールにより質問回答検索アプリケーションも実装可能 ・「香り(fragrance)」と「匂い(smell)」など単語間の意味的類似性も捕捉 ...
入門／解説 Google Faculty Research Awards 2018
１．Google Faculty Research Awards 2018まとめ ・Google Faculty Researchの助成対象研究が決定 ・40カ国と320以上の大学から910の提案があり158のプロジェクトが採用された ・次...
入門／解説 GPT-2が自動生成したその他の文章(3/3)
１．GPT-2が自動生成したその他の文章(3/3)まとめ ・GPT-2が自動作成した事実を強引に捻じ曲げる文章とフェイクニュースの２つの紹介 ・どちらも25回の試行を行っているためGPT-2的には作りにくい文章だったかもしれないが出来が良い...
入門／解説 GPT-2：より良い言語モデルとそれが暗示する事(1/3)
１．GPT-2：より良い言語モデルとそれが暗示する事(1/3)まとめ ・アンデス山脈の辺境の谷間にかなり普通の英語を話すユニコーンの群れが生息している事が判明 ・彼らの起源はまだはっきりしていないが人間が文明化する前にユニコーンと出会った時...
基礎理論 Transformer-XL：Attentionモデルの可能性を解き放つ
１．Transformer-XL：Attentionモデルの可能性を解き放つまとめ ・固定長の制限があったTransformerを大幅に改良するTransformer-XLの登場 ・「セグメントレベルの再帰」と「相対位置符号化」によりブレー...
入門／解説 2018年の機械学習とAIの主な進歩と2019年の主な傾向(2/2)
１．2018年の機械学習とAIの主な進歩と2019年の主な傾向(2/2)まとめ ・ELMoやBERTなどの自然言語処理分野におけるトランスファーラーニングの成功 ・プライバシー問題やAIのディストピアに繋がる利用が注目を集めた事 ・オンライ...
入門／解説 2018年の機械学習とAIの主な進歩と2019年の主な傾向(1/2)
１．2018年の機械学習とAIの主な進歩と2019年の主な傾向(1/2)まとめ ・様々な立場の専門家による人工知能と機械学習分野の振り返りと展望 ・ディープラーニングの進歩、機械学習の限界、自然言語処理手法の変化 ・大きな技術的進歩はなかっ...
入門／解説 遂に機械は文脈を理解し始めました(2/2)
１．遂に機械は文脈を理解し始めました(2/2)まとめ ・Bertは人間同等な読解力を得たわけではないが新しい研究の方向性を示した ・自然言語に関する研究は壁にぶつかっていたので研究者達は興奮している ・ゴールはまだ遠いが爆発的な進歩に繋がる...
学習手法 遂に機械は文脈を理解し始めました(1/2)
１．遂に機械は文脈を理解し始めました(1/2)まとめ ・人間同様に文章から自然言語の構造を学び応用できるAIが出現 ・一般常識や文書から感情を読み取る必要があるような作業にも対応できる ・学習用データではなく文章をそのまま学習し様々な作業に...
AI関連その他 何が機械学習のキラーアプリケーションと成り得るか？
１．何が機械学習のキラーアプリケーションと成り得るか？まとめ ・機械学習による画像認識や画像分類、音声認識は非可逆的な圧縮処理と見なせる ・計算機資源が十分でないために実現はまだできていないが圧縮は大きな可能性がある ・圧縮はお金をかけるべ...
入門／解説 ActiveQA:強化学習を用いてQAシステムを教師無し学習で改良する試み
１．ActiveQA:強化学習を用いてQAシステムを教師無しで改良する試みまとめ ・ActiveQAはより良い回答を引き出すための質問方法を強化学習で学習するシステム ・ActiveQAは教師無し学習だが教師有り学習をしたQAシステムより高...