入門／解説 Seq2act：機械学習でスマホ操作を人間の代わりに実行する(2/2)
１．Seq2act：機械学習でスマホ操作を人間の代わりに実行する(2/2)まとめ ・モデルをトレーニング、および評価するための3つの新しいデータセットを構築して公開 ・「アクションフレーズの抽出」と「言語の割り当て」に分解してモデルパフォー...
natural language processing
入門／解説 入門／解説 Seq2act：機械学習でスマホ操作を人間の代わりに実行する(1/2)
１．Seq2act：機械学習でスマホ操作を人間の代わりに実行する(1/2)まとめ ・スマートフォンの機能の多くはユーザーが簡単に発見したり使いこなす事ができず不便 ・自然言語で書かれた操作指示を端末操作に変換し自動で端末を操作してくれるAI...
その他の調査 ACL 2020におけるGoogleの存在感
１．ACL 2020におけるGoogleの存在感まとめ ・7/5 - 7/10の間にインターネット上のヴァーチャルイベントとしてACL 2020が開催 ・Google社員も多数参加し30近くの出版物の公開やワークショップを開催 ・本サイトで...
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ ・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった ・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなるか疑...
入門／解説 TAPAS：ニューラルネットワークを使って表形式データから自動で答えを抽出
１．TAPAS：ニューラルネットワークを使って表形式データから自動で答えを抽出まとめ ・TAPASはBERTを拡張し、質問に対する回答を表形式データから直接抽出する新モデル ・質問と表形式のデータ構造を一緒にエンコードするアプローチによりこ...
入門／解説 組成の一般化能力の測定(1/3)
１．組成の一般化能力の測定(1/3)まとめ ・人間は新しい単語の意味を学習し、それを他の文脈に適用することができる ・機械学習ではこのスキルは「組成の一般化(compositional generalization)」と呼ぶ ・しかし「組成...
入門／解説 T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)
１．T5:Text-To-Text Transfer Transformerと転移学習の探索(3/3)まとめ ・T5はクローズドブック質問回答タスクで驚くほど優れており、人間がかなわない程の性能を見せる ・またGPT-2のように人間が読んで...
入門／解説 TyDi QA：多言語対応した質問回答ベンチマーク(1/2)
１．TyDi QA：多言語対応した質問回答ベンチマーク(1/2)まとめ ・日本語を含む11種類の多様な言語を網羅する質問回答用のデータセットであるTyDi QAが公開 ・TyDi QAは共通点の少ない言語を集めたため多様な言語に多様な対応可...
学習手法 LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)まとめ ・従来のseq2seqを使ったモデルと比較してLaserTaggerには３つの利点がある ・制御可能で幻覚の影響を受けにくい事、最大100倍の速度で予測を実行...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(6/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(6/8)まとめ ・従来は分割して段階的に行った作業を大規模ニューラルネットワークで一気にやる事が主流になりつつある ・これらの研究結果はBERTの検索エンジン...
その他の調査 長文を読みあげる合成音声の品質を評価する(2/2)
１．長文を読みあげる合成音声の品質を評価する(2/2)まとめ ・複数の文が含まれる長文を評価する事は人間の音声を評価対象にしても評価がぶれる ・長文を読みあげる合成音声の評価は簡単ではなく、人間の行動真理などが関係している可能性がある ・段...
入門／解説 長文を読みあげる合成音声の品質を評価する(1/2)
１．長文を読みあげる合成音声の品質を評価する(1/2)まとめ ・合成音声の品質評価は従来１文ごとに行われており、文脈の中で評価する統一基準は存在しない ・しかし評価対象の文を長い文章の一部として評価すると従来と来なる評価基準が採用されている...