学習手法 LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)
１．LaserTagger：制御可能で効率的な文章生成アプローチ(2/2)まとめ ・従来のseq2seqを使ったモデルと比較してLaserTaggerには３つの利点がある ・制御可能で幻覚の影響を受けにくい事、最大100倍の速度で予測を実行...
人工知能/機械学習
学習手法 
学習手法 Meena：どんな会話にも対応できるチャットボット(2/3)
１．Meena：どんな会話にも対応できるチャットボット(2/3)まとめ ・MeenaはOpenAI GPT-2と比較してモデル容量が1.7倍で8.5倍以上多いデータでトレーニングされている ・チャットボットの品質を評価する従来の評価基準はバ...
基礎理論 Reformer：効率的なTransformer(2/2)
１．Reformer:効率的なTransformer(2/2)まとめ ・リバーシブルレイヤーは、レイヤーごとに2セットのアクティベーションを持つ事でメモリを節約 ・LSHとリバーシブルレイヤーによりReformerは16GBのメモリで最大1...
基礎理論 Reformer:効率的なTransformer(1/2)
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttenti...
AI関連その他 Google Research：2019年の振り返りと2020年以降に向けて(4/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(4/8)まとめ ・新たに開発した54量子ビットプロセッサで量子超越性を達成し一万年かかる計算を200秒で実現 ・計算時に発生する量子エラーの訂正に焦点を当てて...
基礎理論 機械学習のトップマインドによる2020年のAI予測(3/3)
１．機械学習のトップマインドによる2020年のAI予測(3/3)まとめ ・ニューラルネットワークを訓練する際の計算は非常に無駄が多く根本的な再考が必要 ・AIの解釈可能性の向上にはニューラルシンボリックアプローチが有用とIBMは考えている ...
基礎理論 機械学習のトップマインドによる2020年のAI予測(1/3)
１．機械学習のトップマインドによる2020年のAI予測(1/3)まとめ ・AIは単純な精度よりもパフォーマンスに重きを置いて評価されるようになっていく可能性が高い ・機械学習フレームワークの覇権争いは収束し次の主戦場はアクセラレータや量子化...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(2/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(2/2)まとめ ・パラメータの因数分解と冗長性の排除を行う事でわずかなBERTよりパラメータを89%削減 ・パラメータサイズを削減した事により計算機資源に余裕が生まれ、モデルの規模を改めて...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(1/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難 ・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった ・...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)まとめ ・Recorderは音声を50ms単位で小さく分析し正確に音声イベントの開始時間と終了時間を特定している ・音声分類結果が目まぐるしく変わらないようにa...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)まとめ ・録音音声をリアルタイムで書き起こしてタグ付けし、検索しやすくするPixel用アプリが公開 ・Recorderと名付けられたこのアプリはオンデバイスで動...
学習手法 機械学習モデルの分類外データの検出を改良(1/3)
１．機械学習モデルの分類外データの検出を改良(1/3)まとめ ・機械学習は学習時に想定されてなかった分類外データを入力に与えられると確信を持って間違う時がある ・これを避けるため「そのデータが分類外(out of distribution)...