基礎理論 Reformer：効率的なTransformer(2/2)
１．Reformer:効率的なTransformer(2/2)まとめ ・リバーシブルレイヤーは、レイヤーごとに2セットのアクティベーションを持つ事でメモリを節約 ・LSHとリバーシブルレイヤーによりReformerは16GBのメモリで最大1...
人工知能/機械学習
基礎理論 基礎理論 Reformer:効率的なTransformer(1/2)
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttenti...
AI関連その他 Google Research：2019年の振り返りと2020年以降に向けて(4/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(4/8)まとめ ・新たに開発した54量子ビットプロセッサで量子超越性を達成し一万年かかる計算を200秒で実現 ・計算時に発生する量子エラーの訂正に焦点を当てて...
基礎理論 機械学習のトップマインドによる2020年のAI予測(3/3)
１．機械学習のトップマインドによる2020年のAI予測(3/3)まとめ ・ニューラルネットワークを訓練する際の計算は非常に無駄が多く根本的な再考が必要 ・AIの解釈可能性の向上にはニューラルシンボリックアプローチが有用とIBMは考えている ...
基礎理論 機械学習のトップマインドによる2020年のAI予測(1/3)
１．機械学習のトップマインドによる2020年のAI予測(1/3)まとめ ・AIは単純な精度よりもパフォーマンスに重きを置いて評価されるようになっていく可能性が高い ・機械学習フレームワークの覇権争いは収束し次の主戦場はアクセラレータや量子化...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(2/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(2/2)まとめ ・パラメータの因数分解と冗長性の排除を行う事でわずかなBERTよりパラメータを89%削減 ・パラメータサイズを削減した事により計算機資源に余裕が生まれ、モデルの規模を改めて...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(1/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難 ・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった ・...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(2/2)まとめ ・Recorderは音声を50ms単位で小さく分析し正確に音声イベントの開始時間と終了時間を特定している ・音声分類結果が目まぐるしく変わらないようにa...
学習手法 Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)
１．Recorder：Pixelスマートフォン用の検索可能な録音アプリ(1/2)まとめ ・録音音声をリアルタイムで書き起こしてタグ付けし、検索しやすくするPixel用アプリが公開 ・Recorderと名付けられたこのアプリはオンデバイスで動...
学習手法 機械学習モデルの分類外データの検出を改良(1/3)
１．機械学習モデルの分類外データの検出を改良(1/3)まとめ ・機械学習は学習時に想定されてなかった分類外データを入力に与えられると確信を持って間違う時がある ・これを避けるため「そのデータが分類外(out of distribution)...
モデル 肺癌を予測するための有望な一歩
１．肺癌を予測するための有望な一歩まとめ ・肺がんでは年間170万人以上が死亡しており、世界中で最も死亡人数が多い致命的ながんの一つ ・CTスクリーニングは死亡率を低下させるが診断が難しく経済的コストにつながる等の課題がある ・この現状を改...
公平性 Fairness Indicator：公正な機械学習を構築するためのツール(3/3)
１．Fairness Indicator：公正な機械学習を構築するためのツール(3/3)まとめ ・Fairness IndicatorsはTensorFlow関連のツールを使っていると簡単に呼び出す事が出来る ・TensorFlow関連のツ...