基礎理論 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)まとめ ・標準的な視覚タスクベンチマークでBiT-Lを評価し少数セット設定でなくとも効果的である事が判明 ・タスク毎にハイパーパラメータを調整をせず...
基礎理論
基礎理論 
基礎理論 Reformer：効率的なTransformer(2/2)
１．Reformer:効率的なTransformer(2/2)まとめ ・リバーシブルレイヤーは、レイヤーごとに2セットのアクティベーションを持つ事でメモリを節約 ・LSHとリバーシブルレイヤーによりReformerは16GBのメモリで最大1...
基礎理論 Reformer:効率的なTransformer(1/2)
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttenti...
基礎理論 機械学習のトップマインドによる2020年のAI予測(3/3)
１．機械学習のトップマインドによる2020年のAI予測(3/3)まとめ ・ニューラルネットワークを訓練する際の計算は非常に無駄が多く根本的な再考が必要 ・AIの解釈可能性の向上にはニューラルシンボリックアプローチが有用とIBMは考えている ...
基礎理論 機械学習のトップマインドによる2020年のAI予測(1/3)
１．機械学習のトップマインドによる2020年のAI予測(1/3)まとめ ・AIは単純な精度よりもパフォーマンスに重きを置いて評価されるようになっていく可能性が高い ・機械学習フレームワークの覇権争いは収束し次の主戦場はアクセラレータや量子化...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(2/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(2/2)まとめ ・パラメータの因数分解と冗長性の排除を行う事でわずかなBERTよりパラメータを89%削減 ・パラメータサイズを削減した事により計算機資源に余裕が生まれ、モデルの規模を改めて...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(1/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難 ・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった ・...
基礎理論 Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(1/3)
１．Ihmehimmeli：スパイキングニューラルネットワークにおける時間的符号化(1/3)まとめ ・脳の仕組みは生物と同じ方法で情報を処理する効率的な人工ニューラルネットワークのヒントとなる ・しかし、情報の時間的符号化に繋がる可能性があ...
基礎理論 WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(3/3)
１．WANN:学習せずとも特定タスクを実行できるニューラルネットワークの探索(3/3)まとめ ・トレーニングしなくても画像情報からカーレースゲームをプレイするシンプルなWANNは発見済み ・ランダムな重みを使う事で同一モデルでアンサンブル学...
基礎理論 集積カプセルオートエンコーダー(4/6)
１．集積カプセルオートエンコーダー(4/6)まとめ ・カプセルアクティベーションを取得する手順は二段階にわけてPCAEとOCAEで行われる ・PCAE、パーツカプセルオートエンコーダーはパーツを検出してそれらを画像に再結合する ・OCAE、...
基礎理論 Transformer-XL：Attentionモデルの可能性を解き放つ
１．Transformer-XL：Attentionモデルの可能性を解き放つまとめ ・固定長の制限があったTransformerを大幅に改良するTransformer-XLの登場 ・「セグメントレベルの再帰」と「相対位置符号化」によりブレー...
基礎理論 学習データが少ない言語でテキスト読み上げシステムを作成
１．学習データが少ない言語でテキスト読み上げシステムを作成まとめ ・コーパス（言語資料）が少ないマイナー言語でTTSを作る研究についての最終報告 ・言語間で最大限に共有可能な音韻表現を設計し、それをベースに学習させた ・最終的には学習データ...