基礎理論 集積カプセルオートエンコーダー(4/6)
１．集積カプセルオートエンコーダー(4/6)まとめ ・カプセルアクティベーションを取得する手順は二段階にわけてPCAEとOCAEで行われる ・PCAE、パーツカプセルオートエンコーダーはパーツを検出してそれらを画像に再結合する ・OCAE、...
transformer
基礎理論 モデル 集積カプセルオートエンコーダー(3/6)
１．集積カプセルオートエンコーダー(3/6)まとめ ・オブジェクトカプセルは、様々な種類のオブジェクトに特化して学習できる事がわかった ・MNISTとSVHNを対象にしたカプセルオブジェクトをクラスタ化すると最先端の結果が得られた ・より表...
モデル 集積カプセルオートエンコーダー(2/6)
１．集積カプセルオートエンコーダー(2/6)まとめ ・カプセルネットワークは、画像からパーツとパーツのポーズを推測する ・次にパーツとポーズを使用してオブジェクトについて推論する事が出来る ・カプセルネットワークの手法は人間の知覚と似ている...
学習手法 集積カプセルオートエンコーダー(1/6)
１．集積カプセルオートエンコーダー(1/6)まとめ ・脳が備えている自己教師と帰納的バイアスのお蔭で人間が効率的な学習が可能になっている可能性がある ・この直感によって教師なしバージョンのカプセルネットワークが新たに開発された ・カプセルネ...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(2/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(2/2)まとめ ・Evolved Transformerがオリジナルと比較してパフォーマンスが最も向上するのは小さいパラメータサイズ ・Evolv...
学習手法 Evolved Transformer:AutoMLにより進化したTransformer(1/2)
１．Evolved Transformer:AutoMLにより進化したTransformer(1/2)まとめ ・Transformerは機械翻訳など連続したデータを扱う領域において優れた成果を上げている手動設計モデル ・コンピュータ画像を扱...
インフラ GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)
１．GPipe：大規模ニューラルネットワークを効率的に訓練するオープンソースライブラリ(2/3)まとめ ・GPipeを使うとCloud TPUv2で利用可能なパラメータを8200万から3億1800万に増やす事ができる ・TPUv3ではアクセ...
入門／解説 GPT-2が自動生成したその他の文章(1/3)
１．GPT-2が自動生成したその他の文章(1/3)まとめ ・GPT-2が出力したユニコーン以外の文章の紹介 ・プレスリリース、ニュース、芸能ニュース、の3種類 ・部署名等は実在の名称を入れてくるので流し読みしていると読めてしまう ２．GPT...
学習手法 AlphaStar：StarCraftIIでプロプレーヤーに勝った人工知能(2/3)
１．AlphaStar：StarCraftIIでプロプレーヤーに勝った人工知能(2/3)まとめ ・AlphaStarは単一の人工知能ではなく人工知能同士のリーグ戦を勝ちぬいた５選手から構成されていた ・当初は人間のリプレイから学習し次段階で...
基礎理論 Transformer-XL：Attentionモデルの可能性を解き放つ
１．Transformer-XL：Attentionモデルの可能性を解き放つまとめ ・固定長の制限があったTransformerを大幅に改良するTransformer-XLの登場 ・「セグメントレベルの再帰」と「相対位置符号化」によりブレー...
入門／解説 2018年の機械学習とAIの主な進歩と2019年の主な傾向(2/2)
１．2018年の機械学習とAIの主な進歩と2019年の主な傾向(2/2)まとめ ・ELMoやBERTなどの自然言語処理分野におけるトランスファーラーニングの成功 ・プライバシー問題やAIのディストピアに繋がる利用が注目を集めた事 ・オンライ...
学習手法 遂に機械は文脈を理解し始めました(1/2)
１．遂に機械は文脈を理解し始めました(1/2)まとめ ・人間同様に文章から自然言語の構造を学び応用できるAIが出現 ・一般常識や文書から感情を読み取る必要があるような作業にも対応できる ・学習用データではなく文章をそのまま学習し様々な作業に...