モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
self-supervised learning
モデル 
入門／解説 対照学習で最良のビューを選択するための原則(1/2)
１．対照学習で最良のビューを選択するための原則(1/2)まとめ ・異なる角度から物体をみても、それが同じ物体である事を認識するのは機械にとって困難 ・これを実現する主な手法は対照学習と言いラベル付きデータを必要としない自己教師型 ・Info...
モデル 自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)まとめ ・同じ音声のembeddingは、別の音声のembeddingよりembedding空間内で近い場所に位置するはず ・これを利用しBERTと同様なデータ自体の構造にのみ依...
学習手法 自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ ・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク ・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否かを比...
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ ・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった ・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなるか疑...
学習手法 SimCLR:対照学習により自己教師学習の性能を向上
１．SimCLR:対照学習により自己教師学習の性能を向上 ・同じ画像同士の特徴量を最大化しつつ違う画像同士の特徴量を最小化する事を対照学習という ・SimCLRは自己教師および半教師でありながら対照学習により教師あり学習に迫るスコアを達成 ...
入門／解説 機械学習のトップマインドによる2020年のAI予測(2/3)
１．機械学習のトップマインドによる2020年のAI予測(2/3)まとめ ・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待 ・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測 ・顔認識AIなど個人のプライ...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(2/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(2/2)まとめ ・パラメータの因数分解と冗長性の排除を行う事でわずかなBERTよりパラメータを89%削減 ・パラメータサイズを削減した事により計算機資源に余裕が生まれ、モデルの規模を改めて...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(1/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難 ・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった ・...
モデル SPICE：自己教師学習で音の高さを推定
１．SPICE：自己教師学習で音の高さを推定まとめ ・メロディーを認識するためには音の高さの変化、つまりピッチの変化を追跡する能力が必要 ・しかし音の高さをそのまま認識する絶対音感より相対的に認識する相対音感の方が人間の脳でも一般的 ・SP...
入門／解説 VTAB:視覚タスク用のベンチマーク(2/2)
１．VTAB:視覚タスク用のベンチマーク(2/2)まとめ ・VTABによる評価では最高パフォーマンスを示した特徴表現学習アルゴリズムはS4L ・S4L(Self-Supervised Semi-Supervised Learning)は特に...
ロボット Form2Fit:物体の分解と組立てを行う事でロボットが組合わせの概念を学習(2/3)
１．Form2Fit:物体の分解と組立てを行う事でロボットが組合わせの概念を学習(2/3)まとめ ・Form2Fitは吸着、配置、マッチングの３つのネットワークにより構成される ・完成品を解体する事は組立より簡単であると言う洞察を元に分解デ...