自己教師│WebBigData

人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)

AI

2020.01.10
ロボット, 強化学習, 物理学, BERT, エッジ, 視覚, neurips, gan, transformer, openAI, nlp, 自己教師, gpt-2

１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)まとめ・AIが現実世界で益々使われるようになり拡張現実を組み合わせることで顧客体験が変わっていく可能性・2020年も言語モデルの分野で目覚ましい進歩が見られチューリングテストの合格に近づく可能性・ディープラーニングの表面的な活用だけでなく新しいアルゴリズム開発が科学分野で行われる可能性２．研究 […]

機械学習のトップマインドによる2020年のAI予測(2/3)

AI

2020.01.07
ロボット, 強化学習, BERT, neurips, gan, transformer, nlp, 自己教師, federated learning, jeff dean, 気候変動, elmo, mt-dnn

１．機械学習のトップマインドによる2020年のAI予測(2/3)まとめ・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測・顔認識AIなど個人のプライバシーに関する倫理的問題が表面化する可能性もある２．大規模モデルと自己教師学習の追求以下、venturebeat.comより「Top minds in ma […]

ALBERT:軽量化と冗長性排除をしたBERT(1/2)

AI

2019.12.29
ベンチマーク, BERT, transformer, nlp, 自己教師

１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった・パラメーターの因数分解と冗長性の排除でALBERTはわずかな性能劣化でほぼBERT同等の性能を達成２．ALBERTとは？以下、ai.googleblog.c […]

SPICE：自己教師学習で音の高さを推定

AI

2019.11.23
自己教師学習, 脳, 音声, 自己教師

１．SPICE：自己教師学習で音の高さを推定まとめ・メロディーを認識するためには音の高さの変化、つまりピッチの変化を追跡する能力が必要・しかし音の高さをそのまま認識する絶対音感より相対的に認識する相対音感の方が人間の脳でも一般的・SPICEは自己教師学習で相対的なピッチの違いを学習し、最先端の教師付き学習に迫るスコアを出した２．SPICEとは？以下、ai.googleblog.comより […]

VTAB:視覚タスク用のベンチマーク(2/2)

AI

2019.11.15
自己教師学習, ベンチマーク, TPU, 視覚, gan, 自己教師, 半教師

１．VTAB:視覚タスク用のベンチマーク(2/2)まとめ・VTABによる評価では最高パフォーマンスを示した特徴表現学習アルゴリズムはS4L ・S4L(Self-Supervised Semi-Supervised Learning)は特に「構造」タスクのパフォーマンスを改善・「自然」タスク以外では優位性が小さいため普遍的な視覚特徴表現のためには更なる研究が必要２．VTABによる評価以下、a […]