transformer

Google Research：2019年の振り返りと2020年以降に向けて(6/9)

AI

• 2020.01.18
• 強化学習, AI for Social Good, BERT, 視覚, 音声, transformer, federated learning, video, jeff dean, universal sentence encoder

１．Google Research：2019年の振り返りと2020年以降に向けて(6/9)まとめ ・従来は分割して段階的に行った作業を大規模ニューラルネットワークで一気にやる事が主流になりつつある ・これらの研究結果はBERTの検索エンジンへの投入を初め実世界で使われるようになってきている ・機械による知覚は静止画像から動画やライブ性、意味や複雑な状況の把握などに対象が移ってきている ２．自然言語 […]

続きを読む

Google Research：2019年の振り返りと2020年以降に向けて(5/9)

AI

• 2020.01.17
• 強化学習, モバイル, AI for Social Good, 脳, TPU, 音声, transformer, efficientnet, automl, federated learning, video, gpipe, jeff dean, disentangled representation

１．Google Research：2019年の振り返りと2020年以降に向けて(5/9)まとめ ・2019年はニューラルネットワークのトレーニングにどのような力学が働くのか特性を理解を目指した ・AutoMLの研究も継続し、既存モデルの改良や特定ハードに特化したモデルなど様々な改良を実施 ・表形式データの取り扱いに特化したAutoML Tablesはデータサイエンティストのコンペで好成績収めた […]

続きを読む

人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)

AI

• 2020.01.10
• ロボット, 強化学習, 物理学, BERT, エッジ, 視覚, neurips, gan, transformer, openAI, nlp, 自己教師, gpt-2

１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)まとめ ・AIが現実世界で益々使われるようになり拡張現実を組み合わせることで顧客体験が変わっていく可能性 ・2020年も言語モデルの分野で目覚ましい進歩が見られチューリングテストの合格に近づく可能性 ・ディープラーニングの表面的な活用だけでなく新しいアルゴリズム開発が科学分野で行われる可能性 ２．研究 […]

続きを読む

機械学習のトップマインドによる2020年のAI予測(3/3)

AI

• 2020.01.08
• 公平性, BERT, 視覚, 音声, neurips, transformer, 半教師

１．機械学習のトップマインドによる2020年のAI予測(3/3)まとめ ・ニューラルネットワークを訓練する際の計算は非常に無駄が多く根本的な再考が必要 ・AIの解釈可能性の向上にはニューラルシンボリックアプローチが有用とIBMは考えている ・顔認識技術以外にも音声認識など様々な生体認証技術の精度向上はまだあまり認知されていない ２．ニューラルシンボリックアプローチ 以下、venturebeat.c […]

続きを読む

機械学習のトップマインドによる2020年のAI予測(2/3)

AI

• 2020.01.07
• ロボット, 強化学習, BERT, neurips, gan, transformer, nlp, 自己教師, federated learning, jeff dean, 気候変動, elmo, mt-dnn

１．機械学習のトップマインドによる2020年のAI予測(2/3)まとめ ・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待 ・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測 ・顔認識AIなど個人のプライバシーに関する倫理的問題が表面化する可能性もある ２．大規模モデルと自己教師学習の追求 以下、venturebeat.comより「Top minds in ma […]

続きを読む