入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(3/3)まとめ ・ビジネスにAIを採用させる事を成功するためにはビジネス固有のカスタムソリューションが必要 ・より複雑なデータサイエンスの問題には、特...
BERT
入門／解説 入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(2/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(2/3)まとめ ・高速なトレーニング手法の研究、使い勝手の良いハードウェアを用いた高速トレーニング ・より多くのデータと計算機資源を投入する事でより良...
入門／解説 人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)
１．人工知能とデータサイエンスの2019年の主な進展と2020年の予測research編(1/3)まとめ ・AIが現実世界で益々使われるようになり拡張現実を組み合わせることで顧客体験が変わっていく可能性 ・2020年も言語モデルの分野で目覚...
基礎理論 機械学習のトップマインドによる2020年のAI予測(3/3)
１．機械学習のトップマインドによる2020年のAI予測(3/3)まとめ ・ニューラルネットワークを訓練する際の計算は非常に無駄が多く根本的な再考が必要 ・AIの解釈可能性の向上にはニューラルシンボリックアプローチが有用とIBMは考えている ...
入門／解説 機械学習のトップマインドによる2020年のAI予測(2/3)
１．機械学習のトップマインドによる2020年のAI予測(2/3)まとめ ・Jeff Deanはマルチモーダル学習とマルチタスク学習の進歩を期待 ・Anandkumarは反復アルゴリズム、自己教師学習の進化を予測 ・顔認識AIなど個人のプライ...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(2/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(2/2)まとめ ・パラメータの因数分解と冗長性の排除を行う事でわずかなBERTよりパラメータを89%削減 ・パラメータサイズを削減した事により計算機資源に余裕が生まれ、モデルの規模を改めて...
基礎理論 ALBERT:軽量化と冗長性排除をしたBERT(1/2)
１．ALBERT:軽量化と冗長性排除をしたBERT(1/2)まとめ ・AIのNLPのパフォーマンスを向上させている主要な要因は複雑で特定は困難 ・ALBERTを設計していく中で得られた鍵は、モデルの容量をより効率的に割り当てる事であった ・...
その他の分野 Live Caption:オンデバイスで音声コンテンツに字幕を付与(2/2)
１．Live Caption:オンデバイスで音声コンテンツに字幕を付与(2/2)まとめ ・Live Captionを長時間駆動させる事を可能にするために様々な工夫が行われている ・例えばASR用のRNN-Tエンジンは電力消費が激しいので発話...
データセット SGD:スキーマガイド付き対話学習用データセット(1/2)
１．SGD:スキーマガイド付き対話学習用データセット(1/2)まとめ ・バーチャルアシスタントの保守運用や機能追加の難しさは適切なデータセットがない事が一因 ・Schema-Guided Dialogueデータセット(SGD)はこの問題に対...
モデル Cloud TPU v3 PodsがAI学習にかかる時間を競うコンペで最速記録を達成
１．Cloud TPU v3 PodsがAI学習にかかる時間を競うコンペで最速記録を達成まとめ ・Cloud TPU v3 Podsが機械学習モデルの学習時間を測るベンチマークであるMLPerfで最速記録を達成 ・オンプレミスが主体のNVI...
モデル BERTのGoogle検索エンジンへの実践投入
１．BERTのGoogle検索エンジンへの実践投入まとめ ・文脈を理解するAIとして昨年秋に話題になったBERTがGoogle検索に実践投入 ・従来より検索語の意図を理解する能力が高まり英語検索の10%程度が改善された ・改良された学習結果...
入門／解説 敵対的サンプルはバグではなく人間には知覚できない高度な特徴(4/5)
１．敵対的サンプルはバグではなく人間には知覚できない高度な特徴(4/5)まとめ ・最近の研究は敵対的サンプルは、分類に関係のない特徴を活用していると言う世界観を支持している ・しかし、今回の研究結果は分類に関係のない特徴を活用していると言う...