モデル LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(2/2)
１．LiT：画像エンコーダを凍結してマルチモーダルな対象学習の性能を向上(2/2)まとめ ・転移学習は精度は高いがタスク毎に手間がかかり対照学習はその逆で性能面に難があった ・LiTは画像エンコーダの学習をロックする事でこの性能ギャップを半...
language understanding
モデル 
モデル GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)
１．GLaM:1.2兆のパラメータを持ち効率的に学習可能な大規模言語モデル(2/2)まとめ ・GLaMはゼロショットとワンショットで密モデルと比べて競争力のある結果を達成した ・多くのタスクで高いスコアを達成し、推論時も学習時も計算量が少な...
アプリケーション SSD：半教師あり蒸留を使ってGoogle検索を改善(2/2)
１．SSD：半教師あり蒸留を使ってGoogle検索を改善(2/2)まとめ ・Noisy Studentとknowledge distillationは似ているが後者はノイズを混入しない ・半教師あり蒸留は、生徒に蒸留する前に同等以上の規模の...
アプリケーション SSD：半教師あり蒸留を使ってGoogle検索を改善(1/2)
１．SSD：半教師あり蒸留を使ってGoogle検索を改善(1/2)まとめ ・以前の半教師あり学習はラベル有データが豊富な場合は完全教師あり学習と競合できなかった ・Noisy Studentは高データ体制でうまく機能する半教師あり学習でモデ...
入門／解説 ストリートビュー画像を道案内用AIの研究者に提供(1/3)
１．ストリートビュー画像を道案内用AIの研究者に提供(1/3)まとめ ・前方に進み線路そばの赤い消火栓の後で左折し3ブロック進む、などの指示はAIにとって難しい ・VLN(視覚と言語による案内)と、SDR(特定視点からの空間的記述の解決)が...
モデル BERTのGoogle検索エンジンへの実践投入
１．BERTのGoogle検索エンジンへの実践投入まとめ ・文脈を理解するAIとして昨年秋に話題になったBERTがGoogle検索に実践投入 ・従来より検索語の意図を理解する能力が高まり英語検索の10%程度が改善された ・改良された学習結果...
ビッグデータ PAWS：自然言語の言い換えの理解を促進する新しいデータセット(1/3)
１．PAWS：自然言語の言い換えの理解を促進する新しいデータセット(1/3)まとめ ・語順が変わっても意味が変わらないフレーズを言い換えペア、意味が変わるペアを非言い換えペアと言う ・言い換えペアと非言い換えペアの識別は最先端のモデルでも苦...
入門／解説 MeRL：強化学習でまばらで仕様が曖昧な報酬に対応(1/3)
１．MeRL：強化学習でまばらで仕様が曖昧な報酬に対応(1/3)まとめ ・強化学習はアクションに対するフィードバック(報酬)が重要 ・報酬が疎であったり報酬に繋がる行動が不明では学習が困難 ・特に仕様が不明確な報酬は予想外の行動に繋がる可能...
入門／解説 遂に機械は文脈を理解し始めました(2/2)
１．遂に機械は文脈を理解し始めました(2/2)まとめ ・Bertは人間同等な読解力を得たわけではないが新しい研究の方向性を示した ・自然言語に関する研究は壁にぶつかっていたので研究者達は興奮している ・ゴールはまだ遠いが爆発的な進歩に繋がる...