モデル ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)
１．ALIGN：ノイズの多い文章を教師に使って視覚と言語で共通する特徴表現を学習(2/3)まとめ ・ALIGNは微調整なしでテキストを使った画像検索や画像とテキストを同時に使った検索を実現 ・微調整を行うとALIGNはBiTやViTなどのほ...
text encoding
モデル 
アプリケーション YouTuber向けのSmartReply機能が実装(1/2)
１．YouTuber向けのSmartReply機能が実装(1/2)まとめ ・Gmailで自動的に返信案を作ってくれるSmartReplyがYoutubeのコメント欄で利用可能に ・現在は英語とスペイン語のコメント用だが複数言語対応用の基盤は...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(2/2)まとめ ・ELECTRAを他のNLPモデルと比較すると同じ計算量であれば従来の方法よりも大幅にスコアが改善した ・単一GPUで4日間で学習可能でELECTRA-smallは...