データセット Crisscrossed Captions：画像とテキストの意味的類似性の探求(2/3)
１．Crisscrossed Captions：画像とテキストの意味的類似性の探求(2/3)まとめ ・類似性が高いと予想される新しいペアを抽出し、そのペアを人が評価する事にした ・キャプションの類似性が高い画像同士は類似性が高い可能性がある...
universal sentence encoder
データセット 
モデル LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)まとめ ・Tatoebaに登録されている言語を使った検証では主要14言語では他の手法と大きな差はなかった ・全112言語を含めてテストを行った場合、従来手法に20%近...
基礎理論 LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)まとめ ・多言語アプローチは有用ではあるがパフォーマンスを維持しながら対応言語を増やすのは困難 ・LaBSEは109の言語を使って訓練したBERT仕様で多言語共通なe...
その他の調査 ACL 2020におけるGoogleの存在感
１．ACL 2020におけるGoogleの存在感まとめ ・7/5 - 7/10の間にインターネット上のヴァーチャルイベントとしてACL 2020が開催 ・Google社員も多数参加し30近くの出版物の公開やワークショップを開催 ・本サイトで...
入門／解説 Google Research：2019年の振り返りと2020年以降に向けて(6/8)
１．Google Research：2019年の振り返りと2020年以降に向けて(6/8)まとめ ・従来は分割して段階的に行った作業を大規模ニューラルネットワークで一気にやる事が主流になりつつある ・これらの研究結果はBERTの検索エンジン...
入門／解説 Google at ACL 2019
１．Google at ACL 2019まとめ ・イタリアのフィレンツェでは、自然言語理解に関する研究の第一級の会議であるACL2019が開催 ・ダイヤモンドスポンサー且つGoogle社員が関わった論文33、Workshops6、Tutor...
入門／解説 多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(2/2)
１．多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(2/2)まとめ ・USE-QAモジュールにより質問回答検索アプリケーションも実装可能 ・「香り(fragrance)」と「匂い(smell)」など単語間の意味的類似性も捕捉 ...
入門／解説 多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(1/2)
１．多言語化対応したユニバーサルセンテンスエンコーダーで意味検索(1/2)まとめ ・USEは文章を特徴表現ベクトルに変換する汎用の文章embedding化モデル ・この度、多言語化対応と機能追加した３つのモジュールがリリース ・多言語化され...
入門／解説 文章を意味から判断するセマンティック技術の紹介
１．文章を意味から判断するセマンティック技術の紹介まとめ ・単語出現頻度ではなく意味から文章を分類するセマンティックな技術が注目を集めている ・ユニバーサルセンテンスエンコーダーを使うと容易にセマンティックな分類が可能 ・現時点ではユニバー...