その他の調査 ACL 2020におけるGoogleの存在感
１．ACL 2020におけるGoogleの存在感まとめ ・7/5 - 7/10の間にインターネット上のヴァーチャルイベントとしてACL 2020が開催 ・Google社員も多数参加し30近くの出版物の公開やワークショップを開催 ・本サイトで...
BERT
その他の調査 
アプリケーション YouTuber向けのSmartReply機能が実装(1/2)
１．YouTuber向けのSmartReply機能が実装(1/2)まとめ ・Gmailで自動的に返信案を作ってくれるSmartReplyがYoutubeのコメント欄で利用可能に ・現在は英語とスペイン語のコメント用だが複数言語対応用の基盤は...
入門／解説 効率的な質問回答システムにおける課題とワークショップの開催
１．効率的な質問回答システムにおける課題とワークショップの開催まとめ ・従来の質問回答システムは「知識」をドキュメント、またはナレッジグラフから取得して回答していた ・しかし直近の大規模システムはナレッジグラフや文章を参照せず直接回答をする...
モデル 自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(2/2)まとめ ・同じ音声のembeddingは、別の音声のembeddingよりembedding空間内で近い場所に位置するはず ・これを利用しBERTと同様なデータ自体の構造にのみ依...
学習手法 自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)
１．自己教師学習で音声特徴表現と個人専用モデルを改善(1/2)まとめ ・非セマンティックタスクとは、声の調子など、人間の音声の「意味以外の側面」に焦点を当てたタスク ・従来のベンチマークでは非セマンティックタスク用の特徴表現が有用か否かを比...
学習手法 定型書式から必要な情報を自動で抽出(2/2)
１．定型書式から必要な情報を自動で抽出(2/2)まとめ ・モデルはほとんどの項目でうまく機能したがdelivery_date(配達日)には改善の余地があった ・これは今回使用した学習データにはdelivery_dateが余り含まれていなかっ...
入門／解説 PEGASUS：文章要約を行う最先端の人工知能(1/3)
１．PEGASUS：文章要約を行う最先端の人工知能(1/3)まとめ ・従来の自然言語の事前トレーニングは様々な下流タスクに流用できるように汎用的な目的だった ・事前トレーニングを最終的に実行するタスクに近づけたらパフォーマンスがどうなるか疑...
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(3/3)
１．BLEURT:人工知能が生成した文章の品質を評価(3/3)まとめ ・BLEURTは、何百万もの合成文章ペアを使用してモデルを「ウォームアップ」して品質を向上した ・既存の評価手法と比較するとBLEURTは最も良く人間による品質評価と相関...
入門／解説 BLEURT:人工知能が生成した文章の品質を評価(2/3)
１．BLEURT:人工知能が生成した文章の品質を評価(2/3)まとめ ・BLEURTは単語の重複度合に関わらず文章間の意味的類似性を捕捉できる新しい自動評価基準 ・内部的にはBERTの「文脈を意識した単語表現(contextual word...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)まとめ ・BERTと同様にBiTも事前トレーニング済みのモデルを下流タスク用データで微調整をして転移学習する ・事前トレーニングで使用する画像の量と...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(1/3)まとめ ・視覚タスクにおけるラベル付きデータの欠如を軽減する一般的なアプローチは事前学習 ・事前学習は実際にかなりうまく機能するが非常に大規模データ...
入門／解説 Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)まとめ ・ディープラーニングのパフォーマンスは多くの場合、手動でラベル付けした大量の学習用データに依存 ・より少ないデータから学習する手法に関心が集...