学習手法 Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2)
１．Teaching BERT to Wait:「え～」や「あ～」を識別して言語モデルのパフォーマンスを向上(1/2) ・インタビューなどの自然なスピーチは文章にすると流暢でない箇所があり読みにくい ・機械学習を使って話し言葉中の非流暢な箇...
machine learning
学習手法 
学会 CVPR 2022におけるGoogleの存在感
１．CVPR 2022におけるGoogleの存在感まとめ ・6/19 - 6/23の間、ロサンゼルスのニューオーリンズと仮想空間でCVPR 2022が開催 ・Google社員も多数参加し80を超える受理された出版物や多数のワークショップを開...
モデル MV-GPT：動画に説明文を自動で付与するための新手法(2/2)
１．MV-GPT：動画に説明文を自動で付与するための新手法(2/2)まとめ ・MV-GPTはマルチモーダル事前キャプションで従来モデルを大きく上回る事を実証した ・MV-GPTはVideoQA、テキスト-ビデオ検索、行動分類など、ビデオ理解...
モデル MV-GPT：動画に説明文を自動で付与するための新手法(1/2)
１．MV-GPT：動画に説明文を自動で付与するための新手法(1/2)まとめ ・マルチモーダルビデオキャプションは動画に説明文(キャプション)を生成するタスク ・根拠に基づいてキャプションを生成する必要があり動画理解タスクより困難なタスク ・...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(2/2)まとめ ・RR-with-priorは事前確率を使う事で予測の精度を大幅に増加させる ・経験的実験でもLabelDPがモデルの実用性を大幅に向上させる事...
プライバシー LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)
１．LabelDP：秘匿対象をラベルに限定する事で差分プライバシーの精度を向上(1/2)まとめ ・米国国勢調査も採用している差分プライバシーは製品を実世界に展開する際に良く使われる ・差分プライバシーを使うとシステムがプライバシーをどの程度...
アプリケーション Googleアシスタントが文脈を意識できる理由(1/2)
１．Googleアシスタントが文脈を意識できる理由(1/2)まとめ ・人は会話時に文脈を意識して効率的な会話を行っているが機械が文脈を意識する事は困難 ・Googleアシスタントは以前の問い合わせや回答で定義された文脈を参照する事が可能 ・...
学習手法 GraphWorld：グラフニューラルネットワーク用データセットを自動生成(1/2)
１．GraphWorld：グラフニューラルネットワーク用データセットを自動生成(1/2)まとめ ・グラフニューラルネットワークは人気が高まっているがベンチマークセットは多くない ・グラフは相互接続性や接続の偏りなどで様々な形を持つが既存ベン...
学習手法 FormNet：書式に基づいた文書理解を実現(2/2)
１．FormNet：書式に基づいた文書理解を実現(2/2)まとめ ・FormNetは多くの代替案に欠けている数学的正しさを備えていると見なせる ・新しいRichAtt機構とスーパートークンにより優れたフォーム理解能力を発揮可能 ・FormN...
学習手法 L2P：継続学習にプロンプトを導入してコンパクトな記憶を実現(2/2)
１．L2P：継続学習にプロンプトを導入してコンパクトな記憶を実現(2/2)まとめ ・L2PはリハーサルバッファやタスクIDが既知でなくとも高い性能を出す事ができる ・タスクに依存しない設定など、様々な複雑な継続的学習シナリオを扱う事も可能 ...
学習手法 L2P：継続学習にプロンプトを導入してコンパクトな記憶を実現(1/2)
１．L2P：継続学習にプロンプトを導入してコンパクトな記憶を実現(1/2)まとめ ・継続学習はデータ分布が変化する状況で単一のモデルを学習する手法で破局的忘却がネック ・従来手法は過去データをリハーサルバッファに格納して現在のデータと混ぜて...
学習手法 PRIME：過去のシミュレーションログ使ってアクセラレータを新規に設計(3/3)
１．PRIME：のシミュレーションログ使ってアクセラレータを新規に設計(3/3)まとめ ・PRIMEは複数アプリケーション対応とゼロショット対応の２つの目的で設計されている ・一部モデルではシミュレータ駆動型の方が待ち時間が短いがPRIME...