モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)まとめ ・NLPの事前トレーニングでは外科医とメスの関係などの概念間の相関関係も学習している ・概念間の相関関係は実タスクで性別の決めつけのようなバイアスをもたら...
BERT
モデル 
アプリケーション YouTubeストーリーで人の声だけ音量を上げる(1/2)
１．YouTubeストーリーで人の声だけ音量を上げる(1/2)まとめ ・バックグラウンドノイズが大きいビデオでは被写体のスピーチが曖昧になり理解しにくい ・Looking to Listenは音声と口の動きなどの視覚信号を使い特定の人の音声...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)まとめ ・pQRNNは前世代のモデルであるPRADOを更に改良したNLPモデルで３要素で構成 ・pQRNNは事前処理を一切行わず、テキスト入力だけから文脈表現を学習可...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)まとめ ・昨年発表したPRADOはパラメータ数が少なくとも最先端のパフォーマンスを実現した ・PRADOはタスクに最も関連するトークンのみを学習するためパラメータを少...
モデル PWIL：敵対的トレーニングに依存しない摸倣学習(2/2)
１．PWIL：敵対的トレーニングに依存しない摸倣学習(2/2)まとめ ・PWILは敵対的手法でないためエージェントとエキスパートを直接類似させる事が可能 ・最先端の摸倣学習は敵対的トレーニングに依存しているアルゴリズム的に不安定 ・PWIL...
学習手法 オフライン強化学習における未解決の課題への取り組み(3/3)
１．オフライン強化学習における未解決の課題への取り組み(3/3)まとめ ・オフラインRLを改善するためには履歴データにない行動を学習する必要がある ・既存手法は履歴データにない行動を過度に過大評価してしまう問題があった ・基本的に悲観的な予...
学習手法 オフライン強化学習における未解決の課題への取り組み(2/3)
１．オフライン強化学習における未解決の課題への取り組み(2/3)まとめ ・D4RLは現実的なアプリケーションを念頭に作られたベンチマークである事が特徴 ・タスクの目的と違う目的を実行した記録から学習する能力などが試される ・タスクと標準化さ...
入門／解説 オフライン強化学習における未解決の課題への取り組み(1/3)
１．オフライン強化学習における未解決の課題への取り組み(1/3)まとめ ・強化学習は医療など試行錯誤によるデータ収集が難しい現実世界には適用が難しい ・オフラインRLは実際に動かさなくても過去に収集されたデータを使って学習可能なため有望 ・...
モデル LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)まとめ ・Tatoebaに登録されている言語を使った検証では主要14言語では他の手法と大きな差はなかった ・全112言語を含めてテストを行った場合、従来手法に20%近...
基礎理論 LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(1/2)まとめ ・多言語アプローチは有用ではあるがパフォーマンスを維持しながら対応言語を増やすのは困難 ・LaBSEは109の言語を使って訓練したBERT仕様で多言語共通なe...
学習手法 REALM：言語特徴表現モデルに検索機能を持たせる(1/2)
１．REALM：言語特徴表現モデルに検索機能を持たせる(1/2)まとめ ・事前トレーニング済みモデルは世界に関する知識を事前トレーニングで取得する ・モデルの重みの中に抽象化された概念として取り込まれるため取り扱いが困難 ・REALMは学習...
入門／解説 RWRL：強化学習の課題に取り組むための一連のシミュレーション(2/2)
１．RWRL：強化学習の課題に取り組むための一連のシミュレーション(2/2)まとめ ・RWRLは現在のRLが抱える9つの異なる課題のうち8つに関連する実験を行う機能を提供 ・複数の課題と難易度レベルを組み合わせた環境でアルゴリズムをテストす...