アプリケーション SSD：半教師あり蒸留を使ってGoogle検索を改善(1/2)
１．SSD：半教師あり蒸留を使ってGoogle検索を改善(1/2)まとめ ・以前の半教師あり学習はラベル有データが豊富な場合は完全教師あり学習と競合できなかった ・Noisy Studentは高データ体制でうまく機能する半教師あり学習でモデ...
人工知能/機械学習
アプリケーション 
学習手法 深層強化学習研究の計算コストの削減(2/2)
１．深層強化学習研究の計算コストの削減(2/2)まとめ ・従来の制御環境ではRainbowの論文と異なり分散RLは単体では性能向上に貢献しなかった ・Rainbowに採用された各アルゴリズムの貢献度は適用環境ごとに異なる可能性がある ・計算...
学習手法 深層強化学習研究の計算コストの削減(1/2)
１．深層強化学習研究の計算コストの削減(1/2)まとめ ・Rainbowは深層強化学習飛躍のきっかけとなったDQNに更に様々な改良を加えたアルゴリズム ・強化学習で論文掲載レベルの検証を行うためにはGCP換算で500万円の高いコストが必要 ...
アプリケーション Falken：摸倣学習を使用して複雑なゲームを効率的にデバッグ(2/2)
１．Falken：摸倣学習を使用して複雑なゲームを効率的にデバッグ(2/2)まとめ ・ゲーム開発者は使用するAPIの組み合わせからどのモデルを選択すべきかわかる ・FPS、TPS、レーシング、シューティングゲームなどで制御スキームをモデリン...
アプリケーション Falken：摸倣学習を使用して複雑なゲームを効率的にデバッグ(1/2)
１．Falken：摸倣学習を使用して複雑なゲームを効率的にデバッグ(1/2)まとめ ・機械学習はゲーム開発に大きな影響を与える可能性があるが実務に応用はまだ難しい ・ゲーム開発者がゲームテストエージェントを迅速かつ効率的にトレーニングする手...
モデル 畳み込みニューラルネットワークは実は特許が取られていた事
１．畳み込みニューラルネットワークは実は特許が取られていた事まとめ ・畳み込みニューラルネットワークには1990年代にアメリカで２つの特許が成立していた ・AT＆Tの会社分割により研究者と特許が離ればなれになってしまい研究継続が困難になった...
データセット ニューラル機械翻訳におけるジェンダーバイアスを研究するためのデータセット(2/2)
１．ニューラル機械翻訳におけるジェンダーバイアスを研究するためのデータセット(2/2)まとめ ・Wikipedia Biographiesによって機械翻訳の性別バイアス削減度合を評価する事が可能になった ・文脈を意識するモデル(contex...
データセット ニューラル機械翻訳におけるジェンダーバイアスを研究するためのデータセット(1/2)
１．ニューラル機械翻訳におけるジェンダーバイアスを研究するためのデータセット(1/2)まとめ ・ニューラル機械翻訳は学習データ内の偏見やステレオタイプを翻訳に反映してしまう事がある ・文を個々に翻訳しており、性別情報は必ずしも個々の文内に明...
学会 CVPR 2021におけるGoogleの存在感
１．CVPR 2021におけるGoogleの存在感まとめ ・6/19 - 6/25の間インターネット上のヴァーチャルイベントとしてCVPR 2021が開催 ・Google社員も多数参加し70を超える受理された出版物やワークショップを開催 ・...
データセット PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(2/2)
１．PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(2/2)まとめ ・デリケートなトピックと望ましい行動の概要を決定し価値観をターゲットにしたデータを作成 ・価値観をターゲットにしたデータセットは80のサンプルを含みサ...
データセット PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)
１．PALMS：厳選した少量のデータセットを使ってGPT-3の動作を制御(1/2)まとめ ・GPT-3に質問をすると非常に偏った価値観をベースに回答をしてくる場合がある ・少量の厳選したデータセットで価値観を微調整する事でこの偏った動作を是...
学習手法 SimGAN：敵対的強化学習を使い正確な物理シミュレータを構築(2/2)
１．SimGAN：敵対的強化学習を使い正確な物理シミュレータを構築(2/2)まとめ ・GANは現実世界の軌道と区別できない合成軌道を生成するためにも使用できる ・これによりシステム同定を手動ではなくGANを使用して実行する事ができる ・Si...