アプリケーション OpenAIがGPT-3をマイクロソフトにライセンス供与
１．OpenAIがGPT-3をマイクロソフトにライセンス供与まとめ ・複数年パートナーシップの一環としてOpenAIがMicrosoftにGPT-3のライセンスを供与 ・OpenAIのAPIを介したGPT-3モデルへの継続的なアクセスに影響...
アプリケーション 
アプリケーション Menger：大規模な分散型強化学習(3/3)
１．Menger：大規模な分散型強化学習(3/3)まとめ ・Reverbが提供する水平分割機能を使用して通信スループットを向上させた ・Mengerは複数のBorgセルにまたがる数千人の行為者に効率的に拡張できた ・大規模チップ配置タスクに...
アプリケーション Menger：大規模な分散型強化学習(2/3)
１．Menger：大規模な分散型強化学習(2/3)まとめ ・キャッシュにより行為者から受け取る多数のリクエストと学習者の作業のバランスを取った ・キャッシュは更新要求処理する学習者の負荷だけでなく行為者の平均読み取り遅延も軽減 ・高スループ...
アプリケーション Menger：大規模な分散型強化学習(1/3)
１．Menger：大規模な分散型強化学習(1/3)まとめ ・RLとはデータ収集とトレーニングのループだが規模拡大すると反復処理が追いつかなくなる ・Mengerは大規模な分散RLインフラであり複数クラスタにより規模拡大が可能 ・TPUを使用...
アプリケーション ビデオ会議時に手話で発言権を確保できるようにする(2/2)
１．ビデオ会議時に手話で発言権を確保できるようにする(2/2)まとめ ・手話検出モデル完成後、ビデオ会議アプリに手話による発言を検知させる必要があった ・手話検出モデルは手話を検出すると超音波を発声しアプリに疑似的な発音を検知させる ・通常...
アプリケーション ビデオ会議時に手話で発言権を確保できるようにする(1/2)
１．ビデオ会議時に手話で発言権を確保できるようにする(1/2)まとめ ・ビデオ会議で手話を検知するのは全カメラのビデオ入力を分類対象とする必要があり困難 ・以前の試みで通話品質への影響を最小限に抑えるために軽量モデルが重要な事が判明 ・その...
アプリケーション YouTubeストーリーで人の声だけ音量を上げる(2/2)
１．YouTubeストーリーで人の声だけ音量を上げる(2/2)まとめ ・Looking to Listenはノイズを完全分離していたがユーザは一部を残す事を好んでいた ・年齢、肌の色、言語、声の高低、話者の顔の視認性により偏りがないようにチ...
アプリケーション YouTubeストーリーで人の声だけ音量を上げる(1/2)
１．YouTubeストーリーで人の声だけ音量を上げる(1/2)まとめ ・バックグラウンドノイズが大きいビデオでは被写体のスピーチが曖昧になり理解しにくい ・Looking to Listenは音声と口の動きなどの視覚信号を使い特定の人の音声...
AI関連その他 DELG：インスタンスレベルの画像認識の進歩(2/2)
１．DELG：インスタンスレベルの画像認識の進歩(2/2)まとめ ・今年はランドマークを対象とした2つの新しいコンペをKaggleで開催 ・1,200を超えるチームが集まりDELGの基準スコアを大幅に上回った ・メトロポリタン美術館のデータ...
AI関連その他 DELG：インスタンスレベルの画像認識の進歩(1/2)
１．DELG：インスタンスレベルの画像認識の進歩(1/2)まとめ ・インスタンスレベルの画像認識(ILR)とは特定の実体(インスタンス)を認識するタスク ・GoogleはGoogleランドマークデータセットなどでILRの進歩に貢献してきた ...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)まとめ ・pQRNNは前世代のモデルであるPRADOを更に改良したNLPモデルで３要素で構成 ・pQRNNは事前処理を一切行わず、テキスト入力だけから文脈表現を学習可...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)まとめ ・昨年発表したPRADOはパラメータ数が少なくとも最先端のパフォーマンスを実現した ・PRADOはタスクに最も関連するトークンのみを学習するためパラメータを少...