モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...
モデル
モデル 
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)まとめ ・建物の再構築に使用できる歴史的画像は1つしかない事が多く三次元再構成は非常に困難 ・粗い三次元構造を生成した後に窓や階段などの個々の構成部品を再構成して組...
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)まとめ ・昔の町並みをタイムトラベラー体験出来るrǝと呼ばれるブラウザベースのツールが公開 ・rǝは今年リリースされたオープンソースツールで過去地図や写真から都市を...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)まとめ ・モデルの品質を精度のみの観点でチェックするのは危険で性別相関もチェックが必要 ・ハイパーパラメーターの変更は一見無害に見えても慎重に評価をする必要がある...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)まとめ ・NLPの事前トレーニングでは外科医とメスの関係などの概念間の相関関係も学習している ・概念間の相関関係は実タスクで性別の決めつけのようなバイアスをもたら...
アプリケーション OpenAIがGPT-3をマイクロソフトにライセンス供与
１．OpenAIがGPT-3をマイクロソフトにライセンス供与まとめ ・複数年パートナーシップの一環としてOpenAIがMicrosoftにGPT-3のライセンスを供与 ・OpenAIのAPIを介したGPT-3モデルへの継続的なアクセスに影響...
アプリケーション Menger：大規模な分散型強化学習(3/3)
１．Menger：大規模な分散型強化学習(3/3)まとめ ・Reverbが提供する水平分割機能を使用して通信スループットを向上させた ・Mengerは複数のBorgセルにまたがる数千人の行為者に効率的に拡張できた ・大規模チップ配置タスクに...
アプリケーション Menger：大規模な分散型強化学習(2/3)
１．Menger：大規模な分散型強化学習(2/3)まとめ ・キャッシュにより行為者から受け取る多数のリクエストと学習者の作業のバランスを取った ・キャッシュは更新要求処理する学習者の負荷だけでなく行為者の平均読み取り遅延も軽減 ・高スループ...
アプリケーション Menger：大規模な分散型強化学習(1/3)
１．Menger：大規模な分散型強化学習(1/3)まとめ ・RLとはデータ収集とトレーニングのループだが規模拡大すると反復処理が追いつかなくなる ・Mengerは大規模な分散RLインフラであり複数クラスタにより規模拡大が可能 ・TPUを使用...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(2/2)まとめ ・pQRNNは前世代のモデルであるPRADOを更に改良したNLPモデルで３要素で構成 ・pQRNNは事前処理を一切行わず、テキスト入力だけから文脈表現を学習可...
モデル pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)
１．pQRNN：射影とクラスタリングで一部のNLPタスクを効率化(1/2)まとめ ・昨年発表したPRADOはパラメータ数が少なくとも最先端のパフォーマンスを実現した ・PRADOはタスクに最も関連するトークンのみを学習するためパラメータを少...
ヘルスケア DeepVariant 1.0によるゲノム解析精度の向上(4/4)
１．DeepVariant 1.0によるゲノム解析精度の向上(4/4)まとめ ・PrecisionFDA前はエラー率が高いため、Oxford Nanoporeデータ用は使用できなかった ・UC Santa Cruz Genomics Ins...