モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...
人工知能/機械学習
モデル 
AI関連その他 Inclusion Research Program 2020の対象者の発表
１．Inclusion Research Program 2020の対象の発表まとめ ・2019年に新設されたInclusion Research Programの2020年助成対象が発表 ・歴史的に取り上げられることの少ない人々のニーズに...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)まとめ ・建物の再構築に使用できる歴史的画像は1つしかない事が多く三次元再構成は非常に困難 ・粗い三次元構造を生成した後に窓や階段などの個々の構成部品を再構成して組...
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)まとめ ・昔の町並みをタイムトラベラー体験出来るrǝと呼ばれるブラウザベースのツールが公開 ・rǝは今年リリースされたオープンソースツールで過去地図や写真から都市を...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)まとめ ・モデルの品質を精度のみの観点でチェックするのは危険で性別相関もチェックが必要 ・ハイパーパラメーターの変更は一見無害に見えても慎重に評価をする必要がある...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)まとめ ・NLPの事前トレーニングでは外科医とメスの関係などの概念間の相関関係も学習している ・概念間の相関関係は実タスクで性別の決めつけのようなバイアスをもたら...
AI関連その他 2020年のGoogle PhDフェローの発表
１．2020年のGoogle PhDフェローの発表まとめ ・2009年に開始されたGoogle PhD Fellowship Programの2020年対象者が発表 ・2020年はコンピュータサイエンスおよび関連の12分野より53名の受賞が...
アプリケーション OpenAIがGPT-3をマイクロソフトにライセンス供与
１．OpenAIがGPT-3をマイクロソフトにライセンス供与まとめ ・複数年パートナーシップの一環としてOpenAIがMicrosoftにGPT-3のライセンスを供与 ・OpenAIのAPIを介したGPT-3モデルへの継続的なアクセスに影響...
アプリケーション Menger：大規模な分散型強化学習(3/3)
１．Menger：大規模な分散型強化学習(3/3)まとめ ・Reverbが提供する水平分割機能を使用して通信スループットを向上させた ・Mengerは複数のBorgセルにまたがる数千人の行為者に効率的に拡張できた ・大規模チップ配置タスクに...