モデル 人間による評価を使って要約を学ぶ(2/4)
１．人間による評価を使って要約を学ぶ(2/4)まとめ ・人間によるフィードバックを使った微調整は他の手法と比較して品質に大きな影響を与えた ・Redditの投稿と非常に異なったスタイルで書かれたニュースデータセットにも対応できた ・要約の長...
モデル モデル 人間による評価を使って要約を学ぶ(1/4)
１．人間による評価を使って要約を学ぶ(1/4)まとめ ・人間による評価を強化学習に取り込んで優れた要約文を書き上げる言語モデルを開発 ・人間による評価モデルは巨大な教師ありモデルや人間が作成した要約よりも優れていた ・本研究は長期的にはAI...
モデル Performers：Attentionの規模拡大を容易にする(3/3)
１．Performers：Attentionの規模拡大を容易にする(3/3)まとめ ・PerformerはAttentionをまったく使用していないモデルに非常に近い性能を発揮 ・転移後に微調整すると元の勾配ステップ数のごく一部で精度をすば...
モデル Performers：Attentionの規模拡大を容易にする(2/3)
１．Performers：Attentionの規模拡大を容易にする(2/3)まとめ ・通常のAttentionは保存されたAttention行列に入力された値を乗算して最終結果を取得 ・Attention行列を分解すれば通常のAttenti...
モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...
AI関連その他 Inclusion Research Program 2020の対象者の発表
１．Inclusion Research Program 2020の対象の発表まとめ ・2019年に新設されたInclusion Research Programの2020年助成対象が発表 ・歴史的に取り上げられることの少ない人々のニーズに...
入門／解説 Image GPTの画像補完の実例
１．Image GPTの画像補完の実例まとめ ・対称形なデザインはかなりの精度で補完されるが非対称デザインは凄い事になる場合がある ・S、M、Lの順にオリジナル画像を補完して再現する能力が上がっているようにみえる ・自然画像をそれっぽい物体...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)まとめ ・建物の再構築に使用できる歴史的画像は1つしかない事が多く三次元再構成は非常に困難 ・粗い三次元構造を生成した後に窓や階段などの個々の構成部品を再構成して組...
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)まとめ ・昔の町並みをタイムトラベラー体験出来るrǝと呼ばれるブラウザベースのツールが公開 ・rǝは今年リリースされたオープンソースツールで過去地図や写真から都市を...