モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...
モデル 
AI関連その他 Inclusion Research Program 2020の対象者の発表
１．Inclusion Research Program 2020の対象の発表まとめ ・2019年に新設されたInclusion Research Programの2020年助成対象が発表 ・歴史的に取り上げられることの少ない人々のニーズに...
入門／解説 Image GPTの画像補完の実例
１．Image GPTの画像補完の実例まとめ ・対称形なデザインはかなりの精度で補完されるが非対称デザインは凄い事になる場合がある ・S、M、Lの順にオリジナル画像を補完して再現する能力が上がっているようにみえる ・自然画像をそれっぽい物体...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(2/2)まとめ ・建物の再構築に使用できる歴史的画像は1つしかない事が多く三次元再構成は非常に困難 ・粗い三次元構造を生成した後に窓や階段などの個々の構成部品を再構成して組...
アプリケーション rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)
１．rǝ：ディープラーニングとクラウドソーシングで昔の街並みを再現(1/2)まとめ ・昔の町並みをタイムトラベラー体験出来るrǝと呼ばれるブラウザベースのツールが公開 ・rǝは今年リリースされたオープンソースツールで過去地図や写真から都市を...
その他の調査 バイデンが嘘をついていた証拠はどこまで信用できるのか？
１．バイデンが嘘をついていた証拠はどこまで信用できるのか？ ・息子のメールによりバイデン候補がウソを付いている事がわかったとの報道があった ・一次情報源のサイトを確認したがアクセス稼ぎを優先した記事構成が感じられた ・フェイクニュースを判別...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(2/2)まとめ ・モデルの品質を精度のみの観点でチェックするのは危険で性別相関もチェックが必要 ・ハイパーパラメーターの変更は一見無害に見えても慎重に評価をする必要がある...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)まとめ ・NLPの事前トレーニングでは外科医とメスの関係などの概念間の相関関係も学習している ・概念間の相関関係は実タスクで性別の決めつけのようなバイアスをもたら...
入門／解説 データサイエンスの最新情報の入手先
１．データサイエンスの最新情報の入手先まとめ ・英文サイトに投稿されていた最近注目されているデータサイエンス関連の情報収集先 ・Towards Data ScienceやKDnuggetsなどの有名どころもあるが新興サイトも ・Toward...