モデル ViT：規模拡大可能な画像認識用のTransformers(1/2)
１．ViT：規模拡大可能な画像認識用のTransformers(1/2)まとめ ・畳み込みニューラルネットワークは画像専用に設計されたため計算量が多くなる可能性がある ・次世代の計算効率の高い視覚モデルが求められておりVision Tran...
transformer
モデル 
アプリケーション Smart Scroll：録音データから探している音声を捜しやすくする(1/2)
１．Smart Scroll：録音データから探している音声を捜しやすくする(1/2)まとめ ・昨年、音声録音をより便利にする新しい録音アプリであるRecorderをリリース ・Recorderは最大18時間を転記できるため特定のセクションを...
AI関連その他 AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)
１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(2/2)まとめ ・少量のコンピューティングで達成された顕著な進歩の測定に力を注ぐことが重要 ・今後も効率的な最新技術を引き続き追跡し、視覚と翻訳タスク以外も追加して行く予定 ・未掲載の...
AI関連その他 AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)
１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)まとめ ・アルゴリズムの改良でImageNet分類タスクに必要な計算量が16か月ごとに2分の1に減少 ・7年前のAlexNetと同等のパフォーマンスを実現するために必要な計算能...
モデル Performers：Attentionの規模拡大を容易にする(3/3)
１．Performers：Attentionの規模拡大を容易にする(3/3)まとめ ・PerformerはAttentionをまったく使用していないモデルに非常に近い性能を発揮 ・転移後に微調整すると元の勾配ステップ数のごく一部で精度をすば...
モデル Performers：Attentionの規模拡大を容易にする(2/3)
１．Performers：Attentionの規模拡大を容易にする(2/3)まとめ ・通常のAttentionは保存されたAttention行列に入力された値を乗算して最終結果を取得 ・Attention行列を分解すれば通常のAttenti...
モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...
入門／解説 Image GPTの画像補完の実例
１．Image GPTの画像補完の実例まとめ ・対称形なデザインはかなりの精度で補完されるが非対称デザインは凄い事になる場合がある ・S、M、Lの順にオリジナル画像を補完して再現する能力が上がっているようにみえる ・自然画像をそれっぽい物体...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された ・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約3...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(2/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(2/3)まとめ ・モデルは画像生成を学んだ際に物体のカテゴリについても学習している可能性がある ・本研究で、より良い生成モデルがより強力な分類パフォーマンスを達成する事が示された...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(1/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(1/3)まとめ ・文章生成で有名になった人工知能を画像でトレーニングすると品質の高い画像を生成できた ・iGPTと名付けられたこのモデルは物体の外観など画像の特性を理解しているよ...
モデル LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)
１．LaBSE：言語に依存しないBERT仕様のEmbedding(2/2)まとめ ・Tatoebaに登録されている言語を使った検証では主要14言語では他の手法と大きな差はなかった ・全112言語を含めてテストを行った場合、従来手法に20%近...