モデル MBT：動画における新しいモダリティ融合モデル(3/3)
１．MBT：動画における新しいモダリティ融合モデル(3/3)まとめ ・少数のattentionボトルネックを使用しても計算量はそれほど大きく増えずほぼ一定に保たれる ・MBTの融合ボトルネックは画像のより小さな領域にAttentionを集中...
attention
モデル 
モデル BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)
１．BigBird：疎なAttentionでより長い連続データに対応可能なTransformer(1/2)まとめ ・Transformerは最新のNLP研究の中核技術で様々な連続する入力データに柔軟に適応できる ・しかし従来のTransfo...
モデル DALL·E：文章から画像を作成(3/3)
１．DALL·E：文章から画像を作成(3/3)まとめ ・DALL·EはGPT-3同様、説明と手がかりを与えるだけで追加学習なしで様々なタスクを実行可 ・視覚IQテストでは簡単な類推問題は解く事ができたが複雑な問題は解く事ができなかった ・地...
入門／解説 グラフニューラルネットワークのわかりやすい紹介(3/3)
１．グラフニューラルネットワークのわかりやすい紹介(3/3)まとめ ・GNNにAttentionを加えるのは容易でTransformerと同じものを利用可能 ・GNNはグラフ上に存在しグラフ上で動作するディープラーニングにすぎない ・様々な...
モデル Performers：Attentionの規模拡大を容易にする(3/3)
１．Performers：Attentionの規模拡大を容易にする(3/3)まとめ ・PerformerはAttentionをまったく使用していないモデルに非常に近い性能を発揮 ・転移後に微調整すると元の勾配ステップ数のごく一部で精度をすば...
モデル Performers：Attentionの規模拡大を容易にする(2/3)
１．Performers：Attentionの規模拡大を容易にする(2/3)まとめ ・通常のAttentionは保存されたAttention行列に入力された値を乗算して最終結果を取得 ・Attention行列を分解すれば通常のAttenti...
モデル Performers：Attentionの規模拡大を容易にする(1/3)
１．Performers：Attentionの規模拡大を容易にする(1/3)まとめ ・Transformerの中心となるAttentionモジュールはデータが長くなると計算が困難になる ・類似性スコアを計算するため指数関数的に計算量と必要メ...
モデル Axial-DeepLab：パノプティックセグメンテーション用にattentionを改良(2/2)
１．Axial-DeepLab：パノプティックセグメンテーション用にattentionを改良(2/2)まとめ ・self-attentionは離れた位置の情報も集約できるが位置情報は提供しなかった ・相対位置などの情報を特徴表現に含めるよう...
モデル Axial-DeepLab：パノプティックセグメンテーション用にattentionを改良(1/2)
１．Axial-DeepLab：パノプティックセグメンテーション用にattentionを改良(1/2)まとめ ・CNNは局所的であり大域的な空間関係を把握する必要があるモデリングは困難 ・axial-attentionはattentionを...
学習手法 Context R-CNN：過去に撮影された写真を参照して仕掛けカメラの物体検出能力を改善(2/2)
１．Context R-CNN：過去に撮影された写真を参照して仕掛けカメラの物体検出能力を改善(2/2)まとめ ・Context R-CNNはFaster R-CNNアーキテクチャの中にコンテキストメモリバンクを汲み込んで実現 ・コンテキス...
基礎理論 Reformer:効率的なTransformer(1/2)
１．Reformer:効率的なTransformer(1/2)まとめ ・TransformerはLSTMより大きなコンテキストウィンドウを持つため文脈を理解する能力が高い ・しかしTransformerを更に拡張しようとするとAttenti...
ヘルスケア ディープラーニングを使った網膜眼底画像からの屈折異常予測(1/3)
１．ディープラーニングを使った網膜眼底画像からの屈折異常予測(1/3)まとめ ・網膜画像から屈折異常などを発見するためにディープラーニングが役に立つかを評価 ・非常に高い精度で屈折異常を発見できる事と窩領域を人工知能が重視した事がわかった ...