AI関連その他 AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)
１．AIのアルゴリズムの効率性は16か月毎に2倍に上昇(1/2)まとめ・アルゴリズムの改良でImageNet分類タスクに必要な計算量が16か月ごとに2分の1に減少・7年前のAlexNetと同等のパフォーマンスを実現するために必要な計算能力は...
ベンチマーク
AI関連その他 
データセット 三次元物体認識のためのObjectronデータセットの発表(1/2)
１．三次元物体認識のためのObjectronデータセットの発表(1/2)まとめ・二次元と比較して大規模なデータセットがないため三次元で物体を理解することは困難・Objectronデータセットはこの問題を解決する三次元物体中心の短いビデオデー...
入門／解説 Captum：PyTorchのモデル解釈用ライブラリ
１．Captum：PyTorchのモデル解釈用ライブラリまとめ・CaptumはPyTorch用の解釈用ライブラリで最先端のアルゴリズムが利用可能になる・モデルの出力に寄与する特徴表現の識別が容易になり設計改善や出力調査が可能になる・視覚化を...
モデル Image GPT：自然言語処理用の人工知能で画像を生成(3/3)
１．Image GPT：自然言語処理用の人工知能で画像を生成(3/3)まとめ・iGPTが強力な画像特徴表現を学習可能で教師有り、半教師モデルと匹敵する事が示された・しかしGPUにV100を使って延べ2500日が必要で画像専用モデルの約35倍...
モデル Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)
１．Zari：事前トレーニング済みNLPモデル内の性別決めつけを緩和(1/2)まとめ・NLPの事前トレーニングでは外科医とメスの関係などの概念間の相関関係も学習している・概念間の相関関係は実タスクで性別の決めつけのようなバイアスをもたらす可...
AI関連その他 DELG：インスタンスレベルの画像認識の進歩(2/2)
１．DELG：インスタンスレベルの画像認識の進歩(2/2)まとめ・今年はランドマークを対象とした2つの新しいコンペをKaggleで開催・1,200を超えるチームが集まりDELGの基準スコアを大幅に上回った・メトロポリタン美術館のデータを使っ...
モデル Axial-DeepLab：パノプティックセグメンテーション用にattentionを改良(2/2)
１．Axial-DeepLab：パノプティックセグメンテーション用にattentionを改良(2/2)まとめ・self-attentionは離れた位置の情報も集約できるが位置情報は提供しなかった・相対位置などの情報を特徴表現に含めるようにし...
入門／解説 対照学習で最良のビューを選択するための原則(2/2)
１．対照学習で最良のビューを選択するための原則(2/2)まとめ・InfoMin仮説を検証のため相互情報量を徐々に減らすと逆U字型の曲線が観察される・アーキテクチャ等の違いにもかかわらず、直近の対照学習は暗黙的にInfoMin仮説に従っている...
学習手法 オフライン強化学習における未解決の課題への取り組み(3/3)
１．オフライン強化学習における未解決の課題への取り組み(3/3)まとめ・オフラインRLを改善するためには履歴データにない行動を学習する必要がある・既存手法は履歴データにない行動を過度に過大評価してしまう問題があった・基本的に悲観的な予測をす...
学習手法 オフライン強化学習における未解決の課題への取り組み(2/3)
１．オフライン強化学習における未解決の課題への取り組み(2/3)まとめ・D4RLは現実的なアプリケーションを念頭に作られたベンチマークである事が特徴・タスクの目的と違う目的を実行した記録から学習する能力などが試される・タスクと標準化されたデ...
入門／解説 オフライン強化学習における未解決の課題への取り組み(1/3)
１．オフライン強化学習における未解決の課題への取り組み(1/3)まとめ・強化学習は医療など試行錯誤によるデータ収集が難しい現実世界には適用が難しい・オフラインRLは実際に動かさなくても過去に収集されたデータを使って学習可能なため有望・オフラ...
入門／解説 MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(1/3)
１．MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(1/3)まとめ・ディープラーニングの学習には大規模データが必要だが大規模になると誤ラベルが混ざる・ラベルにノイズが多い場合の対処法は研究されてきたが合成した誤...