入門／解説 MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(3/3)
１．MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(3/3)まとめ ・誤ラベルを処理する簡単な方法はクリーンなデータセットで事前トレーニングすること ・合成ノイズで良好に機能する手法は現実のノイズの多いラベルで...
image classification
入門／解説 モデル MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(2/3)
１．MentorMix：現実世界の誤ラベルがディープラーニングに及ぼす影響を調査(2/3)まとめ ・MentorMixは合成ノイズと現実世界のノイズの両方に対処できる効果的な手法 ・MentorMixはMentorNetとMixupに基づい...
入門／解説 AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(1/2)
１．AutoML-Zero：誤差逆伝播法をゼロから再発見した進化的アルゴリズム(1/2)まとめ ・従来のAutoMLは人間が設計した部品を組み合わせて新たな解決策を構築することに焦点を当てた ・部品そのものを探索する事は大きな利点があるが計...
モデル SpineNet：ニューラルアーキテクチャ探索で発見された新しい物体検出アーキテクチャ(2/2)
１．SpineNet：ニューラルアーキテクチャ探索で発見された新しい物体検出アーキテクチャ(2/2)まとめ ・ニューラルアーキテクチャ探索の出発点となるモデルにはResNet-50バックボーンを採用 ・発見されたスケール交換モデルは、物体検...
基礎理論 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(3/3)まとめ ・標準的な視覚タスクベンチマークでBiT-Lを評価し少数セット設定でなくとも効果的である事が判明 ・タスク毎にハイパーパラメータを調整をせず...
学習手法 Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)
１．Big Transfer(BiT):視覚タスクで大規模な事前トレーニングを活用(2/3)まとめ ・BERTと同様にBiTも事前トレーニング済みのモデルを下流タスク用データで微調整をして転移学習する ・事前トレーニングで使用する画像の量と...
入門／解説 第7回きめ細かい視覚分類ワークショップの開催(2/2)
１．第7回きめ細かい視覚分類ワークショップの開催(2/2)まとめ ・FGVC7には6つの課題があり、そのうち4つは過去の課題の続き、2つは全く新しい課題 ・iWildCam、Herbarium、iMat Fashion、iMetは去年から続...
入門／解説 第7回きめ細かい視覚分類ワークショップの開催(1/2)
１．第7回きめ細かい視覚分類ワークショップの開催(1/2)まとめ ・きめ細かい視覚分類(FGVC)とは、密接に関連する実体、例えば擬態関係にある蝶同士を区別する問題 ・2011年に17%であった鳥に関するFGVCがディープラーニングにより2...
ビッグデータ Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(2/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(2/3)まとめ ・Meta-Datasetは少数ショット画像分類用のこれまでで最大規模の複数データセットを交えたベンチマーク ・「事前トレーニング」と「メタ...
入門／解説 Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)まとめ ・ディープラーニングのパフォーマンスは多くの場合、手動でラベル付けした大量の学習用データに依存 ・より少ないデータから学習する手法に関心が集...
ビッグデータ Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(2/2)
１．Data Echoing：バッチデータを再利用する事でアクセラレータを最大限に活用(2/2)まとめ ・画像分類、言語モデリング、物体検出でデータエコーがディスクI/Oを削減できる事が検証された ・場合によっては、データエコーによる再利用...
学習手法 SimCLR:対照学習により自己教師学習の性能を向上
１．SimCLR:対照学習により自己教師学習の性能を向上 ・同じ画像同士の特徴量を最大化しつつ違う画像同士の特徴量を最小化する事を対照学習という ・SimCLRは自己教師および半教師でありながら対照学習により教師あり学習に迫るスコアを達成 ...