ビッグデータ Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(2/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(2/3)まとめ・Meta-Datasetは少数ショット画像分類用のこれまでで最大規模の複数データセットを交えたベンチマーク・「事前トレーニング」と「メタ学習...
ベンチマーク
ビッグデータ 入門／解説 Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)
１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)まとめ・ディープラーニングのパフォーマンスは多くの場合、手動でラベル付けした大量の学習用データに依存・より少ないデータから学習する手法に関心が集まっ...
入門／解説 無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(1/2)
１．無限に続く行動履歴を学習可能な強化学習のオフポリシー評価(1/2)まとめ・強化学習は広く使われているが過去の履歴データ、つまりオフポリシーで性能評価をする事は難しい・履歴データを収集したエージェントと性能評価されるエージェントが異なるた...
モデル EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(2/2)
１．EfficientDet：規模の拡張が容易で効率的な物体検出ネットワーク(2/2)まとめ・EfficientDetは物体検出器の解像度/深さ/幅を一緒に拡大する、新しい複合スケーリング手法を採用・三つの最適化の結果、従来の最先端モデルを...
学習手法 オフライン強化学習に関する楽観的な見解(2/2)
１．オフライン強化学習に関する楽観的な見解(2/2)まとめ・教師あり学習のアンサンブル手法を応用してREMと言う新しい強化学習アルゴリズムを開発・REMはオフライン設定とオンライン設定で比較するとオフライン設定の方が高い性能を出せていた・オ...
入門／解説 XTREME：多言語対応能力を評価する多言語マルチタスクベンチマーク
１．XTREME：多言語対応能力を評価する多言語マルチタスクベンチマークまとめ・自然言語処理の主要な挑戦の1つは世界の全ての約6900言語で機能するシステムを構築すること・「多言語間で汎用的な言語の特徴」を学習しようとするモデルは増加してい...
AI インターネット上の画像から三次元構造を再構築するコンペの開催
１．インターネット上の画像から三次元構造を再構築するコンペの開催まとめ・一連の二次元画像から三次元データとして物体を再構築する事をStructure-from-Motion(SfM)と言う・SfMでは、窓枠の角部分など「局所的な特徴(loc...
学習手法 SEED RLによる大規模強化学習(1/3)
１．SEED RLによる大規模強化学習(1/3)まとめ・強化学習手法は単純なゲームでも学習するために更に多くのトレーニングが必要になってきている・SEED RLは、数千のマシン上で規模を拡大して実行できる新しい強化学習エージェント・推論の集...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(3/3)
１．Dreamer：長期視点で考える事が出来る強化学習(3/3)まとめ・モデルベースのエージェントは500万フレーム未満、シミュレーション内の28時間で効率的に学習可能・モデルフリーのエージェントは学習が遅く1億フレーム、23日間に相当する...
学習手法 Dreamer：長期視点で考える事が出来る強化学習(2/3)
１．Dreamer：長期視点で考える事が出来る強化学習(2/3)まとめ・強力な世界モデルでさえ、正確に予測できる範囲が限られており多くは近視眼的だった・Dreamerは、バリューネットワークとアクターネットワークでこの制限を克服・Dream...
モデル Dreamer：長期視点で考える事が出来る強化学習(1/3)
１．Dreamer：長期視点で考える事が出来る強化学習(1/3)まとめ・世界モデルを使用しない強化学習は学習に大量の試行錯誤と時間が必要なため実用性が制限される・世界モデルを使用する強化学習もプランニングメカニズムがネックになり能力が制限さ...
学習手法 ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)
１．ELECTRA：NLPの事前トレーニングを効率的に改良(1/2)まとめ・既存のNLP用の事前トレーニング手法には言語モデルとマスク言語モデルの２種類がある・マスク言語モデルは双方向なので言語モデルより優位だが入力文の全てを学習に利用でき...