Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)

１．Meta-Dataset：少数ショット学習用のデータセットのためのデータセット(1/3)まとめ

・ディープラーニングのパフォーマンスは多くの場合、手動でラベル付けした大量の学習用データに依存
・より少ないデータから学習する手法に関心が集まっており、少数ショット画像分類が人気の研究課題
・Meta-Datasetは様々な画像分類モデルの小数ショット学習能力を測定する大規模ベンチマーク

２．Meta-Datasetとは？

以下、ai.googleblog.comより「Announcing Meta-Dataset: A Dataset of Datasets for Few-Shot Learning」の意訳です。元記事は2020年5月13日、Eleni TriantafillouさんとVincent Dumoulinさんによる投稿です。

「Zero-Shot(ゼロショット)」はBERTやGPT-2などの紹介時に良く出てきた単語で、学習後にテストタスク実施用の学習(微調整)を一切行わない事ですが、あれは自然言語を扱っているから可能である話で、今回は画像分類における「Few-Shot(少数ショット)」、つまり、なるべく少ない微調整で学習データに存在しなかったクラスを分類出来るようにするための条件を探っていくお話です。

アイキャッチ画像はMetaはMetaでもイタリア中部の山塊Monti della Metaで、クレジットはPhoto by Fabrizio Verrecchia on Unsplash

近年、ディープラーニングは様々な困難な問題に対して印象的なパフォーマンスを達成しましたが、その成功は多くの場合、手動でラベル付けをした大量の学習用データの存在に依存しています。

この制限により、より少ないデータから学習する事に関心が集まっています。この問題でよく研究されている事例は、少数の代表的な画像のみを使って分類対象を学習する手法、すなわち、「少数ショットの画像分類(few-shot image classification)」です。

限られた情報から学習する能力とディープラーニングアルゴリズムの能力との間に明らかなギャップがあるため、科学的観点から興味深い問題であることに加えて、少数ショット分類は実用的な観点からも非常に重要な問題です。

関心のあるタスクでラベルの付いた大きなデータセットが利用できる事は少ないため、この問題を解決すると、例えば、個々のユーザーのニーズに合わせてモデルをすばやくカスタマイズするなど、機械学習の使用を民主化することができます。

事実、少数ショット分類に取り組む研究が最近爆発的に増加していますが、以前のベンチマークでは、提案された様々なモデルの相対的なメリットを確実に評価できず、研究の進展が妨げられていました。

論文「Meta-Dataset: A Dataset of Datasets for Learning to Learn from Few Examples」(ICLR 2020で発表)では、現実的で挑戦的な小数ショット設定で様々な画像分類モデルの能力を測定するための大規模で多様なベンチマークを提案し、少数ショット分類のいくつかの重要な側面を調査できるフレームワークを提供します。

Meta-Datasetは、自然画像(ImageNet、CUB-200-2011、Fungiなど)、手書き文字、いたずら書き(doodles)の10の公開データセットから構成されています。コードはgithubで公開されており、これにはTensorFlowおよびPyTorchでMeta-Datasetを使用する方法を示したnotebookも含まれています。このブログ投稿では、メタデータセットに関する最初の調査結果を概説し、重要な方向性を強調します。

少数ショット分類(Few-shot Classification)
標準的な画像分類では、モデルは分類対象(クラス)が写った様々な画像のセットを使ってトレーニングされ、次に同じクラスが写っている画像(ただし、トレーニングデータには含まれていなかった画像)でテストされます。

少数ショット分類は更に一歩進んで、完全に新しいクラスへの一般化を研究します。つまり、トレーニングデータ中には、そのクラスの画像は含まれません。

具体的には、少数ショット分類では、トレーニングセットには、テスト時に表示されるクラスと完全に切り離されたクラスのみが含まれています。従って、トレーニングの目的は、少数のデータのみを使用して新しいクラスの分類を行えるモデル、つまり、簡単に再利用できる柔軟なモデルを学習する事です。

最終目標は、各テストタスクで行われるテスト評価を適切にこなす事です。それぞれのテストタスクでは、学習時に存在しなかった新しいクラスを分類する問題が示されます。各テストタスクには、モデルが新しいクラスについて学習できるようにするための少数のラベル付きイメージが、サポートセットとして含まれています。そして、モデルはサポートセットを使って少数ショット学習を行い、この新しいクラスを分類するように求められます。

メタデータセットでは、上記の小数ショット学習の「新しいクラスへの一般化」という難しい課題に加えて、全く新しいデータセットへの一般化についても研究します。つまり、トレーニング時にどのクラスの画像も存在しなかったデータセットへの一般化です。

Meta-Datasetと以前のベンチマークの比較
少数ショット分類を研究するための一般的なデータセットは、ImageNetのサブセットとして規模を縮小したバージョンであるmini-ImageNetです。このデータセットには、クラス毎に分割されたトレーニングセット、検証セット、テストセットが合計100クラス含まれています。

mini-ImageNetのようなベンチマークでは、テストセット内のクラスはトレーニングセット内には存在しませんが、ヴィジュアル的にはトレーニング中に存在するクラスとほぼ同等です。

最近の研究「Are Few-shot Learning Benchmarks Too Simple?」により、トレーニング時に学習した特徴を再利用するだけで、テスト時にモデルが競争力のあるパフォーマンスを発揮できることがわかりました。サポートセットとして提供される少数データから特徴を学習する能力を実証する必要はありません。

対照的に、Meta-Datasetをベンチマークとして適切に実行するには、トレーニング時に様々な情報を吸収する必要があります。テスト時には、学習時になかった完全に未見のデータセットに由来する大幅に異なるタスクの解決を求められる可能性があるため、迅速に適応する必要があります。

mini-ImageNetによるタスクのテスト
各タスクは、学習時には出現しなかった未見のクラスを分類する問題です。モデルは、サポートセット(Support)として提供される少数のラベル付きデータを使って未見クラスに適応し、これらの新しいクラスの分類をクエリセット(Query)として問われます。評価指標はクエリセットの精度、各タスクとタスク全体の平均です。