第7回きめ細かい視覚分類ワークショップの開催(2/2)

１．第7回きめ細かい視覚分類ワークショップの開催(2/2)まとめ

・FGVC7には6つの課題があり、そのうち4つは過去の課題の続き、2つは全く新しい課題
・iWildCam、Herbarium、iMat Fashion、iMetは去年から続く動植物、衣服、博物館所蔵物の分類
・Semi-Supervised Aves(半教師あり学習による鳥類分類)と「Plant Pathology(植物病理学)」が新課題

２．FGVC7の各課題

以下、ai.googleblog.comより「Announcing the 7th Fine-Grained Visual Categorization Workshop」の意訳です。元記事の投稿は2020年5月20日、Christine Kaeser-ChenさんとSerge Belongieさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by David Clode on Unsplash

今年の課題
FGVC7には6つの課題があり、そのうち4つは過去の課題の続き、2つは全く新しいものです。

iWildCamの課題は、仕掛けカメラで撮影した画像で様々な野生の動物を識別することです。
2018年と2019年に行われた課題と同様に、今年のコンテストでは、生物学者が野生の動物を研究するために使用する「動きを感知して撮影する固定カメラ」のデータを利用します。

コンペの参加者は、世界中の様々な地域に対応可能な機械学習モデルを構築するために競い合います。様々な地域に設置されているカメラ画像を全て取り扱えるように一般化する事に焦点を当てますが、使用機材、画質、周辺環境、照明条件、撮影される動物の種類の分布に違いがあるためこれは困難な課題です。

画像分類の域を超えて、画像以外の情報も使用することにより、分類性能を劇的に改善できることが示されています。

加えて、生態系は様々な方法(例えば、仕掛けカメラ、熱心な市民研究者、リモートセンサー)で観察可能で、それぞれの方法に独自の長所と制限があるため、これらの補完的な技術の組み合わせ方を模索し、促進することが重要です。

この目的のために、コンペでは、各仕掛けカメラの場所に仕掛けたリモートセンサー情報の時系列データと、仕掛けカメラ内に写る動物の画像が含まれているiNaturalistのデータセットを提供します。

左図：野生生物を仕掛けカメラで撮影したiWildcamデータセット
右図：従来のカメラで撮影したiNaturalistデータセット
画像は2020年のiWildCamチャレンジ、および2017年と2018年のiNaturalistコンテストデータセットから抽出したものです。

「Herbarium Challenge(植物標本チャレンジ)」は、2年目を迎え、個々の植物標本を幅広く集めた長大なコレクションに基づいて、植物種の識別を行います。ニューヨーク植物園(NYBG: New York Botanical Garden)と共同で開発されたこのチャレンジは、32,000を超える植物種を映した100万枚を超える画像を特徴としています。昨年の課題は、680種の46,000標本に基づいていました。歴史的な植物標本コレクションから種を認識することができることは、植物学者が私たちの惑星における植物の変化をよりよく理解するのに役立つだけでなく、コレクションに格納されていない新種を識別するユニークな機会も提供します。

2020 Herbariumチャレンジの標本の代表的な例。ニューヨーク植物園の許可を得て使用しています。

今年の「iMat Fashion challenge(iMatファッションチャレンジ)」では、参加者が画像内の衣服部分を細かく特定する(instance segmentation)事と、きめ細かい属性分類を競います。このコンペの目標は、ファッションコミュニティとコンピュータービジョンコミュニティが力を合わせることにより、最先端の画像内の衣服部分を画素レベルできめ細かく特定する技術( fine-grained segmentation)を推進することです。この課題は過去にもお題になっており第3回目です。過去と比べて製品数が多くなり求められる詳細度合も細かくなっています。

昨年から続くコンペの最後はiMetです。参加者は芸術作品をきめ細かく属性分類するアルゴリズムの構築に挑戦します。メトロポリタン美術館と共同で開発されたこのデータセットは、2019年版以降、大幅に増加しています。美術の専門家によって生成されたさまざまな新しい目録情報、複数物体の分類、アーティスト、タイトル、期間、日付、メディア、文化、サイズ、出所、地理的位置、およびメトロポリタン美術館のコレクション内の他の関連する博物館収蔵品を含みます。

「Semi-Supervised Aves(半教師あり学習による鳥類分類)」は、今年のワークショップの新しい課題の1つです。iNaturalistデータセットから抽出された鳥データは、過去のFGVCの課題でも目立っていましたが、今回の課題は、部分的にラベル付けされたデータから学習する問題、つまり半教師あり学習として扱う事に焦点を当てています。

データセットは、クラス間のきめの細かい類似性、クラス間で利用可能なデータ数が非常に不均衡である事、ラベル付きデータとラベルなしデータ間の不一致など、現実世界で遭遇する事が多い幾つかの課題を解決するように設計されています。

一連の課題を完成させるのが「Plant Pathology(植物病理学)」です。この課題では、参加者は、専門家が注釈を付けた罹患標本の参照データセットを使用して、リンゴの葉の病気を見つける事が求められます。この課題はFGVCコミュニティにとって新しいものですが、植物の病気を対象としたのは二回目であり、最初に出題された課題は昨年のFGVCでのiCassavaです。

参加へのご招待
本コンテストの結果は、トップクラスの成績を収めたチームがFGVC7ワークショップで講演します。研究者、実務家、および様々な領域の専門家の皆さんをFGVCワークショップに招待します。きめ細かい画像分類の最先端の進歩について詳しく学びましょう。私達は、コミュニティがきめの細かい視覚的分類のために最先端のアルゴリズムの開発する事を奨励し、世界に影響を与える新しいコラボレーションを促進することに興奮しています。

謝辞
この重要な分野を前進させるために協力してくれたFGVC7組織委員会の同僚と友人に感謝します。
Google社内では、Hartwig Adam, Kiat Chuan Tan, Arvi Gjoka, Kimberly Wilber, Sara Beery, Mikhail Sirotenko, Denis Brulé, Timnit Gebru, Ernest Mwebaze, Wojciech Sirko, Maggie Demkinに感謝します。