The BirdCLEF 2023 Challenge:鳥の鳴き声を分類して生態系保存活動に役立てるkaggleコンペ(2/2)

１．The BirdCLEF 2023 Challenge:鳥の鳴き声を分類して生態系保存活動に役立てるkaggleコンペ(2/2)まとめ

・従来はF1スコアのような指標を使用していたが良いモデルであっても悪い閾値戦略をとると、パフォーマンスが低下する可能性があった
・今年は、閾値のないモデル品質指標であるクラス平均精度を使用して各鳥類種の出力を別々の二値分類器として扱って平均AUCスコアを計算する
・Kaggle Modelsプラットフォームを使用できる最初のKaggle大会となりTensorFlow Hubモデルのほとんどのモデルを利用可能

２．BirdCLEF 2023 Challengeへの参加方法

以下、ai.googleblog.comより「The BirdCLEF 2023 Challenge: Pushing the frontiers of biodiversity monitoring」の意訳です。元記事の投稿は2023年3月9日、Tom Dentonさんによる投稿です。

アイキャッチ画像はchatGPT先生に相談して作成したプロンプトに手を加えてカスタムStable Diffusion先生に作って貰ったイラスト

これまでの大会では、F1スコアのような指標を使用していましたが、この場合、モデルに対して特定の検出閾値を選択する必要があります。

これには多大な労力が必要であり、根本的なモデルの品質を評価することが難しくなります。つまり、良いモデルであっても悪い閾値戦略をとると、パフォーマンスが低下する可能性があります。

今年は、閾値のないモデル品質指標であるクラス平均精度を使用します。この指標は、各鳥類種の出力を別々の二値分類器として扱い、それぞれの平均AUCスコアを計算し、これらのスコアを平均化します。較正されていない指標に切り替えることで、特定の検出閾値を選択する必要性がなくなり、コアモデルの品質に焦点を当てることができるようになります。

参加方法

今回の大会は、参加者が最近開始されたKaggle Modelsプラットフォームを使用できる最初のKaggle大会となります。このプラットフォームでは、TensorFlow Hubモデルのほとんどを含む、2,300以上の公開済み、事前訓練済みのモデルにアクセスできます。この新しいリソースは、Kaggleノートブック、データセット、コンペティションなど、Kaggleの他の部分と深く統合される予定です。

この競技会に参加することに興味がある場合、すぐに始めるには、Kaggle Modelsで利用できる最近オープンソース化されたBird Vocalization Classifierモデルを使用するのが最適です。このグローバルな鳥のembeddingと分類モデルは、10k以上の鳥の種の出力ロジットを提供し、また他のタスクに使用できるembeddingベクトルを作成します。下図に示す手順で、KaggleのBird Vocalization Classifierモデルを利用することができます。

Kaggleでbird-vocalization-classifierを試すには、以下のようにします。
(1)「New Notebook」をクリックします。(2)「Copy Code」ボタンをクリックして、モデルを読み込むのに必要なコードサンプルをコピーします。(3)「Add Model」ボタンをクリックして、このモデルをデータソースとしてノートブックに追加します。(4)エディタでコードサンプルを貼り付けてモデルを読み込みます。

また、競技会用のスターター・ノートブックには、競技会への応募をより簡単に行えるように、モデルと追加コードが含まれています。

研究者の皆様には、BirdCLEFコンペティションへの参加をご検討いただくようお願いいたします。この努力の結果、研究者や保全実務者が鳥の個体数の傾向を調査し、効果的な保全戦略を構築することがより容易になることを期待しています。

謝辞

このような大規模なデータセットを作成するのは大変な作業でしたが、本コンテストのためにデータの収集と手作業による注釈付けにご協力いただいた多くの専門家の方々に大変感謝しています。

具体的には、以下の方々に感謝いたします。(アルファベット順で機関および個人の貢献者)
BrainチームのJulie CattiauとTom Denton。ケムニッツ工科大学のMaximilian EiblとStefan Kahl。コーネル鳥類研究所のK.Lisa Yang Center for Conservation BioacousticsのStefan KahlとHolger Klinck。 LifeCLEFのAlexis JolyとHenning Müller、NATURAL STATEのJonathan Baillie、OekoFor GbRのHendrik Reers、Alain JacotとFrancis Cherutich、xeno-cantoのWillem-Pier Vellinga。

また、この記事のヒーロー画像の使用を許可してくださったCornell Lab of OrnithologyのIan Davies氏に感謝いたします。