前立腺がんの診断とグリーソン分類に関する国際的なコンペ(2/2)

１．前立腺がんの診断とグリーソン分類に関する国際的なコンペ(2/2)まとめ

・コンテストは非常に迅速にモデルが改善され病理医に近いレベルを10日以内に達成
・コードを公開して共有する事が参加チーム全体のスコアの急速な改善につながった
・PANDAチャレンジの開発データセットはオープンソース化されさらなる進歩が期待される

２．PANDA Challengeから学んだこと

以下、ai.googleblog.comより「An International Scientific Challenge for the Diagnosis and Gleason Grading of Prostate Cancer」の意訳です。元記事は2022年2月11日、Po-Hsuan Cameron ChenさんとMaggie Demkinさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Long Ma on Unsplash

検証フェーズでは、トップクラスの性能を持つ複数のアルゴリズムが選択され、個々に評価されました。評価時は、内部および外部の検証データセットが使用され、これらのデータセットには前立腺の専門病理医からなる審査団が品質の高いラベルを付与していました。

さらに、一般病理医グループが同じ症例のサブセットを採点する事で、タスクとデータセットの難易度を考慮しました。その後、各チームから提出されたアルゴリズムと、これらのサブセットに対して国際的および米国の一般病理医グループが行った評定が比較されました。

PANDAチャレンジの開発・検証フェーズの概要

チャレンジ中の研究速度

世界規模のコンペティションで開発されたグリソングレーディングMLアルゴリズム群が、病理医レベルのパフォーマンスを達成し、大陸間や国籍が異なる集団にうまく一般化できることを発見しました。

すべての外部検証セットにおいて、これらのアルゴリズムは泌尿器科病理医(前立腺専門医)と高い一致を示し、生検における腫瘍の検出で高い感度を達成しました。Kaggleプラットフォームで実行したため、大会期間中、チームのパフォーマンスを追跡する事が可能でした。

驚くべきことに、内部検証セットにおいて前立腺の病理医と0.90(二次加重コーエンズカッパ)以上の高い一致を達成した最初のチームは、コンペティションの最初の10日以内に発生しました。33日目には、全チームの成績の中央値が0.85を超えました。

大会期間中のアルゴリズム性能の推移
チューニングセットと内部検証セットにおける全参加チームの最高得点で示されています。大会期間中、各チームはアルゴリズムを提出し、チューニングセットの評価を受け、そのスコアを受け取ることができました。同時に、参加チームに開示されることなく、内部検証セットでアルゴリズムが評価されました。どのチームも上位のスコアを獲得していることから、アルゴリズムの急速な向上がうかがえます。

チャレンジから学んだこと

Kaggleプラットフォーム上で討論掲示板のモデレーターを務めた際に、チームがcolab notebooksを通じてコードを公開して共有したことが、全体の急速な改善につながったことを知りました。これは今後の公開チャレンジにとって有望な兆候であり、共通のプラットフォーム上で知識を共有することの力を明確に示すものです。

高品質の参照標準パネルを用いて、異なった集団間でアルゴリズムの汎化性を評価する公開チャレンジを組織することは、実行管理面で大きな困難を伴います。国や組織を超えてこの規模のデータセットを集めることは、大規模な事業となりました。

この研究は、Lancet Oncology誌に2件、JAMA Oncology誌に1件、この分野でそれぞれの論文を発表している3つの主催機関の素晴らしい協力関係によってもたらされたものです。

これらの努力の積み重ねが、このコンペティションの基礎となる質の高い土台となったのです。この発表に伴い、ラドバウドとカロリンスカの研究グループは、PANDAチャレンジの開発データセットをオープンソース化し、前立腺グリソングレーディングアルゴリズムのさらなる改良に役立てようとしています。この分野でのさらなる進歩、そして国際的な知識の共有と共同研究のきっかけとなるようなチャレンジが生まれることを期待しています。

謝辞

Google のこのプロジェクトへの主な貢献者は、Po-Hsuan Cameron Chen, Kunal Nagpal, Yuannan Cai, David F. Steiner, Maggie Demkin, Sohier Dane, Fraser Tan, Greg S. Corrado, Lily Peng, Craig H. Mermelが含まれます。

このプロジェクトの協力者には、Wouter Bulten, Kimmo Kartasalo, Peter Ström, Hans Pinckaers, Hester van Boven, Robert Vink, Christina Hulsbergen-van de Kaa, Jeroen van der Laak, Mahul B. Amin, Andrew J. Evans, Theodorus van der Kwast, Robert Allan, Peter A. Humphrey, Henrik Grönberg, Hemamali Samaratunga, Brett Delahunt, Toyonori Tsuzuki, Tomi Häkkinen, Lars Egevad, Masi Valkonen, Pekka Ruusuvuori, Geert Litjens, Martin Eklund、そしてPANDA Challenge consortiumが含まれます。

Ellery Wulczyn、Annisah Um’rani、Yun Liu、Dale Websterには、原稿に対するフィードバックとプロジェクトに対する指導をいただきました。NMCSDの共同研究者、特にNiels Olsonには、非識別化データを米国外検証セットとして内部再利用する際に貢献して頂きました。

また、Sami Lachgar、Ashley Zlatinov、Lauren Winerには、このブログ記事へのフィードバックをいただき、心から感謝しています。