三次元物体認識のためのObjectronデータセットの発表(1/2)

１．三次元物体認識のためのObjectronデータセットの発表(1/2)まとめ

・二次元と比較して大規模なデータセットがないため三次元で物体を理解することは困難
・Objectronデータセットはこの問題を解決する三次元物体中心の短いビデオデータ集
・各ビデオにはカメラのポーズなどAR用データや三次元境界ボックスラベルが付随

２．Objectronデータセットとは？

以下、ai.googleblog.comより「Announcing the Objectron Dataset」の意訳です。元記事の投稿は2020年11月9日、Adel AhmadyanさんとLiangkai Zhangさんによる投稿です。

アイキャッチ画像は3D bounding boxesに収まりきらなかったダックスフントでクレジットはPhoto by Erda Estremera on Unsplash

2020年12月追記)その他のMediaPipeシリーズのまとめ記事はこちら。

機械学習(ML:Machine Learning)の最先端技術は、写真を使ってモデルをトレーニングするだけで、多くのコンピュータービジョンタスクで並外れた精度を達成しています。

これらの成功に基づいて三次元物体の理解を進める事は、拡張現実、ロボット工学、自動運転、画像検索など、幅広いアプリケーションを構築し、強化できる大きな可能性があります。

例えば、今年の初めに、モバイルデバイス向けに設計されたリアルタイム三次元物体検出モデルであるMediaPipe Objectronをリリースしました。MediaPipe Objectronは、物体の3D境界ボックスを予測するために、全てラベルが付けられた実世界の3Dデータセットでトレーニングされました。

それでも、二次元タスクと比較して大規模な実世界のデータセット(ImageNet、COCO、Open Imagesなど)がないため、三次元で物体を理解することは依然として困難なタスクです。

三次元物体の理解を継続的に進歩させ、研究コミュニティに力を与えるために、物体の三次元構造をより多く捕捉するする、物体中心のビデオデータセットのリリースが強く求められています。

そして、このデータセットは機械学習モデルのトレーニングとベンチマークを支援するために、多くの視覚タスク(つまり、ビデオ映像またはカメラからのストリーム)に使用されるデータ形式と一致させる必要があります。

本日、Objectronデータセットを公開する事に私達は興奮しています。これは、様々な角度からより多くの一般的な物体のセットを捕捉している、物体中心の短いビデオクリップのコレクションです。

各ビデオクリップには、カメラのポーズとまばらな点群を含むARセッション用のメタデータが付属しています。データには、物体の位置、方向、および寸法を説明する、各物体について手動でラベル付けされた三次元境界ボックスも含まれています。データセットは、地理的に多様なサンプル(5大陸の10か国をカバー)から収集された400万を超える注釈付き画像で補足された15,000の注釈付きビデオクリップで構成されています。