三次元物体認識のためのObjectronデータセットの発表(1/2)

AI

1.三次元物体認識のためのObjectronデータセットの発表(1/2)まとめ

・二次元と比較して大規模なデータセットがないため三次元で物体を理解することは困難
・Objectronデータセットはこの問題を解決する三次元物体中心の短いビデオデータ集
・各ビデオにはカメラのポーズなどAR用データや三次元境界ボックスラベルが付随

2.Objectronデータセットとは?

以下、ai.googleblog.comより「Announcing the Objectron Dataset」の意訳です。元記事の投稿は2020年11月9日、Adel AhmadyanさんとLiangkai Zhangさんによる投稿です。

アイキャッチ画像は3D bounding boxesに収まりきらなかったダックスフントでクレジットはPhoto by Erda Estremera on Unsplash

機械学習(ML:Machine Learning)の最先端技術は、写真を使ってモデルをトレーニングするだけで、多くのコンピュータービジョンタスクで並外れた精度を達成しています。

これらの成功に基づいて三次元物体の理解を進める事は、拡張現実、ロボット工学、自動運転、画像検索など、幅広いアプリケーションを構築し、強化できる大きな可能性があります。

例えば、今年の初めに、モバイルデバイス向けに設計されたリアルタイム三次元物体検出モデルであるMediaPipe Objectronをリリースしました。MediaPipe Objectronは、物体の3D境界ボックスを予測するために、全てラベルが付けられた実世界の3Dデータセットでトレーニングされました。

それでも、二次元タスクと比較して大規模な実世界のデータセット(ImageNet、COCO、Open Imagesなど)がないため、三次元で物体を理解することは依然として困難なタスクです。

三次元物体の理解を継続的に進歩させ、研究コミュニティに力を与えるために、物体の三次元構造をより多く捕捉するする、物体中心のビデオデータセットのリリースが強く求められています。

そして、このデータセットは機械学習モデルのトレーニングとベンチマークを支援するために、多くの視覚タスク(つまり、ビデオ映像またはカメラからのストリーム)に使用されるデータ形式と一致させる必要があります。

本日、Objectronデータセットを公開する事に私達は興奮しています。これは、様々な角度からより多くの一般的な物体のセットを捕捉している、物体中心の短いビデオクリップのコレクションです。

各ビデオクリップには、カメラのポーズとまばらな点群を含むARセッション用のメタデータが付属しています。データには、物体の位置、方向、および寸法を説明する、各物体について手動でラベル付けされた三次元境界ボックスも含まれています。データセットは、地理的に多様なサンプル(5大陸の10か国をカバー)から収集された400万を超える注釈付き画像で補足された15,000の注釈付きビデオクリップで構成されています。


Objectronデータセットのサンプルビデオ

三次元物体検出モデル
データセットに加えて、靴、椅子、マグカップ、カメラの4つのカテゴリ用の三次元物体検出モデルも共有しています。これらのモデルは、GoogleのオープンソースフレームワークであるMediaPipeでリリースされます。

MediaPipeはライブメディアとストリーミングメディア向けのクロスプラットフォームで、カスタマイズ可能なMLソリューションで、デバイス上でリアルタイムに手、虹彩、体のポーズなどを追跡する事にも使用できます。


モバイル上で実行されている三次元物体検出ソリューションのデモ

以前にリリースされたシングルステージObjectronモデルとは対照的に、これらの最新バージョンは2ステージアーキテクチャを利用しています。

第一段階では、TensorFlow物体検出モデルを使用して、物体を画像から二次元で切り抜きます。
第二段階では、画像の切り抜きを使用して三次元境界ボックスを推定すると同時に、次のフレームの物体の二次元切り抜きを計算するため、物体検出器は全てのフレームを実行する必要はありません。

第二段階の三次元境界ボックス予測器は、Adreno650モバイルGPUで83FPSで実行できます。


三次元物体検出ソリューションの図

3.三次元物体認識のためのObjectronデータセットの発表(1/2)関連リンク

1)ai.googleblog.com
Announcing the Objectron Dataset

2)mediapipe.dev
MediaPipe

3)github.com
google-research-datasets / Objectron

4)groups.google.com
Objectron

コメント

タイトルとURLをコピーしました