三次元物体認識のためのObjectronデータセットの発表(2/2)

１．三次元物体認識のためのObjectronデータセットの発表(2/2)まとめ

・使用法やチュートリアルなどObjectronデータセットの技術的な詳細はgithubで入手可能
・データセットには、自転車、本、ボトル、カメラ、椅子、カップ、靴などが含まれる
・三次元境界ボックス、AR用データ、フレームワークですぐ使えるデータ形式も含まれる

２．Objectronデータセットの内容

以下、ai.googleblog.comより「Announcing the Objectron Dataset」の意訳です。元記事の投稿は2020年11月9日、Adel AhmadyanさんとLiangkai Zhangさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Erda Estremera on Unsplash

三次元物体検出の性能評価
人間が付与した正しいラベルを使用して、三次元IoU値(Intersection over Union)で類似性統計を計測し、三次元物体検出モデルのパフォーマンスを評価しました。これは、コンピュータービジョンタスクで一般的に使用される測定基準であり、モデルが付与した境界ボックスが真実の境界ボックスにどれだけ近いかを測定します。

私達は三次元で境界ボックスの正確な三次元IoU値を計算するための一般的なアルゴリズムを提案します。

まず、Sutherland-Hodgman Polygon clippingアルゴリズムを使用して、2つのボックスの各面間の交点を計算します。これは、コンピュータグラフィックスで使用される手法である視錐台カリング(frustum culling)に似ています。

交差部の体積は、クリップされたすべてのポリゴンの凸包によって計算されます。最後に、IoUが2つのボックスの交差の体積と和集合の体積から計算されます。評価指標のソースコードをデータセットと一緒にリリースします。

ポリゴンクリッピングアルゴリズムを使用して、ボックス間の三次元交点を計算します。
左：ボックスに対してポリゴンをクリッピングして、各面の交点を計算します。
右：すべての交点(緑)の凸包を計算して、交点の体積を計算します。

データセットの形式
使用法やチュートリアルなど、Objectronデータセットの技術的な詳細は、githubのgoogle-research-datasets/Objectronから入手できます。データセットには、自転車、本、ボトル、カメラ、シリアルボックス、椅子、カップ、ラップトップ、靴が含まれ、以下の資産とともにGoogleCloudストレージのobjectron bucket に保存されています。

・ビデオ
・注釈ラベル(物体の三次元境界ボックス)
・ARメタデータ(カメラのポーズ、点群、平面など)
・処理済みデータセット：画像の場合はtf.example形式、ビデオの場合はSequenceExample形式の注釈付きフレームのシャッフルバージョン
・前述の指標に基づいて評価を実行するためのサポートスクリプト
・「HelloWorld」の例を含む、データをTensorflow、PyTorch、Jaxにロードし、データセットを視覚化するためのサポートスクリプト

データセットを使用して、一般的なTensorflow、PyTorch、Jaxフレームワークでデータセットを解析するためのデータパイプラインもオープンソースとして公開しており、Google colab notebookのサンプルも提供されています。

このObjectronデータセットをリリースすることで、研究コミュニティが三次元物体形状の理解の限界を押し上げることができるようになる事を願っています。また、ビューの合成、三次元特徴表現の改善、教師なし学習など、新しい研究とアプリケーションの育成も望んでいます。Google Groupのメーリングリストに参加し、githubのWebページをご覧いただけます。今後の活動や開発にご期待ください。

謝辞
本投稿で解説されている研究は、Adel Ahmadyan, Liangkai Zhang, Jianing Wei, Artsiom Ablavatski, Mogan Shieh, Ryan Hickman, Buck Bourdon, Alexander Kanaukou, Chuo-Ling Chang, Matthias Grundmann, Tom Funkhouserによって行われました。

Aliaksandr Shyrokau, Sviatlana Mialik, Anna Eliseeva、および注釈チームの高品質な注釈に感謝します。また、TensorFlow Object DetectionAPIに関するガイダンスを提供してくれたJonathanHuangとVivekRathodにも感謝します。