MediaPipe Objectron:モバイル上でリアルタイムに物体の三次元形状を認識(1/2)

１．MediaPipe Objectron:モバイル上でリアルタイムに物体の三次元形状を認識(1/2)まとめ

・物体検出は広く研究されているが、ほとんどの研究は二次元で物体を検出する技術
・MediaPipe Objectronはモバイル上でリアルタイムに動く3D物体検出パイプライン
・ ARCoreとARKitにより3Dを表現するデータの作成が容易になりこれが実現できた

２．MediaPipe Objectronとは？

以下、ai.googleblog.comより「Real-Time 3D Object Detection on Mobile Devices with MediaPipe」の意訳です。元記事の投稿は2020年3月11日、Adel AhmadyanさんとTingbo Houさんによる投稿です。MediaPipeと言う事でPipeっぽい画像を安直に選んだアイキャッチ画像のクレジットはPhoto by Yiran Ding on Unsplash

2020年11月追記)MediaPipe Objectronのトレーニングに使われたObjectronデータセットが公開されています。その他のMediaPipe関係記事のまとめはこちら。

物体検出は、広く研究されているコンピュータービジョンの問題ですが、ほとんどの研究は2Dでの物体予測に焦点を当てています。

2D予測は2Dの境界ボックスのみを提供しますが、予測を3Dに拡張することで、世界中の物体のサイズ、位置、方向を捕捉でき、ロボット工学、自動運転車、画像検索、拡張現実などの様々なアプリケーションにつながります。

2Dのオブジェクト検出は比較的成熟しており、業界で広く使用されていますが、2D画像からの3Dのオブジェクト検出は、トレーニングデータの欠如と、物体の外観と形状の多様性のため、難しい問題です。

本日、私達はMediaPipe Objectronを発表します。MediaPipe Objectronは日常用途で使えるオブジェクト検出用のモバイルリアルタイム3Dオブジェクト検出パイプラインです。

このパイプラインは、2D画像内のオブジェクトを検出し、新しく作成した3Dデータセットでトレーニングされた機械学習(ML)モデルを介してその姿勢とサイズを推定します。

Objectronは、クロスプラットフォームフレームワークであるMediaPipeの上に実装されています。MediaPipeは様々な形式で入力される知覚データを処理するためのパイプラインを構築可能で、Objectronはモバイルデバイス上でオブジェクトの3D境界ボックスをリアルタイムで計算します。

単一画像から3Dオブジェクトの検出。 MediaPipe Objectronは、モバイルデバイスでリアルタイムに日常的な物体の位置、方向、サイズを特定します。

実世界から3Dトレーニングデータを取得
LIDARのような3Dキャプチャセンサーに依存する自動運転車の研究が普及しているため、街路の3Dデータは十分にありますが、よりきめ細かい日常的な物体用の検証済み3Dラベルデータセットは非常に限られています。この問題を克服するために、モバイル拡張現実(AR:Augmented Reality)セッションデータを使用した新しいデータパイプラインを開発しました。 ARCoreとARKitの登場により、数億台のスマートフォンにAR機能が追加され、ARセッション中にカメラポーズ、3Dを表現する点群(3D point clouds)、推定された照明位置、表面状態などの追加情報を捕捉できるようになりました。

データに検証済みラベルを付けるために、ARセッションデータで使用する新しい注釈ツールを作成しました。これにより、注釈作業者は物体の3D境界ボックスにすばやくラベルを付けることができます。

このツールは、分割画面ビューを使用して、左側に3D境界ボックスが重ね合わされた2Dビデオフレームが表示され、右側に3Dを表現する点群、カメラ位置、および検出された平面が表示されます。

注釈作業者は、三次元形状を意識して3D境界ボックスを描画し、2Dビデオフレームでその位置を確認できます。静的な物体の場合、単一フレーム内の物体に注釈を付け、ARセッションデータから検証されたカメラポーズ情報を使用してその位置を他の全てのフレームに伝播するだけでよく、非常に効率的な手順になります。

3D物体検出用の実世界のデータのラベル
右：3検出された表面と点群を使って3D物体に3DD境界ボックスが付与されています。
左：ラベル付き3D境界ボックスの投影がビデオフレームに重ね合わせて表示されるためラベルの検証が容易になります。