Scanned Objects dataset:日用品を3Dスキャンしたデータセット(2/2)

１．Scanned Objects dataset:日用品を3Dスキャンしたデータセット(2/2)まとめ

・初期のスキャンモデルで摩擦や変形などの表面特性がなくシミュレーションに不適だった
・スキャンモデルをシミュレーションで利用できるようにするためにパイプラインを構築
・コンピュータビジョン、ロボットナビゲーションなど様々なプロジェクトで使用されている

２．Scanned Objects datasetの応用

以下、ai.googleblog.comより「Scanned Objects by Google Research: A Dataset of 3D-Scanned Common Household Items」の意訳です。元記事は2022年6月14日、Laura DownsさんとAnthony Francisさんによる投稿です。

アイキャッチ画像はDALL·E Megaの学習途中版で生成した3D-Scanned Common Household Items

シミュレーションモデルの変換

初期の内製スキャンモデルでは、プロトコルバッファのメタデータ、高解像度のビジュアルなど、シミュレーションに適さないフォーマットが使用されていました。物体によっては、質量などの物理特性はスキャン時に物体の重量を測定することで取得できましたが、摩擦や変形などの表面特性は表現できませんでした。

そこで、データ収集後、これらの問題を解決し、スキャンしたモデルをシミュレーションシステムで利用できるようにするための自動化パイプラインを構築しました。自動化されたパイプラインは、無効な物体や重複する物体をフィルタリングし、物体の説明文を使用して物体名を自動的に割り当て、シミュレーション要件を満たさない物体メッシュスキャンを排除します。次に、形状や体積からシミュレーション特性(質量や慣性モーメントなど)を推定し、衝突ボリュームを構築して、モデルを使用可能なサイズにダウンスケールします。最後に、パイプラインは各モデルをSDF形式に変換し、サムネイル画像を作成し、シミュレーションシステムで使用するためにモデルをパッケージ化します。

パイプラインは、シミュレーションに適さないモデルのフィルタリング、衝突ボリュームの生成、物理特性の計算、メッシュのダウンサンプリング、サムネイルの生成、そしてシミュレーションシステムで使用するためのパッケージングをすべて行います。

BlenderでレンダリングされたScan Objectモデルのコレクション

このパイプラインの出力は、名前、質量、摩擦、慣性、衝突情報を持つ適切なフォーマットのシミュレーションモデルであり、Open RoboticsのGazebo上のオープンソースホスティングと互換性のある公開インターフェースで検索可能なメタデータも含まれています。

出力オブジェクトは、1モデルあたり平均1.4MbのWavefront OBJメッシュを参照するSDFモデルとして表現されています。これらのモデルのテクスチャはPNGフォーマットで、平均11.2Mbです。これらにより、高解像度の形状およびテクスチャが得られます。

インパクト

Scanned Objectsデータセットには、1030個のスキャンオブジェクトとそれに関連するメタデータが含まれており、合計13 Gb、CC-BY 4.0 Licenseの下でライセンスされています。これらのモデルは手作業でモデリングされたものではなく、スキャンされたものであるため、理想化された再現ではなく、実際のオブジェクトの特性をリアルに反映し、シミュレーションから実世界への学習伝達の困難さを軽減します。

入力されたビュー(左)と、2つの新しいビューから再構成された形状とテクスチャ(右)(図は「Differentiable Stereopsisから引用)

ReplicaデータセットとScanned Objectsから得た3つの実世界3Dスキャンに対するアクションスコア予測の視覚化(図はWhere2Actから引用)

Scanned Objectsデータセットは、コンピュータビジョン、コンピュータグラフィックス、ロボット操作、ロボットナビゲーション、3次元形状処理など、様々なプロジェクトで既に25以上の論文に使用されています。

ほとんどのプロジェクトで、学習アルゴリズムのための合成学習データを提供するためにこのデータセットが使用されています。例えば、Scan Objectsデータセットは、12以上のビジョンタスクで使用されるスケーラブルなデータセットのオープンソースジェネレータであるKubricや、棚上の隠れたオブジェクトの機械的検索を自動化するための側面アクセスX線による棚検索システムであるLAX-RAYで使用されています。

実世界のデータに対する教師なし3次元キーポイント(図はKeypointDeformerから引用)

私たちは、Scanned Objectsデータセットが将来、より多くのロボット工学やシミュレーションの研究者に利用され、このデータセットが示すサンプルが、3Dモデルリポジトリの他の所有者を刺激して、世界中の研究者が利用できるようになることを望んでいます。もし自分で使ってみたいなら、Gazeboにアクセスしてブラウズを始めてみてください。

謝辞

著者らは、Scanned Objectsチームに感謝します。
Peter Anderson-Sprecher, J.J. Blumenkranz, James Bruce, Ken Conley, Katie Dektar, Charles DuHadway, Anthony Francis, Chaitanya Gharpure, Topraj Gurung, Kristy Headley, Ryan Hickman, John Isidoro, Sumit Jain, Brandon Kinman, Greg Kline, Mach Kobayashi, Nate Koenig, Kai Kohlhoff, James Kuffner, Thor Lewis, Mike Licitra, Lexi Martin, Julian (Mac) Mason, Rus Maxham, Pascal Muetschard, Kannan Pashupathy, Barbara Petit, Arshan Poursohi, Jared Russell, Matt Seegmiller, John Sheu, Joe Taylor, Vincent Vanhoucke, Josh Weaver, そして Tommy McHugh。

このプロジェクトの企画、論文執筆、ブログ記事の編集を担当したKrista Reymann、スキャンパイプラインの設計を担当したJames Bruce、オブジェクトモデルのデータベースの管理を担当したPascal Muetschardに特別な感謝を捧げます。