ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(1/3)

１．ClearGrasp:透明な物体を認識可能な機械学習アルゴリズム(1/3)まとめ

・現在の光学式3D距離センサーは透明な物体に対する距離を正確に測定する事が出来ない可能性がある
・これは物体の表面が全ての方向に均一に光を反射するという仮定の下でセンサーが動作しているため
・これに対処するために透明な物体の正確な3Dデータを推定可能な機械学習アルゴリズムClearGraspを開発

２．ClearGraspとは？

以下、ai.googleblog.comより「Learning to See Transparent Objects」の意訳です。元記事の投稿は2020年2月12日、Shreeyak SajjanさんとAndy Zengさんによる投稿です。アイキャッチ画像のクレジットはPhoto by Aleks Dahlberg on Unsplash

2020年9月追記)関連後続研究としてKeyPoseが発表されています。

RGB-DカメラやLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)などの光学式3D距離センサーは、自動運転車から自律マニピュレーターまで、周辺環境の詳しく正確な3Dマップを生成するためにロボット工学で広く使用されています。

ただし、これらの複雑なロボットシステムは様々な場所で使われていますが、透明な物体(ガラス容器など)は、高価なセンサー一式でさえも混乱して正確な測定が出来ない可能性があります。

これは、光学3Dセンサーが、全ての物体の表面がランバート面(Lambertian)であると想定するアルゴリズムによって動いているためです。つまり、全ての方向で光を均一に反射する、全ての視野角に均一な表面輝度をもたらす反射です。しかし、透明な物体は表面が光を屈折および反射するため、この仮定に反しています。従って、透明な物体に対する光学3D距離センサーデータのほとんどは無効であるか、予測できないノイズを含んでいます。

透明な物体は、光学3Dセンサーで検出されないことがよくあります。
上段右図：例えば、Intel®RealSense™D415 RGB-Dカメラからで計測した3D深度画像にガラス瓶は表示されません。下：深度画像を元に再構築された3D画像。透明な物体の捕捉に失敗しています。

機械が透明な表面をよりよく感知できるようにすると、安全性が向上するだけでなく、キッチン用品を扱うロボットやリサイクル用のプラスチックの仕分け、室内環境の案内やガラステーブル上でのAR効果の生成まで、従来は難しかった様々な場面で新しいアプリケーションが実現できるようになります。

この問題に対処するために、Synthesis AIとコロンビア大学の研究者と協力して、RGB-D画像から透明な物体の正確な3Dデータを推定できる機械学習アルゴリズムであるClearGraspを開発しました。

この研究は、現在公開されている透明な物体を含む大規模な合成データセットによって可能になりました。ClearGraspは、ディープラーニングを使用して透明な物体までの奥行情報を正確に再構築し、トレーニング中には出現しなかった新しい物体にも一般化できているため、標準のRGB-Dカメラからの入力を処理できます。

これは、背景照明とカメラの位置関係など多くの事前情報を入力する必要になる事が多い、従来の透明な物体を処理する方法とは対照的です。

この研究では、ClearGraspを物体把握ロボットの制御システムに組み込むことで、ロボットの正確性が向上する事をも示しています。透明なプラスチックでできている物体の把握成功率が大幅に向上します。

ClearGraspは、ディープラーニングを使用して、透明な表面を持つ物体の正確な3D深度データを復元できます。

透明な物体を含む大規模な視覚タスク用データセット
効果的なディープラーニングモデルをトレーニングするには大量のデータ(例：視覚タスク用のImageNetやBERT用のウィキペディア)が必要であり、ClearGraspも例外ではありません。残念ながら、透明な物体を3Dデータとして使用できるデータセットはありませでした。Matterport3DやScanNetなどの既存の3Dデータセットは、高価で時間のかかるラベル付けプロセスを必要とするため、透明な表面を持つ物体を見逃しています。

この問題を克服するため、対応する面法線(surface normals)、セグメンテーションマスク、エッジ、深度情報を備えた50,000枚以上の写実的なレンダリングを含む透明な物体用の独自の大規模なデータセットを作成しました。

このデータセットは様々な2Dおよび3D検出タスクのトレーニングに役立ちます。各画像には、様々な背景と照明条件で、平らな地面または入れ物内に、最大5つの透明な物体が含まれています。

ClearGrasp合成データセット内の透明物体のサンプルデータ