BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか？(2/2)

１．BC-Z:ロボットは完全に新しい作業を指示に従って実行できるようになれるのか？(2/2)まとめ

・模倣学習の拡張でロボットが未経験の新しいタスクに対応できるようになる可能性を示した
・言語モデルが学習した概念同士の関連がロボットに柔軟性と応用力を与える事ががわかった
・BC-Zはロボットの汎用性を高め、人がロボットに命令できるようにするための重要な進歩

２．BC-Zの能力

以下、ai.googleblog.comより「Can Robots Follow Instructions for New Tasks?」の意訳です。元記事は2022年2月2日、Chelsea FinnさんとEric Jangさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Suad Kamardeen on Unsplash

実験結果

言語モデルにおいて、文のembeddingsは学習データ内で出会った「概念の組立て(compositions of concepts)」に対して汎化することがよく知られています。例えば、「pick up a cup(カップを手に取る)」と「push a bowl(ボウルを押す)」のような文に対して翻訳モデルを学習させると、そのモデルは「push a cup(コップを押す)」も正しく翻訳するはずです。

私たちは、言語エンコーダに見られる組立てへの汎化能力が、実際のロボットに移植できるかどうか、つまり、見たことのない「物体-物体」や「タスク-物体」の組を組成できるかどうかという問題を研究しています。

この方法を検証するために、100個の学習タスクの中にない28個のタスクを事前に選択しました。例えば、この新しいテストタスクの1つは、「ブドウを拾って陶器のボウルに入れる」というものですが、トレーニングタスクでは、ブドウを使って他のことをしたり、他のものを陶器のボウルに入れたりしています。訓練中に、ブドウと陶器のボウルが同じ風景内に登場することはありません。

実験では、トレーニングセットに含まれていない多くのタスクをロボットがこなせることが確認できました。以下は、ロボットが学習した方針の例です。

学習データ内にはなかった3つのタスクの指示を完了させています。(2倍速表示)

定量的には、訓練時に与えられたなかった28の課題の内、合計24の課題にある程度成功することができ、汎化能力が期待できることがわかりました。

また、訓練課題での成績とテスト課題での成績の差は著しく小さいことがわかりました。これらの結果は、マルチタスクな視覚運動制御を改善するだけで、パフォーマンスを大幅に改善できることを示しています。

BC-Zのheld-outタスク、つまりロボットが訓練されていないタスクに対する性能の図です。言語コマンドを正しく解釈し、それを行動に変換することで、評価対象の多くのタスクをこなすことができました。

成果

本研究の成果は、単純な模倣学習(imitation learning)アプローチを拡張することで、新しいタスクへのゼロショット汎化が可能になることを示しています。これは、ロボットが学習データにない行動をうまく実行できるようにする際に、最初に必要なものの1つです。

興味深いことに、ロボット研究と関係のない言語資料で事前学習した言語embeddingsであっても優れたタスク調整能力を示します。私たちは、自然言語モデルがロボットに柔軟な入力インタフェースを提供できるだけでなく、事前に学習された言語特徴表現が、未見の物体ペアを組成するなど、下流タスクのポリシーに新たな汎化能力を実際に与えることを実証しました。

また、このシステムを構築する過程で、定期的な人間の介入が、シンプルでありながら良好なパフォーマンスを実現するための重要な手法であることを確認しました。

今後やるべきことは多く存在しますが、BC-Zのゼロショット汎化機能は、ロボット学習システムの汎用性を高め、人がロボットに命令できるようにするための重要な進歩であると考えています。

本論文では、ポリシーの学習に用いた遠隔操作デモを公開し、今後のマルチタスクロボット学習研究の貴重な資料となることを期待しています。

謝辞

この研究の共著者に感謝します。
Alex Irpan, Mohi Khansari, Daniel Kappler, Frederik Ebert, Corey Lynch, and Sergey Levine。

このプロジェクトは、Google ResearchとEveryday Robotsの共同研究です。ロボット操作の監督とタスクを人間が実行しているビデオの収集をしてくれたNoah Brown, Omar Cortes, Armando Fuentes, Kyle Jeffrey, Linda Luu, Sphurti Kirit More, Jornell Quiambao, Jarek Rettinghouse, Diego Reyes, Rosario Jau-regui Ruano, 及び Clayton Tanに感謝します。そして貴重な議論をしてくれたJeffrey Bingham, Jonathan Weisz, and Kanishka Rao for valuable discussionsに感謝します。

また、この記事のアニメーションを作成してくれたTom Small、データセットのオープンソース化に協力してくれたPaul Mooneyに感謝します。