Soli：Pixel4のMotion Senseを実現する革新的なレーダー(3/3)

１．Soli：Pixel4のMotion Senseを実現する革新的なレーダー(3/3)まとめ

・ジェスチャーを分類するには、2つの課題とサイズや電力要件をクリアする必要があった
・1つは全てのユーザーが固有の動きをする事で、スワイプなどの単純な動作も統一されていない事
・もう一つは、ターゲットにしているジェスチャに似ている多数の無関係な動きが存在する事

２．Soliの製品化時の課題

以下、ai.googleblog.comより「Soli Radar-Based Perception and Interaction in Pixel 4」の意訳です。アイキャッチ画像のクレジットはPhoto by Joe Pizzio on Unsplash

レーダー用の機械学習アルゴリズムの設計
Soliの信号処理パイプラインを使用して元のレーダー信号をフィルタリングおよびブーストした後、フィルタリング結果の信号変換がジェスチャー分類のためにSoliの機械学習(ML)モデルに供給されます。これらのモデルは、低遅延でMotion Senseジェスチャーを正確に検出および認識するようにトレーニングされています。

あらゆるモーションセンシングテクノロジーに共通する事ですが、端末に触れずに行われるジェスチャーを堅実に分類するには、2つの主要な研究課題があります。 1つ目は、全てのユーザーが固有の動きをする事であり、スワイプなどの単純な動作も無数のやり方がある事です。 2つ目は、1日を通して、センサーの範囲内で、ターゲットにしているジェスチャーに似ているように見える多数の無関係な動きが存在する可能性です。更に、携帯電話が動くと、携帯電話のモーションセンサーの観点から見ると、全世界が動いているように見えます。

これらの課題を解決するには、レーダー信号からジェスチャーを低遅延で検出する事に最適化したカスタムMLアルゴリズムを設計する必要がありました。 SoliのMLモデルは、数千人のGoogleボランティアから記録された数百万のジェスチャーを使用してトレーニングされたニューラルネットワークで構成されています。これらのレーダー記録は、デバイスの近くで行われた一般的な動きを含む他のGoogleボランティアからの数百時間の背景レーダー記録と混合されました。 SoliのMLモデルはTensorFlowを使用してトレーニングされ、Pixelの低電力デジタルシグナルプロセッサ(DSP)で直接実行されるように最適化されました。これにより、メインアプリケーションプロセッサの電源が切れている場合でも、低電力でモデルを実行できます。

Soliをコンセプトから製品へ
SoliのPixelスマートフォンへの統合は、ハードウェア、ソフトウェア、アルゴリズムなどのエンドツーエンドレーダーシステムが消費者向けデバイスのサイズと電力の制約内でタッチレスで操作を可能にするよう慎重に設計されたために可能になりました。 Soliの小型ハードウェアにより、レーダーシステム全体がPixelの上部ベゼルの限られたスペースに収まるようになりました。これはチームの大きな成果でした。実際、2014年の最初のSoliプロトタイプはデスクトップコンピューター並みのサイズでした。ハードウェアの革新と前述の新しい時間センシングパラダイムを組み合わせて、レーダーシステム全体をパッケージ上のアンテナを含む単一の5.0 mm x 6.5 mm RFICに縮小しました。 Soliチームは、いくつかの革新的なハードウェア電源管理スキームを導入し、Soliの計算サイクルを最適化して、Motion Senseがスマートフォンの電力要件に収まるようにしました。

ハードウェアの革新には、レーダーシステムをデスクトップサイズのプロトタイプから、単一の5.0mm x 6.5mm RFICに段階的に縮小する事が含まれていました。

Pixelに統合するために、レーダーシステムチームは製品設計エンジニアと密接に協力して、Soliの信号品質を維持しました。

電話機内のチップ配置とチップ上の集積部は、ガラスを通る信号伝送を最大化し、周囲のコンポーネントからの反射と閉塞を最小化するように最適化されました。また、チームは、周囲の通話コンポーネントとの共存を可能にするカスタム信号処理技術も発明しました。例えば、レーダー信号に対する音声振動の影響を軽減するための新しいフィルターが開発され、音楽の再生中にジェスチャーを検出できるようになりました。このようなアルゴリズムの革新により、様々な場面でMotion Sense機能が有効にする事が出来ました。

Soliのレンジドップラー信号に現れるPixel 4の音声による振動

今後の方向性
SoliのPixel 4およびPixel 4 XLへの統合の成功は、日常用途の一般消費者向けモバイルデバイスでのレーダーベースのマシン認識の実現可能性を初めて実証しました。Pixelスマートフォンに搭載されたMotion Senseは、明示的および暗黙的な途切れない対話のために、状況認識とジェスチャー認識を実現出来るSoliの可能性を示しています。Soliの研究と開発を継続し、レーダーベースの新しいセンサー活用および知覚機能を実現できることを楽しみにしています。

謝辞
本件は、Google Advanced Technology and Projects(ATAP)とPixel、及びAndroid製品チームとの共同作業です。特に、このブログ投稿に主要な貢献をしてくれたPatrick Amihoodに感謝します。