機械学習を使って触覚用のセンサーを改良(2/2)

１．機械学習を使って触覚用のセンサーを改良(2/2)まとめ

・LRAを応用してスマートフォンが現在手持ちかテーブルの上かなど周辺環境を知る事が可能
・加わっている圧力の強さやブレスレットのフィット感なども感知できるようになる
・振動、騒音は最小限に抑えられており所費電力もスマートフォンに十分搭載可能なレベル

２．触覚センサーを使用した応用事例

以下、ai.googleblog.comより「Haptics with Input: Using Linear Resonant Actuators for Sensing」の意訳です。元記事の投稿は2020年11月18日、Artem Dementyevさんによる投稿です。

ウェアラブルなデバイスをイメージしたアイキャッチ画像のクレジットはPhoto by Joshua Gandara on Unsplash

アプリケーション
携帯電話で使用されるLRAの挙動は、テーブル上に置かれている場合でも、柔らかい表面上に置かれている場合でも、手持ちでも同じです。振動する電話がガラスのテーブルから滑り落ちたり、大きくて不要な振動音を発したりする可能性があるため、この挙動は問題を引き起こす可能性があります。

理想的には、スマホに搭載されるLRAの挙動は、その環境に基づいて自動的に調整されるべきです。Pixel 4のLRAに直接配線し、スマートフォンを手に持っている(IN HAND)か、柔らかい表面(ON FOAM:泡状の物質)上に置いているか、テーブルに置いている(ON TABLE)かをLRA逆起電力技術を使用して分類し、検知するアプローチを示しました。

スマホの周囲環境感知

また、LRAをポータブル電子機器の入力/出力デバイスの組み合わせて使用する方法を示す試作品も紹介します。

2つのLRAを取り付けました。1つは電話の左側に、もう1つは右側に。ボタンは、タップ、タッチ、および圧力検出機能を提供します。また、タッチが検出されると、触覚フィードバックを提供するようにプログラムされています。

感圧を検知するサイドボタン

袖、ベスト、ブレスレットなど、多くのウェアラブル触覚補助装置があります。触覚フィードバックを一定の力で皮膚に伝達するには、触手は適切な圧力をかける必要があります。

緩すぎたり、きつすぎたりすることはできません。現在、これを行う一般的な方法は手動調整ですが、一貫性がなく、測定可能なフィードバックが不足している可能性があります。LRA逆起電力技術を使用して、フィットブレスレットデバイスを継続的に監視し、きつすぎる、緩すぎる、またはちょうどいいかどうかをユーザーに問う方法を示します。

フィット感を検知するブレスレット

センサーとしてのLRAの評価
LRAは、接触時の力の大きさに2次関数的に応答するため、圧力センサーとして適切に機能します。

私たちの方法は、評価した5つの既製のLRAタイプすべてで機能します。通常の消費電力はわずか4.27mAであるため、終日のセンシングでは、Pixel4スマートフォンのバッテリー寿命が25時間から24時間に短縮されるだけです。低電力アンプを使用し、電話がアクティブでユーザーと対話しているときなど、必要な場合にのみアクティブセンシングを採用することで、消費電力を大幅に削減できます。

指で圧力を加えると、逆起電力電圧が変化します。

アクティブセンシングの課題は、振動を最小限に抑えることです。
そのため、私達の研究では振動は触れたときに知覚されず、可聴音も発生しません。通常の8.49m/s2とは対照的に、アクティブセンシングを最適化して、わずか2dBの音と0.45m/s2のピークツーピーク加速度を生成しています。これは、指ではほとんど知覚できず、静かです。

今後の研究とまとめ
本投稿で紹介した作業の詳細は、以下のビデオをご覧ください。

将来的には、他のセンシング技術を検討する予定です。おそらく、電流を測定する事が代替アプローチになる可能性があります。また、機械学習を使用すると、センサーが改善され、複雑な逆起電力パターンをより正確に分類できる可能性があります。私達の手法は、アクチュエーターとセンサーによる閉ループフィードバック(closed-loop feedback)を可能にするために更なる開発をする事ができ、外部条件に関係なく、アクチュエーターが同等な効力を発揮できるようになります。

この研究により、既存のユビキタスハードウェアを活用して、豊富な操作手段と閉ループフィードバックのハプティックアクチュエータを供給する新しい機会が開かれると確信しています。

謝辞
この作業は、Artem Dementyev, Alex Olwal 及び Richard Lyonによって行われました。論文に関するフィードバックを寄せてくれたMathieu Le GocとThad Starnerに感謝します。