VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(1/2)

１．VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(1/2)まとめ

・ウェアラブルデバイスや携帯電話の多くは振動などの触覚で情報を伝える
・効果的な触覚システムを設計するのは数や位置を試行錯誤する必要があり困難
・VHPエレクトロニクスボードを開発し、オープンソースとして公開した

２．VHPとは？

以下、ai.googleblog.comより「An Open Source Vibrotactile Haptics Platform for On-Body Applications」の意訳です。元記事は2021年11月12日、Artem Dementyevさんによる投稿です。

こんなハードウェア基盤がオープンソース化される時代なんですねぇ、スゴイ時代だなぁ、と感慨を受けます。

細かい振動をイメージして欲しくて選んだアイキャッチ画像のクレジットはPhoto by Greg Rosenke on Unsplash

ウェアラブルなスマートデバイスや携帯電話の多くは、振動などの触覚でフィードバックする事によってユーザーとコミュニケーションをとる手段を備えています。単純な通知からアクセシビリティのための５感の代替まで、さまざまな用途に対応しています。

一般的には、小型の電気振動モーターである振動触覚アクチュエーター(vibrotactile actuators)を使ってこれを実現しています。

しかし、与えられたタスクに対して適切かつ効果的な触覚システムを設計するには、アクチュエータの数やデバイス内の位置を試行錯誤する必要がありますが、ほとんどの実用的なアプリケーションでは、独立した装着型デバイスや小型フォームファクタへの組み込みが必要です。

このような要素の組み合わせは、実験環境以外で性能を確かめる事が難しく、これらのシステムを統合するには非常に時間がかかり、高度な専門知識が必要になることもあります。

左が実験環境内の典型的なセットアップ、右がVHPボード

ACM UIST 2021で発表した論文「VHP: Vibrotactile Haptics Platform for On-body Applications」では、任意の波形で最大12チャンネルの独立した触覚信号を駆動できる、低消費電力の小型電子機器ボードを開発しました。

このVHPエレクトロニクスボードは、バッテリー駆動が可能で、ウェアラブルデバイスや小型ガジェットに組み込むことができます。VHPは、一日中身につけることができ、低応答遅延、3～25時間のバッテリー寿命を持ち、12個のアクチュエータを同時に動かすことができます。

私達は、VHPがブレスレット、袖、スマホケースなどで使用できることを示しました。このブレスレットには、読唇術を支援するための音声・触覚インターフェースがプログラムされており、開発者が数ヶ月間装着しても機能が維持する事が確認できました。

ウェアラブル(装着可能で)・マルチチャンネル(複数の波形を伝達可能で)・ハプティクス(振動で人工的に作り出す)分野で、その設計、実装、実験に必要なツールを提供し、さらなる発展を促すため、VHPシステムのハードウェア設計とソフトウェアをGitHubで公開しています。

VHP回路基板の表と裏

システムのブロック線図

プラットフォームの仕様

VHPは、カスタム設計された回路基板で構成されており、主な構成要素はマイクロコントローラーと触覚増幅器(haptic amplifier)です。触覚増幅装置はマイクロコントローラーのデジタル出力を、アクチュエーターを駆動する信号に変換します。

ハプティックアクチュエーターは、シリアル、USB、Bluetooth Low Energy(BLE)、およびオンボードマイクロフォンを介して届く信号で制御することができます。

nRF52840マイコンを使用していますが、これは小型パッケージでありながら多くの入出力オプションとBLEを備えていることから選ばれました。

また、実験の自由度を高めるために、オンボードのデジタルマイク、アナログマイクアンプ、加速度計などのセンサーをボードに追加しました。ファームウェアには、Arduinoのエコシステムで動作するポータブルなC/C++ライブラリを採用しています。

開発期間中に迅速な反復試験を可能にするためには、ボードとアクチュエータの間のインターフェースが重要です。12個の触覚信号の配線は、そのような開発を可能にするために素早く設定でき、かつ長時間の使用に耐えうる柔軟性と堅牢性を備えていなければなりません。

インターフェイスには、VHPの24ピンFPC(Flexible Printed Circuit)コネクターを採用しています。カスタムフレキシブル基板とリジッドブレークアウトボード(rigid breakout board)の2つの方法で、アクチュエーターとの接続をサポートしています。

VHP基板(右の小型基板)に、リジッドブレイクアウト基板(左の大型基板)を介して3種類の触覚アクチュエータを接続した図

センサーとしてハプティック・アクチュエータを利用

前回のブログ記事では、触覚アクチュエータの逆起電力をセンシングに利用する方法を検討し、様々な有用なアプリケーションを実証しました。

VHPシステムでは、逆起電力を利用する代わりに、各ハプティック・アクチュエータを駆動する電流を測定し、その電流負荷をセンシングメカニズムとして利用しています。逆起電力方式とは異なり、この電流センシング方式では、センシングとアクチュエーションを同時に行うことができ、基板上の追加スペースを最小限に抑えることができます。

電流センシング方式の課題の一つは、振動触覚アクチュエータの種類が豊富で、それぞれが異なる動作をしたり、異なるプリセットを必要としたりすることです。また、アダプターボードを使った試作では、さまざまなアクチュエータを追加・削除することができるため、VHPが自動的にアクチュエータを識別できれば便利です。そうすれば、プロトタイピングの速度が向上し、初心者にも優しいシステムになります。

この可能性を探るために、私達は3つの市販の触覚アクチュエータから電流負荷のデータを収集し、アクチュエータ間の信号パターンの違いを認識する単純なサポートベクターマシン分類器を学習させました。

テストの結果、3つのアクチュエータの分類精度は100%であり、各アクチュエータが非常に明確な反応を示すことがわかりました。