VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(2/2)

１．VHP:人体装着型アプリのために振動を触覚で伝達するオープンソースの基盤(2/2)まとめ

・VHPは迅速な実験とプロトタイピングを可能にし、様々なアプリの技術開発に利用可能
・小型デバイスでの多様な振動表現、触覚実験、アラート通知実験、荷重感知などにも応用可能
・最新情報はWebサイト「VHP: Vibrotactile Haptics Platform」から配信を申し込み

２．VHPの応用

以下、ai.googleblog.comより「An Open Source Vibrotactile Haptics Platform for On-Body Applications」の意訳です。元記事は2021年11月12日、Artem Dementyevさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Greg Rosenke on Unsplash

さらに、振動触覚アクチュエータは、刺激を一貫して制御するために、皮膚との適切な接触を必要とします。そのため，デバイスは皮膚との接触を測定し、正しく負荷がかかっていない場合には警告を発するか、自己調整を行う必要があります。

皮膚接触の測定技術が実際に機能するかどうかを検証するために，私たちはブレスレットを手首で締めたり緩めたりしたときのアクチュエータの電流負荷を測定しました。ブレスレットのストラップを締めると、皮膚とアクチュエーターの間の接触圧力が高まり、アクチュエーターの信号を駆動するのに必要な電流もそれに応じて増加します。

アクチュエータは250Hzの周波数で駆動しますが、電流ロードセンシングはタッチに反応します。

ブレスレットの装着感の測定

音声と触覚のフィードバック

VHPプラットフォームの有用性を示すために、読唇術を支援するための音声-触覚フィードバックデバイスを開発しました。読唇術は、「pin」と「min」のように、口位置の見た目が似ている音声(visemes)が多い場合に困難になります。

そこで、VHPシステムにマイクを装着し、音声を拾って手首の振動に変換することで、ユーザーが触覚的に区別できるようにしています。音声から触覚への変換には、GitHubで公開している「音声から触覚へのリアルタイム変換アルゴリズム」を使用しました。

簡単に説明すると、音声フィルターとニューラルネットワークを組み合わせて特定の現象を認識し(例えば、「pin」の硬い子音「p」を拾うなど)、ブレスレットのさまざまな部分の振動に変換します。このアプローチは、TAPS(touchile phonemic sleeve)にヒントを得ていますが、大きな違いは、私たちのアプローチでは、触覚信号が連続的かつリアルタイムで提示されることです。

日常生活で読唇術を使用している開発者の一人が、数ヶ月間毎日ブレスレットを装着したところ、従来のデバイスよりも読唇術を促進するためのより良い情報が得られ、ブレスレットを装着した読唇術の視覚の理解が、読唇術のみの場合よりも向上することが分かりました。今後は、複数のユーザーが長時間装着する本格的な実験を予定しています。

左：オーディオ・インタクタイル・スリーブ
中央：オーディオ・タッチタイル・ブレスレット
右：開発者の一人が、両腕に装着したブレスレットを試着しています。

潜在的なアプリケーション

VHPプラットフォームは、迅速な実験とプロトタイピングを可能にし、様々なアプリケーションのための技術開発に利用することができます。例えば、以下のようなことが考えられます。

・小型デバイスでの多様な振動表現。一般的に1つまたは2つしかない携帯電話のアクチュエーターの数を増やすことで、追加の触覚情報を提供することができます。これは、指が振動に敏感な場合に特に有効です。私たちは、8つの振動アクチュエータを搭載した携帯電話ケースのプロトタイプをデモンストレーションしました。これは、モバイルゲームやビデオ鑑賞の際に、リッチな通知を提供したり、効果を高めたりするのに利用できます。

・実験室での心理物理学的実験。VHPは、Jupyterノートブックなどからリアルタイムに触覚信号を送受信するように簡単に設定できるため、リアルタイムの触覚実験に利用できる可能性があります。

・通知やアラートの表示ウェアラブルVHPは、他のデバイスからの触覚による通知(例えば、誰かがドアに来た場合の警告)に使用することができ、複数のアクチュエータを使用することで、識別可能な警告を伝えることもできます。

・感覚の代替。前述の読唇術の例以外にも、視覚から触覚への変換や、磁界の検出など、感覚の代替を利用したアクセシビリティのアプリケーションは数多く考えられます。

・荷重感知。これにより、圧力検知やアクチュエータ出力の自動調整など、様々な機能を実現することができます。

8個のボイスコイルをスマホケースに装着。どのボイスコイルが触られているかを把握するためにローディングセンシングを採用しています。

今後の展開は？

私たちは、他の人々がこのプラットフォームを利用して、多様なアプリケーションを構築できることを願っています。私たちのプラットフォームに興味をお持ちの方や、最新情報の配信をご希望の方は、sites.google.comの私達のWebサイト「VHP: Vibrotactile Haptics Platform」より申し込みフォームにご記入ください。私たちは、このプラットフォームによって、ハプティクスの使用を民主化し、触覚デバイスの使用がより広く行われるようになることを願っています。

謝辞

本研究は、Artem Dementyev、Pascal Getreuer、Dimitri Kanevsky、Malcolm Slaney、Richard Lyonが行いました。Alex Olwal，Thad Starner，Hong Tan，Charlotte Reed，Sarah Sterman には，論文に対する貴重なフィードバックと議論をいただきました。Yuhui Zhao、Dmitrii Votintcev、Chet Gnegy、Whitney Bai、Sagar Savlaには、デザインとエンジニアリングに関するフィードバックをいただきました。