１．Pixel 4のタッチ操作を機械学習で改良(1/2)まとめ
・長押し操作はユーザーの行動とシステムの応答を切り離すためユーザ体験に悪影響
・ユーザー操作のサンプルデータからユーザ操作を推測できる機械学習モデルを設計
・最近のアップデートでPixel 4はより表現力豊かなタッチ操作体験を提供できるようになった
２．Pixel 4のより表現力豊かなタッチ操作
以下、ai.googleblog.comより「Sensing Force-Based Gestures on the Pixel 4」の意訳です。元記事の投稿は2020年6月24日、Philip QuinnさんとWenxin Fengさんによる投稿です。
賢い繊維の時も出てきましたが、タッチセンサー類は精度は高いけれども間隔が粗いという特徴があり「ある特定の値が一定の値を超えたらON」等のしきい値設定が難しく、そこに機械学習が活躍する余地があるのですね。
それと余談ですがPixel 3の廉価版のPixel 3aが在庫限り扱いになったらしいので、Pixel 4の廉価版としてPixel 4aが近いうちに発表されるのではないかとの噂です。私はまだまだMoto E5でいきます。
アイキャッチ画像のクレジットはPhoto by Yoann Boyer on Unsplash
タッチ入力は、従来、指を使った操作に重点を置いてきました。
タップしたりスワイプしたりする操作以外には、長押しが操作の主な代替手段となっています。
ただし、長押し操作はユーザが一定時間画面を押し続ける事、つまり時間ベースのしきい値(time-based threshold)で検知されるため、ユーザーの指が400～500ミリ秒間静止したままでなければなりません。
そのため、本質的に時間ベースのしきい値は、「使いやすさ」と「その操作の発見性」に悪影響を及ぼします。フィードバックが即時に行われないため、ユーザーの行動とシステムの応答が切り離されてしまうのです。
幸いなことに、指は動的な入力デバイスでもあるため、ユーザーが表面に触れる事で、位置場所だけでなく、ある程度の圧力を表現することもできます。これは、時間ベースのしきい値の代わりとして使用できます。
様々な圧力ベースの相互作用が追求されてきましたが、タッチ力を感知するには、専用のハードウェアセンサーが必要になり、設計とソフトウエアとの統合にコストがかかります。
更に、人々にとって圧力ベースの操作は難しい操作である事が研究によりわかっています。そのため、ほとんどの実際に使われている圧力ベース操作は、連続的な力ではなく分離した力に焦点を合わせています。例えば、軽く触れるタッチとしっかり触れるタッチなどであり、そのため、ハードウェアセンサーの全機能を必要としません。
Pixel 4の最近のアップデートでは、圧力を使った操作を感知する方法を開発し、より表現力豊かなタッチ操作体験を提供できるようにしました。
人間の指がタッチセンサーとどのように相互作用するかを調査することにより、アプリが既に持っている長押しの相互作用を補完しするユーザ体験を設計しました。操作感は従来の操作より自然です。
この投稿では、タッチセンサーと指の相互作用の主要な原則、タッチセンサーデータから圧力ジェスチャーを認識するための機械学習アルゴリズムの設計方法、およびそれをPixelデバイスのユーザー体験に統合する方法について説明します。
タッチセンサー技術と指の生体力学
静電容量式タッチセンサーは、電気を通さない非導電性誘電体(non-conductive dielectric、ガラスなど)で分離された2つの導電性電極(conductive electrodes、駆動電極と感知電極)から構成されます。
2つの電極は、電荷を保持できる小さなコンデンサ(セル)を構成します。指(または別の導電性物体)がこのセルに近づくと、電荷の一部が「盗まれ」、静電容量の低下として観測できます。
重要なのは、盗まれた電荷の量が指と電極の間の距離に反比例するため、指が(別のガラス層の下で保護されている)電極に接触する必要がないことです。
左：指は、2つの電極の周囲に投影されたフィールドから電荷を「盗む」ことにより、タッチセンサーセルと相互作用します。
右：静電容量式タッチセンサーは、誘電体(dielectric)で分離された電極の行と列で構成されています。電極は、静電容量が測定されるセルで重なります。
セルは、デバイスのディスプレイ上に行列として配置されますが、密度はディスプレイの画素よりもはるかに粗くなります。例えば、Pixel 4のディスプレイは2280 x 1080画素ですが、タッチセンサーは32 x 15セルです。
高解像度(少なくとも120Hz)でスキャンすると、これらのセルからの読み取り値が指との相互作用の映像を形成します。
ユーザーのタップ操作(左)、プレス操作(中央)、およびスクロール操作(右)した際のタッチセンサーの記録(低速再生)
静電容量式タッチセンサーは圧力自体の変化には反応しませんが、ディスプレイから数ミリメートル以内の距離の変化に非常に敏感に反応するように調整されます。
つまり、ディスプレイガラス上で指が接触している中心部分ではセンサー感度は飽和させる必要がありますが、指が接触している周囲(指が丸くふれている場所)の周囲では高い感度を維持します。
ユーザーの指が表面を押すと、指は柔らかいため、変形して広がります。この広がりの性質は、ユーザーの指のサイズと形状、および画面に対するその角度によって異なります。
この広がりのいくつかの主要な特徴は俯瞰して観察できます。(以下の図に示します)最初の接触点を中心に非対称であり、全体の質量の中心が指の軸に沿って移動します。これは、一定の期間に発生する動的な変化でもあり、これにより、接触時間が長い部分と接触面積が大きい部分でも異なります。
タッチセンサー信号は、指の接触の中心付近で飽和しますが、端では減衰します。
これにより、指の力の変化によって引き起こされる指の接触形状の小さな変形を感知できます。
ただし、ユーザー(および指)の違いにより、これらを判別するしきい値を経験則的に決める事は困難です。そのため、ユーザー操作のサンプルデータからこれらの特徴とその差異を直接学習できる機械学習ソリューションを設計しました。
３．Pixel 4のタッチ操作を機械学習で改良(1/2)関連リンク
１）ai.googleblog.com
Sensing Force-Based Gestures on the Pixel 4
コメント