ディープラーニングを利用してスマホのユーザインタフェースを改善(2/2)

  • 2019.04.07
  • AI
ディープラーニングを利用してスマホのユーザインタフェースを改善(2/2)

1.ディープラーニングを利用してスマホのユーザインタフェースを改善(2/2)

・2つめのデータセットでは人間に判断がわかれるケースを集めた
・2000のパーツのうち40%程度が人間が矛盾した判断を下した
・AIは人間が矛盾した判断をくだすケースでは曖昧な予測を返した

2.人間に一貫性がないケースをAIで予測

以下、ai.googleblog.comより「Using Deep Learning to Improve Usability on Mobile Devices」の意訳です。元記事は2019年4月2日、Yang Liさんによる投稿です。

モデルの評価
このモデルによって、ユーザーが認識する各パーツのタップ可否(モデルによる予測)と開発者または設計者の意図の不一致を自動的に診断できました。

以下の例では、「フォロワー」や「フォロー」などのラベルはタップ可能だとユーザーが考える可能性が73%であるとモデルは予測していますが、実際にはこれらのインターフェース要素はタップ可能なようにプログラムされていません。

特に人間の知覚にあいまいさがあるケースで、私たちのモデルが人間のユーザーと比較してどのように振る舞うかを理解するためにクラウドソーシングによって2つ目のデータセットを生成しました。このデータセットは290人のボランティアが、2,000のユニークなパーツのタップ可否に関してそれぞれにラベルを付けしました。

各パーツは、5人の異なるボランティアによって個別にラベル付けされ、整合性を調査するためのデータセットとして使用されました。その結果、全調査パーツの40%以上がボランティアによって矛盾してラベルを付けられていることがわかりました。下の図に示すように、私たちのモデルは、人間の知覚におけるこの不確実性と非常によく一致しています。


モデルが予測したタップ確率の散布図(Y軸)。整合性データセット内の各パーツに対する、人間のラベル付けの割合(X軸)。

多数のユーザーがパーツのタップ可能性に同意すると、私たちのモデルはより明確な答えを出す傾向があります。つまり、タップ可能であれば1に近く、タップ不可能であれば0に近い確率です。

人間がある要素に関して一貫性があまりない場合(X軸の中央近辺)、私たちのモデルの決定にも曖昧さが残ります。全体として、私たちのモデルは、タップ可能なUI要素を識別する際の人間の知覚予測を90.2%の平均適合率と87.0%の再現率で達成しました。

タップ可能性を予測することは、ユーザインタフェースにおけるユーザビリティの問題を解決するために機械学習でできることのほんの一例です。

インタラクションデザインとユーザーエクスペリエンスの研究には他にも多くの課題があり、そこではディープラーニングモデルが大きくて多様なユーザーエクスペリエンスデータセットを蒸留し、インタラクションの振る舞いについての科学的理解を深めるための手段を提供できます。

謝辞
この研究は、GoogleのサマーインターンであるAmanda Swangsonと、ディープラーニングおよびヒューマンコンピュータインタラクションの研究者であるYang Liの共同研究です。

3.ディープラーニングを利用してスマホのユーザインタフェースを改善(2/2)関連リンク

1)ai.googleblog.com
Using Deep Learning to Improve Usability on Mobile Devices

2)arxiv.org
Modeling Mobile Interface Tappability Using Crowdsourcing and Deep Learning