スクロール操作から文章の読みやすさを予測する(2/2)

１．スクロール操作から文章の読みやすさを予測する(2/2)まとめ

・既存の読みやすさ評価ツールにスクロール操作の特徴を統合して最先端のスコアを得た
・読書操作の中に主観的な読みやすさに関する情報が含まれている事もわかった
・読みやすさが読書に与える影響を調査するための新しいデータセットも公開した

２．言語の習熟度による読む速度の違い

以下、ai.googleblog.comより「Predicting Text Readability from Scrolling Interactions」の意訳です。元記事の投稿は2021年11月17日、Sian Goodingさんによる投稿です。

初級者は表面的にしか読まないため、スクロール速度が速くなると言うお話が興味深いです。

アイキャッチ画像のクレジットはPhoto by Nathan Bingle on Unsplash

可読性モデルの改善

スクロール行動から得られる読みやすさの指標を既存の読みやすさモデルに適用することの価値を実証するために、OneStopEnglish資料の一部として公開された最先端の自動読みやすさ評価ツールにスクロールベースの特徴を統合しました。

その結果、操作特徴を追加することで、このモデルのf-scoreが0.84から0.88に向上することがわかりました。さらに、操作情報と、文章中の単語数などの単純な語彙特徴を併用することで、このシステムを大幅に上回る0.96という素晴らしいf-scoreを達成することができました。

本研究では、個人にとってのテキストの理解度や読みやすさを評価するために、理解度スコアを記録しました。実験参加者には、1つの記事につき3つの質問を行い、読んだ内容の理解度を評価しました。

個人のスクロール行動の操作特徴を高次元のベクトルとして表現しました。このデータを探索するために、高次元データを可視化するための統計的手法であるt-SNE(t-distributed stochastic neighbor embeddings)を用いて、各参加者の読解操作特徴を可視化しました。

その結果、個人がどれだけテキストを理解しているかに基づく理解度スコアのクラスターが明らかになりました。これは、個人が与えられたテキストを理解した可能性に関する暗黙の情報が、読書操作の中に含まれている事を示しています。この現象を主観的な読みやすさと呼んでいます。この情報は、教育用途やオンラインコンテンツの簡素化に非常に有用です。

スクロール操作t-SNEでを2次元に投影した図
各データポイントの色は、理解度スコアに対応しています。理解度スコアのクラスターは、読書行動と理解度の間に相関があることを示しています。

最後に読者によって読み方がどのように異なるかを調べました。読書の習熟度と読者の第一言語をカバーする、異なる読者グループの平均スクロール速度を比較しました。

その結果、読者の熟練度と第一言語に応じて速度分布が異なることがわかりました。これは、第一言語と習熟度が読者の読書行動を変化させるという事例を裏付けるものです。各グループの読書行動を考慮する事で、テキストのどの領域が彼らにとって読みにくいかをよりよく理解することができます。

初級、中級、上級の各レベルの読者の平均スクロール速度(1ミリ秒あたりの垂直方向の画素数)を示すヒストグラムと、各グループの平滑化された傾向を示す線。平均スクロール速度が高いほど、読書時間が短いことを示しています。例えば上級者のスクロール速度が遅くなるような難易度の高い文章でも、初級者は表面的にしか読まないため、スクロール速度が速くなります。