スクロール操作から文章の読みやすさを予測する(2/2)

AI

1.スクロール操作から文章の読みやすさを予測する(2/2)まとめ

・既存の読みやすさ評価ツールにスクロール操作の特徴を統合して最先端のスコアを得た
・読書操作の中に主観的な読みやすさに関する情報が含まれている事もわかった
・読みやすさが読書に与える影響を調査するための新しいデータセットも公開した

2.言語の習熟度による読む速度の違い

以下、ai.googleblog.comより「Predicting Text Readability from Scrolling Interactions」の意訳です。元記事の投稿は2021年11月17日、Sian Goodingさんによる投稿です。

初級者は表面的にしか読まないため、スクロール速度が速くなると言うお話が興味深いです。

アイキャッチ画像のクレジットはPhoto by Nathan Bingle on Unsplash

可読性モデルの改善

スクロール行動から得られる読みやすさの指標を既存の読みやすさモデルに適用することの価値を実証するために、OneStopEnglish資料の一部として公開された最先端の自動読みやすさ評価ツールにスクロールベースの特徴を統合しました。

その結果、操作特徴を追加することで、このモデルのf-scoreが0.84から0.88に向上することがわかりました。さらに、操作情報と、文章中の単語数などの単純な語彙特徴を併用することで、このシステムを大幅に上回る0.96という素晴らしいf-scoreを達成することができました。

本研究では、個人にとってのテキストの理解度や読みやすさを評価するために、理解度スコアを記録しました。実験参加者には、1つの記事につき3つの質問を行い、読んだ内容の理解度を評価しました。

個人のスクロール行動の操作特徴を高次元のベクトルとして表現しました。このデータを探索するために、高次元データを可視化するための統計的手法であるt-SNE(t-distributed stochastic neighbor embeddings)を用いて、各参加者の読解操作特徴を可視化しました。

その結果、個人がどれだけテキストを理解しているかに基づく理解度スコアのクラスターが明らかになりました。これは、個人が与えられたテキストを理解した可能性に関する暗黙の情報が、読書操作の中に含まれている事を示しています。この現象を主観的な読みやすさと呼んでいます。この情報は、教育用途やオンラインコンテンツの簡素化に非常に有用です。


スクロール操作t-SNEでを2次元に投影した図
各データポイントの色は、理解度スコアに対応しています。理解度スコアのクラスターは、読書行動と理解度の間に相関があることを示しています。

最後に読者によって読み方がどのように異なるかを調べました。読書の習熟度と読者の第一言語をカバーする、異なる読者グループの平均スクロール速度を比較しました。

その結果、読者の熟練度と第一言語に応じて速度分布が異なることがわかりました。これは、第一言語と習熟度が読者の読書行動を変化させるという事例を裏付けるものです。各グループの読書行動を考慮する事で、テキストのどの領域が彼らにとって読みにくいかをよりよく理解することができます。


初級、中級、上級の各レベルの読者の平均スクロール速度(1ミリ秒あたりの垂直方向の画素数)を示すヒストグラムと、各グループの平滑化された傾向を示す線。平均スクロール速度が高いほど、読書時間が短いことを示しています。例えば上級者のスクロール速度が遅くなるような難易度の高い文章でも、初級者は表面的にしか読まないため、スクロール速度が速くなります。

読者の母国語別の平均スクロール速度(1ミリ秒あたりの垂直方向の画素数)を示すヒストグラム。
タミル語または英語で、各グループの平滑化された傾向を示す線が示されています。スクロール速度の平均値が高いほど、読書時間が短いことを示しています。色の濃い紺色のバーはヒストグラムが重なっている部分です。

結論

本研究は、スクロール動作などの文章を読む際の操作を利用して、文章の可読性を予測できることを初めて示したもので、これにより多くのメリットが得られます。

このような測定は、言語にとらわれず、目立たず、ノイズの多い文章に対しても堅牢です。

ユーザーからの暗黙のフィードバックにより、個人レベルでの読みやすさを把握することができるため、テキストの難易度をより包括的かつ個人的に評価することができます。

さらに、文章の主観的な読みやすさを判断できることは、言語学習や教育用アプリにとっても有益です。私たちは、テキストの読みやすさが読書のやりとりに与える影響を調査するため、518人の参加者を対象とした研究を実施し、読書操作に関する新しいデータセットをgithubで公開しています。

その結果、上級者向けテキストと初級者向けテキストにおいて、スクロール操作などの相互作用には、統計的に有意な差があること、また、個人の理解度のスコアがスクロールの相互作用の特定の尺度と相関していることを確認しました。詳しくは、学会発表をご覧ください。

謝辞

共同研究者のYevgeni Berzak, Tony Mak and Matt Sharifi、および論文に対する有益なフィードバックをいただいたDmitry LagunとBlaise Aguera y Arcasに感謝いたします。

3.スクロール操作から文章の読みやすさを予測する(2/2)関連リンク

1)ai.googleblog.com
Predicting Text Readability from Scrolling Interactions

2)aclanthology.org
Predicting Text Readability from Scrolling Interactions(PDF)

3)github.com
siangooding / readability_scroll

タイトルとURLをコピーしました