スクロール操作から文章の読みやすさを予測する(1/2)

１．スクロール操作から文章の読みやすさを予測する(1/2)まとめ

・タブレットやスマートフォンなどの端末を使った読書が広く世界で一般的になっている
・スクロール操作に注目して文章を読みにくくする要因についての理解を深めることが可能
・個人が文章を読む際のスクロール行動のみに基づいて文章の難易度を高精度で予測できた

２．スクロール速度と文章の難しさの関係

以下、ai.googleblog.comより「Predicting Text Readability from Scrolling Interactions」の意訳です。元記事の投稿は2021年11月17日、Sian Goodingさんによる投稿です。

アイキャッチ画像のクレジットはPhoto by Nathan Bingle on Unsplash

識字能力の欠如(Illiteracy)は、老若男女を問わず、世界中で少なくとも7億7300万人に影響を与えています。

これらの人々にとって、見慣れない情報源からの情報や見慣れないトピックの情報を読むことは非常に困難です。残念なことに、読み書きの教育を受ける機会が不平等であることから、こうした不平等は世界的に蔓延しており、さらに拡大しています。実際、ユネスコの報告によると、COVIDに関連した学校閉鎖により、1億人以上の子どもたちが読み書きの最低能力レベルに達していません。

科学技術製品の敷居が世界的に低くなる中、タブレットやスマートフォンなどの端末を使った読書は、従来の紙や本に取って代わるものとなっています。このことは、読者がどのように文章をスクロールしているかなど、読書中の操作を観察するユニークな機会を提供し、テキストを読みにくくする要因についての理解を深めることができます。

このような理解は、低学力の読者や言語学習者向けの教育アプリケーションを設計する際に非常に重要です。なぜなら、この理解は、学習者に適切なレベルのテキストを提供したり、読者が自分の読解レベルを超えてテキストを理解するのをサポートしたりするのに利用できるからです。

CoNLL 2021で発表された論文「Predicting Text Readability from Scrolling Interactions」では、端末を使って文章を読む際の操作データを利用して、テキストの読みやすさを予測できることを示しています。

この新しいアプローチは、主観的な読みやすさ(個々の読者がテキストに読みやすさを感じたかどうか)についての洞察を提供し、スクロールベースの読み込み操作のフィードバックを含めることで、既存の読みやすさモデルを改善できることを示しています。

この分野の研究を促進し、言語学習やテキストの簡略化のためのよりパーソナライズされたツールを実現するために、私たちは、英文のスクロール行動に基づいて読みやすさを評価する事から生れた、新しい読解時スクロール操作に関するデータセットを公開しています。

文章の難しさを理解する

文章の読みにくさには、語彙レベル、構文構造、全体のまとまりなど、さまざまな側面があります。従来の機械学習による読みやすさの測定は、このような言語的な特徴にのみ依存していました。

しかし、これらの特徴だけでは、インターネット上の文に対してうまく機能しません。ネット上の文章は、略語、絵文字、改行、短文などが含まれていることが多く、これらの特徴だけでは、読みやすさモデルの性能に悪影響を与えてしまうからです。

そこで、私たちは、あるグループの読書行動を集計したデータを用いて、文章の難易度を予測できるかどうか、また、読者の理解度に応じて読書行動がどのように異なるかを調べました。

端末で文章を読むとき、読者は通常、縦方向にスクロールすることで文章を読みます。私達は読解難度計測の粗い代理計測手段として使用できるという仮説を立てました。

そこで本研究では、有料で被験者518名を募集し、難易度の異なる英語のテキストを読んでもらいました。その際、参加者のスクロール行動の特徴(速度、加速度、テキストを読み返す回数など)を測定することで、読解操作を記録しました。これらの情報をもとに、読みやすさを分類するための特徴量を作成しました。

スクロール行動から文章の読みにくさを予測する

どのようなスクロール行動がテキストの難易度に最も影響を与えるかを調べ、線形混合効果モデル(linear mixed effect models)を用いて有意性を検証しました。今回の実験では、複数の参加者が同じテキストを読み、各参加者が複数のテキストを読むという反復測定を行いました。線形混合効果モデルを用いることで、観察されている相互作用の違いが、他のランダム効果ではなく、文章の難易度によるものであることをより確信することができます。

その結果、複数の読解行動は、文章レベルに応じて有意に異なることがわかりました。例えば、スクロールの加速度の平均値、最大値、最小値などが挙げられます。その中でも最も有意な特徴は、総読了時間(total read time)と最大読解速度(maximum reading speeds)であることがわかりました。

これらの特徴量を機械学習アルゴリズムの入力として使用しました。サポートベクターマシン(二値分類器)を設計して学習させ、個人が文章を操作する際のスクロール行動のみに基づいて、そのテキストが上級者向けか初級者向けかを予測しました。モデルを学習したデータセットには60の記事が含まれており、それぞれの記事を平均17人の参加者が読みました。これらの操作内容から、参加者間の有意な測定値の平均を取ることで、集合的な特徴を作成しました。

このアプローチでは精度をf-score と呼ばれる指標を用いて測定しました。
f-scoreは、モデルがテキストを「易しい」または「難しい」のいずれかに分類する際の精度を示すものです。(ここで1.0は完璧な分類精度を意味します)。