Interview Warmup:自然言語評価技術を応用して面接の練習を行う(1/2)

１．Interview Warmup:自然言語評価技術を応用して面接の練習を行う(1/2)まとめ

・教育やコーチは生徒の回答に対して正解不正解を教えるだけではなく評価して伝える必要がある
・自然言語処理の分野ではこのような特徴はあまり注目されておらず技術的にも困難だった
・自然言語評価技術を使ってこの問題に対処する面接対策ツール「Interview Warmup」を開発

以下、ai.googleblog.comより「Natural Language Assessment: A New Framework to Promote Education」の意訳です。元記事は2022年10月26日、 Kedem SnirさんとGal Elidanさんによる投稿です。

アイキャッチ画像はstable diffusionの1.5版の生成で面接官トトロ

スキルを磨くプロフェッショナルであれ、読み方を学ぶ子供であれ、コーチや教育者は、与えられた状況の中で学習者の答えを評価し、目標に向かって学習者を導くという重要な役割を担っています。

コーチや教育者としての対話は、他の形式の対話とは異なるユニークな特徴を持っていますが、学習者が自宅で一人で練習する際には利用することができません。

自然言語処理の分野では、このような特徴はあまり注目されておらず、技術的にも困難なものです。私たちは、機械学習を用いて、学習を容易にするような形で回答を評価する方法を探ることに着手しました。

本ブログでは、自然言語理解(NLU:Natural Language Understanding)の重要な機能である「自然言語評価(NLA:Natural Language Assessment)」を紹介し、教育分野でどのように役立つかを議論します。

一般的なNLUタスクはユーザーの意図に焦点を当てますが、NLAでは答えを多面的に評価することができます。ユーザーが自分の答えの良し悪しを知りたい場合、NLAは、その答えが期待されるものにどれだけ近いかを分析することができます。

「正しい」答えが存在しない状況では、NLAは関心性(topicality)、関連性(relevance)、冗長性(verbosity)などの微妙な洞察を提供することができます。

私達は、NLAの範囲を定式化し、関心性を考慮するNLAを実行するための実用的なモデルを提示します。そして、Googleの新しい面接対策ツール「Interview Warmup」を使って、求職者が面接の質問に答える練習をするために、NLAがどのように使われたかを紹介します。

NLAの目的は、ユーザーの答えを期待される答えに照らして評価することです。生徒と対話するNLAシステムの構成要素を考えてみましょう。

・学生に提示される問題

・期待される回答を予想して定義(例: 具体的な文章による回答、回答がカバーするトピックの範囲、簡潔さなど)

・学生から提示される回答

・回答の評価と評価の提示(例: 正しさ、情報の欠落、具体的な回答か汎用的すぎる回答か、文体のフィードバック、発音など)

・[任意]文脈(例: 本の1章や対象の論文)

NLAでは、回答に関する期待と評価の両方を非常に広く設定することができます。これにより、より表現豊かで繊細な教師と生徒の相互作用が可能になります。以下に2つの例があります。

明確な正解がある場合でも、単に正解か不正解かではなく、より微妙な評価をすることが有効な場合があります。次のようなことを考えてみてください。

・文脈
ハリー・ポッターと賢者の石

・質問
ホグワーツ(Hogwarts)とは何ですか？

・期待される回答
ホグワーツは魔法魔術学校です。[期待される回答は文章で与えられます]

・回答
正確にはわかりませんが、学校だと思います。

この回答には重要な詳細が欠けているかもしれませんが、不正解とラベル付けしても、ユーザーにとって完全に正しいわけでも、役に立つわけでもないでしょう。

NLAは、例えば、学生の答えが一般的すぎること、また学生が不確かであることを特定することで、より微妙な理解を提供することができます。

質問、回答、期待の入力から評価出力までのNLAプロセスの図解

このような微妙な評価と、生徒が表現した不確実性に注目することは、生徒が会話時のスキルを身につける上で重要です。

具体的な答えが期待できない場面はたくさんあります。例えば、生徒が意見を求める質問をされた場合、具体的な文章は期待されません。その代わり、関連性と意見、そしておそらくある程度の簡潔さと流暢さが期待されます。次のような面接練習の設定を考えてみましょう。

・質問
あなたのことを少し教えてください

・期待される回答
{“学歴”, “経験”, “趣味”} (関心事項の集合)

・回答
そうですね。私はカリフォルニア州のサリナスバレーで育ち、スタンフォード大学に進学して経済学を専攻しましたが、その後テクノロジーに興奮したので、その次は……

この場合、有用な評価出力は、ユーザーの答えを関心事項の集合の一部分に割り当てる事です。おそらく回答のどの部分がどのトピックに関連しているかのマークアップと一緒になります。回答は長くなり、トピックは混在し、それぞれのトピックは多面的であるため、NLPの観点からは困難な場合があります。