Interview Warmup:自然言語評価技術を応用して面接の練習を行う(2/2)

１．Interview Warmup:自然言語評価技術を応用して面接の練習を行う(2/2)まとめ

・大規模言語モデルを用いて各トピックの学習用データを細かい粒度に分割している
・回答が「良い」かどうかは潜在的な落とし穴がある事がわかっているため評価しない
・代わりにユーザが改善方法について自ら発見するのを助けるためにのみ機械学習モデルを使用

以下、ai.googleblog.comより「Natural Language Assessment: A New Framework to Promote Education」の意訳です。元記事は2022年10月26日、 Kedem SnirさんとGal Elidanさんによる投稿です。

アイキャッチ画像はstable diffusionの1.5版の生成

原則的に、関心性NLA(Topicality NLA)は標準的なマルチクラスタスクであり、標準的な手法で容易に分類器を学習することが可能です。

しかし、このようなシナリオの学習データは少なく、各質問やトピックについて収集するのはコストと時間がかかります。私達の解決策は、各トピックを、簡単な汎用的チューニングを施した大規模言語モデル(LLM:Large Language Models)を用いて識別可能な粒度の細かい要素に分割することです。

各トピックを基本的な質問のリストにマッピングし、文がこれらの基本的な質問の1つに対する答えを含んでいる場合、それはそのトピックをカバーしていると定義します。

「経験」というトピックの場合、以下のような質問を選びます。

・どこで働いていましたか？
・何を勉強しましたか？
・…

一方、「興味」というトピックでは、次に基づくような質問を選ぶかもしれません。

・あなたは何に興味がありますか？
・何をするのが好きですか？
・…

これらの基礎となる質問は、繰り返し行われる手動プロセスを通じて設計されます。

重要なのは、これらの質問が十分に詳細であるため、現在の言語モデル(詳細は後述)がその意味を捉えることができることです。

このため、NLAの関心性タスクにゼロショット設定を提供することができます。つまり、一度学習すれば(モデルについては後述)、トピック固有のデータを収集する必要なく、新しい質問と新しいトピックを追加したり、基本的な内容予想を変更して既存のトピックを適応させることが容易にできます。

以下は、上述の2つのトピックに対する「3年間小売業で働いています」という文に対するモデルの予測です。

モデルがどのように基本的な質問を使用して、ユーザーの回答でカバーされる可能性が最も高いトピックを予測するかを示す図
「経験」というトピックの質問と一致したため、この文章は「経験」に分類されます。

Interview Warmupは、ITサポートやUXデザインなど、急成長している就職分野の面接対策を支援するために、求職者と共同で開発した新しいツールです。

求職者は、業界の専門家が選んだ質問に答える練習ができ、自信を持って面接に臨むことができるようになります。求職者とともに、面接対策における課題や、面接練習ツールがどのように役立つかを理解する中で、関心性NLAの研究と応用がひらめきました。

関心性NLAモデルは以下のように構築します。(すべての質問とトピックに対して一度だけ実施)

質問と回答のデータに対して、3億5000万個のパラメータを持つエンコーダのみのT5モデル(EncT5アーキテクチャ)を学習し、<基礎となる質問と回答>のペアの互換性を予測します。SQuAD 2.0のデータを利用し、<質問、回答、ラベル>の三つ組を生成します。

Interview Warmupツールでは、ユーザーが論点を切り替えて、どの点が自分の回答として検出されたかを確認することができます。

このツールは、回答の採点や判定を行うものではありません。ユーザーが自分で練習し、改善点を見出すことができるようになっています。

ユーザーが面接の質問に答えると、その回答は関心性NLAモデルによって文単位で解析されます。そして、異なるトピックに切り替えて、どのトピックで自分の回答が検出されたかを確認することができます。

私たちは、自分の回答が「良い」ものであることをユーザーに知らせる事には、多くの潜在的な落とし穴があることを知っています。何故なら、私達のモデルは限られたトピックしか検出しないためです。

その代わりに、私たちはユーザーの手に制御を保ち、ユーザーが改善方法について自ら発見するのを助けるためにのみ、機械学習モデルを使用します。

これまでのところ、このツールは米国を含む世界中の求職者を支援し、大きな成果を上げており、最近ではアフリカにも展開しています。今後も求職者の方々と協力し、繰り返し利用することで、新しい仕事を探す何百万人もの人々にさらに役立つツールにしていく予定です。

Interview WarmupとそのNLA機能が求職者との共同作業によって開発されたことを示すショートムービー

自然言語評価(NLA:Natural Language Assessment)は、技術的にチャレンジングで興味深い研究分野です。

多角的な視点から回答の微妙な評価と分析を可能にすることで、学習を促進する新しい会話型アプリケーションへの道を開くものです。

求職者や企業、教師、学生などのコミュニティと協力することで、NLAが人々の学習やスキルアップに役立つ可能性がある状況を特定し、ユーザーが自分の能力を評価し、改善方法を発見できるような責任ある方法でアプリケーションを構築することができます。

この研究は、Google の複数のチームによるコラボレーションによって実現しました。Google Research Israel、Google Creative Lab、Grow with Google の各チームからの貢献に感謝します。