TyDi QA：多言語対応した質問回答ベンチマーク(2/2)

１．TyDi QA：多言語対応した質問回答ベンチマーク(2/2)まとめ

・自然なデータセットを構築するために答えをまだ知らない人に質問文を作ってもらった
・その結果、質問文と回答文に共通な単語が少なくなり、同じ意味が異なって表現される事例も出た
・TyDi QAはオープンソースとして公開され、品質評価のためのリーダーボードも挑戦を募集中

２．世界中の言語の幅広い言語現象

以下、ai.googleblog.comより「TyDi QA: A Multilingual Question Answering Benchmark」の意訳です。元記事の投稿は2020年2月6日、Jonathan Clarkさんによる投稿です。アイキャッチ画像のクレジットはPhoto by Carl Heyerdahl on Unsplash

より自然なデータセットを構築するために、「質問の回答が欲しいがまだわからない人々」から質問を収集しました。質問を促すために、私たちは人々に彼らの母国語で書かれたウィキペディアから抽出した興味深い一節を提示しました。

その後、その一節の中だけでは回答が得られず、実際に回答を知りたいと思う場合のみ、質問をしてもらうようにしました。これは、あなたが町を歩きながら見た興味深いものについて好奇心から質問をする方法に似ています。

私たちは質問を作成してくれる人達に想像力を働かせる事を奨励しました。氷についてかかれた一節は、夏のアイスキャンディーを連想させますか？良いですね！誰がアイスキャンディーを発明したか質問してください！

重要な事は、質問は翻訳文ではなく各言語で直接書かれているため、多くの質問は英語を前提としたコーパスで見られるものとは異なります。ベンガル語の質問の1つは、「সফেদাফলখেতেকেমন？」(サポジラはどんな味がしますか？)です。

サポジラについてご存じないですか？おそらく、サポジラはアメリカよりもインドではるかに一般的なフルーツだからでしょう。

訳注：sapodilla：サポジラは、和名はチューインガムノキ、メキシコガキなどとも言われる干し柿のような風味と食べ方をするフルーツで、沖縄では見かける事もあるようです。

次にこれらの質問のそれぞれについて、適切な言語で最も一致するWikipedia記事を表示するようにGoogle検索を実行し、その記事内で回答を見つけて抜き出すように人に依頼しました。

質問文の作者は事前に回答を知らなかったため、私達は質問文と回答文の間にいくつかの興味深い相違が発生する事を予期していました。しかし、世界中の言語の驚くほど幅広い言語現象と相まって、状況はさらに複雑であることがわかりました。

例えば、フィンランド語では、質問と回答で曜日と週という言葉が非常に異なって表現されると言う魅力的な例があります。

Wikipediaの記事全体からこの回答文を選択するには、システムがフィンランド語の「viikonpäivät」、「seitsenpäiväinen」そして、「viikko」の関係を認識できる必要があります。

質問文：一週間を構成する日(days of the week)を発明したのは誰ですか？
回答文：７日を一週間(seven-day week)にした最も可能性が高いのはバビロニア人です。

フィンランド語では
質問文：週を表す単語に接尾語をつけて合成語viikonpäivätとして質問内容を表現
回答文：週は合成語ではないviikkoとなり、seitsenpäiväinenで７日を表現

研究コミュニティと共に前進する
このデータセットが研究コミュニティに革新を促し、世界中のユーザーにとってより有用な質問回答システムを作成することを願っています。

コミュニティの研究進捗状況を追跡するために、参加者が機械学習システムの品質を評価できるリーダーボードを設定し、データを使用する質問回答システムをオープンソースとして公開しています。チャレンジWebサイトにアクセスしてリーダーボードを表示し、詳細をご覧ください。

謝辞
このデータセットは、Dan Garrette、Eunsol Choi、Jennimaria Palomaki、Michael Collins、Tom Kwiatkowski、Vitaly Nikolaevを含む多くのGoogle社員のチームの成果です。上記のフィンランド語の用語解説は、Jennimaria Palomakiによるものです。