１．マイクロソフトの人工知能(AI)が読解力テストで世界で初めて人間を凌駕のまとめ
・アリババとマイクロソフトのＡＩがスタンフォード大学の読解力テストで人間を凌駕
・モデル提出はマイクロソフトの方が早かったがサイトへのスコア登録はアリババの方が早かった
・ＱＡ形式の文書ではなく説明文から回答を読み取るため応用範囲が広い
２．AI開発の世界の熾烈な競争
アメリカでは、「アリババの人工知能が世界で初めて人間を超えた！」とアリババをタイトルに入れている記事が多かったが、アリババのプレスリリースを引用したからだと思われる。モデルの提出はAlibaba iDST NLPが１月５日、Microsoft Research Asiaが１月３日、両者ともEMスコア（ExactMatchスコア）は人間を超えているので「世界で初めて」の栄冠は三が日に頑張ったマイクロソフトの方な気もするけど、ZDNetによれば「スコアがサイトへ正式登録されたのはアリババの方が１日早かったんですよ！」と言っているらしい。サイトへのスコア登録順をどこまでスタンフォード大学が意識していたかは不明。
いずれにしてもお正月から働いてて、２日違いで世界初を争うとは本当に人工知能は世界で熾烈な争いが繰り広げられている。上位陣はアリババ、マイクロソフト、セールスフォース、フェイスブック、米国や中国の大学や研究所が並んでいる。日本っぽい名前は見当たらない。マイクロソフトなどは複数組織がスコア登録しており、会社内でも競争をしている事がうかがえる。その結果、下記のようにジリジリと性能が上がっていき、年明けに一気に追い抜いたと。
Pranav Rajpurkarさんの11月30日ツイートより引用
３．人工知能が高得点を出した認識テストの内容
認識テストはSQuAD(The Stanford Question Answering Dataset)と言って、まずお題と本文があって、その後、質問群に答える形で実施される。
お題「Super_Bowl_50」
Super Bowl 50 was an American football game to determine the champion of the National Football League (NFL) for the 2015 season. The American Football Conference (AFC) champion Denver Broncos defeated the National Football Conference (NFC) champion Carolina Panthers 24–10 to earn their third Super Bowl title. The game was played on February 7, 2016, at Levi’s Stadium in the San Francisco Bay Area at Santa Clara, California. As this was the 50th Super Bowl, the league emphasized the “golden anniversary” with various gold-themed initiatives, as well as temporarily suspending the tradition of naming each Super Bowl game with Roman numerals (under which the game would have been known as “Super Bowl L”), so that the logo could prominently feature the Arabic numerals 50.
質問１
Which NFL team represented the AFC at Super Bowl50?
質問文は「スーパーボール50でAFCを代表したNFLのチームは何処ですか？」だが、これは直接書かれていない。本文中で関連ある文章は「AFCのDenver BroncosがNFCのCarolina Panthersを24-10で破り彼らの三度目のSuper Bowlタイトルを手にした」だけ。
野球で言うと、NFL＝プロ野球、AFC＝セリーグ、NFC＝パリーグ、Super Bowl 50＝日本シリーズ、ってイメージ。「AFCはNFL所属のチームである」「Denver BroncosはAFCの代表としてSuper Bowl50に出場した」って事を読み取らないと正答できない。その他、同じ質問を言い回しを変えて出題したり難易度はかなり高い。もうかなり昔にIBMのWatsonがクイズ大会で人間に勝利したってニュースもあったので「人工知能(AI)が読解力テストで世界で初めて人間を凌駕！」と聞いてもそんなにインパクトは感じなかったけど、実際に設問を見てみてかなり印象が変わった。Watsonは入力知識に制限がなかったはずなのでより沢山のWebページをクローリングして情報収集する事で回答精度を上げる事ができた。本件はお題から解答を読解しているため、オペレーターマニュアルを使ってチャットボットが回答を自動学習する等、業務への応用が容易なはず。
なお、アリババは「「段落から文章、単語まで」を読み取って回答を特定する「Hierarchical Attention Networks」という技術をベースにしているとのこと。」さっと見てみたところ、最後に「This work was supported by Microsoft Research.」と書いてあったところに感じるものがあり、うん、一位はマイクロソフトだな、と思って本記事のタイトルは「マイクロソフトの人工知能(AI)が読解力テストで世界で初めて人間を凌駕」にした。
４．関連リンク
１）ZDNet
アリババのAI、読解力テストで人間を超える
２）SQuADのお題と解答例
The Stanford Question Answering Dataset
