Google Research：2019年の振り返りと2020年以降に向けて(8/8)

１．Google Research：2019年の振り返りと2020年以降に向けて(8/8)まとめ

・機械学習研究を促進するためにデータセットを公開しGoogle Dataset Searchで探しやすくした
・数百万のタスクを処理しつつ新しいタスクにも自動的に対応する機械学習が長期的目標
・多様な研究者グループが安心して研究出来る事や新たに参入する研究者に対する支援なども重要

２．オープンデータと2020年以降の展望

以下、ai.googleblog.comより「Google Research: Looking Back at 2019, and Forward to 2020 and Beyond」の意訳です。元記事の投稿は2020年1月9日、Google Research部門トップのJeff Deanさんによる投稿です。全9回の予定だったのですが、去年の振り返りをしている最中にも世の中はどんどん進歩しているので少し焦ってきて全8回でまとめました、頑張った！アイキャッチ画像のクレジットはPhoto by Benjamin Davies on Unsplash

(15)利用可能なオープンデータセットの公開

明確で測定可能な目標を意識して作成されたオープンデータセットは、機械学習の関連分野を前進させるのに非常に役立ちます。研究コミュニティが興味深いデータセットを検索する事を支援するため、Google Dataset Searchサービスで、様々な組織から提供された様々なオープンデータセットを検索しやすいようにしています。また、コミュニティが新しい手法を探索して開発し、責任を持ってオープンデータを共有できるようにするために、新しいデータセットを作成する事も重要だと考えています。今年、Googleが提供したオープンデータセットの一覧は下記です。

・Open Images V5
人気のあるOpen Imagesデータセットを更新しました。今回の更新には350カテゴリに渡る280万個の物体とその物体の形状を表現するセグメンテーションマスクを含みます。この更新結果、Open Images V5には画像単位で付与したラベル、オブジェクト単位の境界ボックス、オブジェクトの形状を認識可能にするセグメンテーションマスク、および画像内の物体の視覚的関係(訳注：従来の「ギター」と「人間」というラベルに加えて「ギターを弾いている人」というような物体同士の関係性を表すラベルも一部に追加されました)が注釈された約900万の画像データセットとなりました。

・Natural questions
自然な問い合わせ文を使用し、短い段落から回答を抽出するのではなく、ページ全体を読んで回答を見つけるタスクを行わせるための最初のデータセット

・Google Research Football
世界で最も人気のあるスポーツであるフットボール(もしくは貴方がアメリカ人の場合はサッカー)を強化学習エージェントに学習させる事を目的とする、新しい強化学習シミュレーション環境。強化学習エージェントが明確なGOOOAAALLLSSを持つ事は重要です！
(訳注：強化学習のゴール(目標)とサッカーのゴールをかけたJeff Deanのおやぢギャグ。今回の投稿は、文章量を減らそうとしたのかオフィシャルな文章であるためなのか簡潔な文体だったのですが、この辺りで、地が出てきている気がします)

・Google-Landmarks-v2
20万を超えるさまざまなランドマークを撮影した500万を超える画像。画像総数が最初のバージョンの2倍になりました。

・YouTube-8M Segments
YouTube-8M動画を5秒毎に分割して人間が検証して付与したラベルを含む大規模な分類および時間的局所化を行ったデータセット

・Atomic Visual Actions (AVA) Spoken Activity
会話を知覚するためのマルチモーダルなオーディオ+ビジュアルビデオデータセット。更に、「AVA action recognition」と「AVA: Spoken Activity」の2つのコンペが開催されました。

・PAWS and PAWS-X
自然言語の言い換えの識別を支援するためのデータセット。両方のデータセットには、ほとんどの単語が重複している文章のペアが含まれています。ペアの約半分は言い換えであり同じ意味の文章ですが、その他半分は別の意味になる文章で構成されています。(訳注：「アメリカ人がブラジルに旅行」「ブラジル人がアメリカに旅行」「アメリカに旅行するブラジル人」等の文章です)

・Natural language dialog datasets
CCPEとTaskmaster-1はどちらも、オズの魔法使い方式(訳注：Wizard-of-Oz platform：デジタルアシスタントのふりをした人間が人間の依頼者に対応する事で、人間の依頼者がデジタルアシスタントとどんなヤリトリをするのか対応事例を収集していく手法)を使って、二名で会話を行い、人間がデジタルアシスタントと行う会話を模倣しています。

・The Visual Task Adaptation Benchmark
VTABはImageNetおよびGLUEと同様のガイドラインに従いますが、1つの原則に基づいています。より良い特徴表現とは、学習用データが限られていても、学習時に未見のデータを扱うフォーマンスが向上する特徴表現です。

・Schema-Guided Dialogue Dataset
17の領域にわたる18,000を超える対話を含む、特定のタスクを行う事を念頭にした対話のデータセット。一般公開されている中で最大の言語資料です。

(16)研究コミュニティとの関わり
最後に、私たちはより広範な学術および研究コミュニティで忙しく活動しています。 2019年、Google所属の研究者達は何百もの論文を発表し、多数の会議に参加し、多くの賞やその他の称賛を受けました。私たちは以下のカンファレンスで強い存在感を示しました。

・CVPR：約250人のGoogle社員が40以上の論文、講演、ポスター、ワークショップなどを発表しました。

・ICML：約200人のGoogle社員が100以上の論文、講演、ポスター、ワークショップなどを発表しました。

・ICLR：約200人のGoogle社員が60以上の論文、講演、ポスター、ワークショップなどを発表しました。

・ACL：約100人のGoogle社員が40以上の論文、ワークショップ、チュートリアルを発表しました。

・Interspeech：100人以上のGoogle社員が30以上の論文を発表しました。

・ICCV：約200人のGoogle社員が40以上の論文を発表し、数人のGoogle社員も3つの名誉あるICCV賞を受賞しました。

・NeurIPS：約500人のGoogle社員が120を超える承認済み論文を共同執筆し、さまざまなワークショップなどに参加しました。

また、世界中の何百人ものGoogle研究者と職員を、Googleが開催場所を提供して15の独立した研究ワークショップを開催しました。これらのワークショップは、広域洪水予測から、機械学習を使用して障害のある人により良いサービスを提供できるシステムを構築する方法、NISQ(Noisy-Intermediate Scale Quantum)プロセッサのアルゴリズム、アプリケーション、およびツールの開発を加速する方法に至るまでの様々なトピックに沿って開催しました。

Google社外の学術界および研究コミュニティをサポートするため、毎年恒例のPhDフェローシッププログラムを通じて50人以上の博士課程の学生をサポートし、2018年のGoogle Faculty Research Awardsの一環として158のプロジェクトに資金を提供し、Google AI Residency Programの第三期を開講しました。また、AIに焦点を当てたスタートアップをGoogle for Startupsで支援しました。

(17)New Places, New Faces
私達は2019年に大きな前進を遂げましたが、私達にできることはまだまだたくさんあります。世界中で影響力を高め続けるために、Bangaloreにリサーチオフィスを開設し、他のオフィスにも拡大しています。もし、あなたがこの種の問題に取り組むことにワクワクしている場合、私達は絶賛採用活動中です！

(18)2020年以降を見据えた活動
過去10年間は、機械学習とコンピューターサイエンスの分野で目覚ましい進歩を遂げており、コンピューターにこれまで以上に言語を見て、聞いて、理解する能力を与えました。(過去10年間の重要な進歩の概要についてはleogao.devの「The Decade of Deep Learning」をご覧ください)

私達のポケットには、これらの機能を使用して日常生活の多くのタスクを達成するのに役立つ洗練されたコンピューティングデバイスがあります。

機械学習専用のハードウェアを開発する事で、コンピューティングプラットフォームを大幅に再設計し、より大きな問題に対処できるようになりました。

これにより、データセンター(推論に焦点を当てたTPUv1、トレーニングと推論に焦点を当てたTPUv2およびTPUv3など)、および低電力モバイル環境(Edge TPUなど)の両方において、コンピューティングデバイスに対する考え方が変わってきました。

ディープラーニング革命は、コンピューティングとコンピューターに関する私たちの考え方を変え続けています。

・数百万のタスクを処理でき、且つ新しいタスクを自動的に成功させる方法を学習可能な機械学習システムをどのように構築できますか？現在のところ、私達はほとんどの場合、新しいタスク毎に個別のマシンモデルをトレーニングしています。それらのモデルは一から学習させるか、もしくはせいぜい関連性の高い1つまたはいくつかのタスクを学習したモデルを元にしています。そのため、トレーニングされたモデルは1つまたはいくつかのタスクでは非常に優れていますが、それ以外のタスクに関しては優れていません。しかし、私たちが本当に望んでいるのは、多くのことを行う際に専門知識を活用するのが得意なモデルです。そうなれば、比較的少ないトレーニングデータと計算で新しいことを学ぶことができます。これは、ソリッドステート回路の設計、コンピューターアーキテクチャ、機械学習に特化したコンパイラー、分散システム、機械学習アルゴリズム、および他の多くの専門分野にまたがる知識と進歩を必要とする真に壮大な挑戦です。汎用化する事により、全ての応用領域で独立した新しいタスクを解決可能になります。

・バイアスの回避、解釈可能性と理解可能性の向上、プライバシーの向上、安全性の確保など、人工知能研究の重要な分野で最先端技術をどのように前進させることができるでしょうか？これらの分野での進歩は、社会で益々多くの方法で機械学習が使用されるようになるため、重要です。

・重要な新しい科学分野の進歩を促進するために、どのように計算機資源と機械学習を適用できますか？気候科学、医療、バイオインフォマティクス、その他多くの分野の専門家と協力することにより、重要な進歩が実現します。

・機械学習とコンピューターサイエンスの研究コミュニティが追及しているアイデアと方向性を、多様な研究者グループが安心して研究出来る事をどのように保証できますか？コンピューターサイエンスと機械学習の研究コミュニティが追求している仕事は、何十億人もの人々に広い意味合いを持っています。私達は、この仕事をしている一連の研究者が、世界中のすべての人々の経験、視点、懸念、創造的な熱意を代表する事を望んでいます。この分野に参入する様々なバックグラウンドを持つ新しい研究者をサポートするためにはどのようにする事が最善でしょうか？

全体として、2019年はGoogle、およびより広範な研究コミュニティでの研究にとって非常に刺激的な年でした。私たちは2020年以降に先んじて研究課題に取り組むことに興奮しており、進捗を皆さんと共有できることを楽しみにしています！