Google Research：2020年の振り返りと2021年以降に向けて(5/5)

１．Google Research：2020年の振り返りと2021年以降に向けて(5/5)まとめ

・TensorFlowは5周年で累計ダウンロード数は1億6000万を超え、JAXへの投資も倍増
・データセットの公開、各種助成金などにより研究コミュニティを引き続き支援
・研究の整合性の促進、責任あるAI、多様性、公平性、包括性向上に引き続き注力

２．研究コミュニティのサポート、データセット、交流、2021年に向けて

以下、ai.googleblog.comより「Google Research: Looking Back at 2020, and Forward to 2021」の意訳です。元記事の投稿は2021年1月12日、Jeff Deanによる投稿です。

マルチモーダルに対応可能(画像や音声や文章などの様々な形式で伝達される情報を扱う事が可能)でゼロショット学習(ごくわずかなトレーニングを行うだけで新しいタスクを実行出来るように学習可能)が出来るAIが実現したらそれはもう「汎用人工知能(AGI：Artificial General Intelligence)」と呼んで差し支えないのではないかと言う気がしてきますが、もう「どうやればそれが実現できるか検討もつかない」の段階は過ぎて「理論的な部分はまだよくわからんけど、この道を進んで行けば出来ちゃいそう」の段階に到達している事を実感する投稿でした。

アイキャッチ画像のクレジットはPhoto by Roberto Nickson on Unsplash

(17)より広範な開発者および研究コミュニティのサポート

2020年、TensorFlowは5周年を迎え、累計ダウンロード数は1億6000万を超えました。TensorFlowコミュニティは、新しい分科会(SIGs:TensorFlow Special Interest Groups)、TensorFlowユーザーグループ、開発者の一定の能力を備えている事の証明になるデベロッパー認定資格の創設(TensorFlow Developer Certificate)、AIサービスパートナー、刺激的なデモを紹介する#TFCommunitySpotlightなど、目覚ましい成長を続けました。

スムーズに利用できるTPU、複雑な設定をせずにすぐに使用できるパフォーマンス(および、MLPerf 0.7による業界内で最高のパフォーマンス)、データ前処理、配信戦略、新しいNumPy APIにより、TensorFlowのバージョン2系列は大幅に改善しました。

また、TensorFlowエコシステムにさらに多くの機能を追加して、開発者と研究者のワークフローを支援しました。Sounds of India社は、トレーニング時にTFXを使用、ブラウザでの展開にTF.jsを使用して、90日以内に研究の成果物から本番環境に移行出来る事を実証しました。

Mesh TensorFlowを使用すると、モデルの並列処理の限界を押し広げ、超高画像解像度の画像分析を行う事が出来ます。

新しいTF runtime、モデルパフォーマンスデバッグ用のTF Profiler、およびモデルの透過性のためのモデルカードツールキットやプライバシーテストライブラリなどの責任あるAI用のツールをオープンソース化しました。

TensorBoard.devを使用して、ML実験を無料で簡単にWebサイトで公開、追跡、共有できるようにしました。更に、過去2年間積極的に開発されてきたオープンソースの研究作業に重点を置いたMLシステムであるJAXへの投資を倍増させました。

Google内外の研究者達は、差分プライバシー、ニューラルレンダリング、物理情報に基づくネットワーク、fast attention、分子動力学、テンソルネットワーク、ニューラルタンジェントカーネル、ニューラルODEなど、幅広い分野でJAXを使用しています。

JAXは、DeepMind社の研究を加速し、成長するライブラリのエコシステムを強化し、GAN、meta-gradients、強化学習などの研究に使われました。

また、JAXとFlaxニューラルネットワークライブラリを使用して、記録的なMLPerfベンチマークを達成し、提出しました。これは、大規模なTPU Podの一部分を利用した、次世代のCloud TPUユーザー体験であり、NeurIPSでライブデモを行いました。
JAX on Cloud TPUsのスライドはdocs.google.comで公開されています。

最後に、データ前処理用のTF.dataや実験視覚化用のTensorBoardからパフォーマンスデバッグ用のTF Profilerまで、JAXがTFエコシステムツールとシームレスに連携することを約束します。2021年にはさらに多くのツールが登場する予定です。

最近の多くの研究の進歩は、コンピューティング能力の向上によって可能になりました。機械学習研究のフロンティアへのアクセスを拡大するために、TFRCプログラムを介して世界中の研究者が500ペタフロップス以上のクラウドTPUコンピューティング能力を無料で利用できるようにしています。

これまでに120を超えるTFRCがサポートする論文が発表されており、その多くは、プログラムが提供するコンピューティングリソースなしでは実現できなかったでしょう。

例えば、TFRCの研究者は最近、山火事の蔓延のシミュレーションを開発し、ソーシャルメディアネットワークでのCOVID-19コンテンツとワクチンに対する感情の変化の分析を支援し、宝くじ仮説(lottery ticket hypothesis)とニューラルネットワークの剪定についての集合的な理解を深めました。

TFRCコミュニティのメンバーは、ペルシャの詩を使った実験を公開し、きめ細かいファッション画像のセグメンテーションに関するKaggleコンテストで優勝し、他の人の出発点としてチュートリアルとオープンソースツールを共有しました。

2021年に、TFRCプログラムの名前をTPU Research Cloudプログラムに変更して、Cloud TPUがTensorFlowに加えてJAXとPyTorchをサポートするようになり、より包括的になります。

最後に、今年はColabにとっても大きな年でした。使用量が2倍になり、Googleドライブとの統合の改善やターミナル経由でのColab VMへのアクセス(訳注：Colab Proのみ)など、人々がより効率的に作業できるようにする生産性を高める機能をリリースしました。また、ユーザーがより高速なGPU、より長いランタイム、より多くのメモリにアクセスできるようにするためにColab Proをリリースしました。

(18)オープンデータセットとデータセット検索の公開

明確で測定可能な目標を持つオープンデータセットは、機械学習の分野を前進させるのに非常に役立つことがよくあります。

研究コミュニティが興味深いデータセットを見つけられるように、Google Dataset Searchを使用してさまざまな組織から提供されたさまざまなオープンデータセットのインデックスを作成し続けています。

また、オープンデータを責任を持って共有しながら、コミュニティが探索し、新しい技術を開発するための新しいデータセットを作成することも重要であると考えています。今年は、COVID危機に対処するためのオープンデータセットに加えて、さまざまな分野で多数のオープンデータセットをリリースしました。

・An Analysis of Online Datasets Using Dataset Search
データセットに関するメタデータセットです！

・Google Compute Cluster Trace Data
2011年、Googleはコンピューティングクラスターの1つで29日間のコンピューティングアクティビティのトレースを公開しました。これは、コンピューターシステムコミュニティがジョブスケジューリングポリシーを調査したり、これらのクラスターでの使用率をよりよく理解したりするのに非常に役立つことが証明されています。今年は、このデータのより大きく、より広範なバージョンを公開し、8つのコンピューティングクラスターをより詳細な情報でカバーしました。

・Announcing the Objectron Dataset
三次元境界ボックスで注釈が付けられた15,000の物体を中心に撮影した短いビデオクリップのコレクション。さまざまな角度からより多くの一般的なオブジェクトのセットを撮影し、地理的に多様なサンプルから収集された400万の注釈付き画像(5大陸の10か国をカバー)。

・Open Images Version 6
画像単位に3600万のラベルが付与された900万の画像、1580万の境界ボックス、280万の実体境界線、バージョン5で追加された39.1万の画像内の物体同士の関連を説明する注釈に加え、バージョン6では、ローカライズされたナラティブ(localized narratives、局所化された物語)が追加されています。これは、記述されている物体上で同期された音声、テキスト、およびマウスのトレースで構成されるマルチモーダルな注釈です。Open Images V6では、これらのローカライズされたナラティブは50万の画像で利用できます。更に、以前のラベルとの比較を容易にするために、COCOデータセットの完全な12.3万画像に対してローカライズされたナラティブもリリースしています。

・A Challenge and Workshop in Efficient Open-Domain Question Answering
ワシントン大学とプリンストンの研究者と共同で開催された、効率的なオープンドメイン質問回答チャレンジとワークショップは、任意の質問に答えることができるシステムを作成するように研究者に挑戦を促します。テクニカルレポートでは、NeurIPS2020で開催されたコンテストとワークショップについて説明しています。

・TyDi QA: A Multilingual Question Answering Benchmark
多言語の質問応答の有効性を測定するための新しいベンチマークです。(この分野のベンチマークの多くは英語のみまたは単一言語であり、どの言語でも質問に回答できる事が重要であると考えています)

・Wiki-40B: Multilingual Language Model Dataset
複数の文字と言語族にまたがる40以上の言語で構成される新しい多言語言語モデルベンチマークです。約400億文字のこの新しいリソースが、多言語モデリングの研究を加速することを願っています。また、このデータセットでトレーニングされた高品質のトレーニング済み言語モデルをリリースし、さまざまな手法をこれらのベースラインと簡単に比較できるようにしました。

・XTREME: A Massively Multilingual Multi-task Benchmark
マルチタスク設定で言語横断的な一般化の進捗状況を評価するのに役立ちます。

・How to Ask Better Questions?
誤った形式の質問を書き換えるための大規模な複数領域データセットであり、303領域にわたる427,719の質問をペアにしたデータセットを示します。これを使用して、モデルをトレーニングし、誤った形式の質問をより適切な形式に書き換えることができます。

・Open-Sourcing Big Transfer (BiT): Exploring Large-Scale Pre-training for Computer Vision
様々な画像関連タスクの出発点として使用できるオープンソースの事前トレーニングモデルについて説明しています。

・The 2020 Image Matching Benchmark and Challenge
画像(ビデオ内の各コマから、または様々な角度から撮影された多くの画像から)から3D構造を捕捉する問題に対するデータセットとベンチマークのチャレンジです。ビクトリア大学、チェコ工科大学、およびEPFLと共同で作成されました。

・Meta-Dataset: A Dataset of Datasets for Few-Shot Learning
データセットのデータセットです。MLの長期的な目標の1つは、「同じタスク内で1つの例から別の例に一般化すること」はではなく、「違うタスク間でも一般化してトレーニングをほとんどまたはまったく行わずに新しい問題を解決できるシステムを構築すること」です。このメタデータセットにより、この究極の目標に向けた進捗状況を測定できます。

・Google Landmarks Dataset v2
実体レベルの画像認識と画像検索のための大規模ベンチマークでは、Googleランドマークデータセットv2(GLDv2)が公開されました。これは、人工および自然のランドマークの領域における大規模できめ細かいインスタンス認識と画像検索の新しいベンチマークです。GLDv2は、500万を超える画像と、20万の個別のインスタンスラベルを含む、これまでで最大のデータセットです。そのテストセットは、検索タスクと認識タスクの両方で検証済み注釈がついた11.8万の画像から構成されています。

・Enhancing the Research Community’s Access to Street View Panoramas for Language Grounding Tasks
研究者が「言語による指示に基づいた案内タスク」や「その他のストリートビューパノラマに依存するタスク」に関する手法を比較できるようにする新しいオープンデータセットについて説明しています。より簡単に比較を行えるように、よく知られたデータセットを使用して比較できるようにする、新しいオープンデータセットについて説明しています。

(19)研究コミュニティとの交流

私達は、より幅広い研究コミュニティを熱心にサポートし、参加できることを誇りに思っています。2020年、Googleの研究者は、主要な研究会議で500を超える論文を発表し、さらにプログラム委員会に参加し、ワークショップ、チュートリアル、およびこの分野の最先端技術を集合的に進歩させることを目的としたその他の多数の活動を組織しました。今年の大規模な研究会議への貢献について詳しくは、ICLR 2020、CVPR 2020、ACL 2020、ICML 2020、ECCV 2020、NeurIPS2020のブログ投稿をご覧ください。

2020年には、COVID研究で850万ドル、研究の包含と公平性で800万ドル、責任あるAI研究で200万ドルを含む、3700万ドルの資金で外部研究を支援しました。2月に、世界中の150人の教員からの研究提案に資金を提供する2019 Google Faculty Research Award Recipientsを発表しました。このグループの27%は、テクノロジー内で歴史的に過小評価されているグループのメンバーであると自己認識しています。また、Googleに関連する分野の研究を行っているキャリアの初期段階の教授をサポートするための新しい紐なしの研究奨学生プログラムを発表しました。

10年以上の運営経験があるため、Google PhD Fellowshipsには非常に才能のある博士課程の学生研究者のグループを選ぶ事ができました。これは、大学院の研究に資金を提供するだけでなく、研究を進める際のメンターシップや、他のGooglePhDフェローと交流する機会を提供します。

また、インクルージョン(inclusion、社会的な一体性)をサポートする方法を拡大し、コンピューターサイエンスの分野に新しい声をもたらしています。

2020年には、過小評価された人々のニーズに対応するコンピューティングとテクノロジーの学術研究をサポートする、新しいInclusion Research programを作成しました。最初の一連の賞では、多様性(diversity)と社会的な一体性、アルゴリズムの持つ偏見、教育に関するイノベーション、ヘルスツール、アクセシビリティ、性差別、社会正義のためのAI、セキュリティ、社会正義に関するトピックに焦点を当て、25人の主任研究者による16の提案に資金提供しました。

さらに、ヒスパニック系サービス機関のコンピューティングアライアンス(CAHSI：Computing Alliance of Hispanic-Serving Institutions)およびCMD-ITを多様化する教授同盟による未来のリーダーシップ(FLIP:Future Leadership in the Professoriate Alliance)と提携して、博士課程の学生のための賞プログラムを作成しました。これは伝統的に過小評価されている背景から、論文要件を完了する最後の年をサポートします。

2019年、GoogleのCS Research Mentorship Program(CSRMP)は、37人の学部生にコンピュータサイエンス研究の実施を紹介するためのメンタリングを提供するのに役立ちました。2019/2020年のプログラムの成功に基づいて、2020/2021年にこのプログラムを大幅に拡大し、より多くの人々を奨励するために数百人のGoogle研究者が数百人の学部生を指導し、過小評価された背景においてコンピュータサイエンスの研究キャリアを追求を支援する事に興奮しています。

最後に、10月に、2020年度に世界中の50の機関にexploreCSR賞を提供しました。これらの賞は、CS研究の追求を奨励するために、過小評価グループの学部生を対象としたワークショップを主催する教員に資金を提供します。

楽しみな2021年以降

次世代AIモデルに関する技術的な作業から、研究者のコミュニティを成長させるという非常に人間的な作業まで、これから何が起こるかを楽しみにしています。

AI原則を指針となるフレームワークとして使用し、幅広い社会的影響を与える可能性のあるトピックに特定の精査を適用することで、研究が責任を持って行われ、プラスの影響を与えることを保証し続けます。本投稿では、Googleが過去1年間に公開した責任あるAIに関する多くの論文のほんの一部を取り上げています。研究を進めている間、次のことに焦点を当てます。

・研究の整合性の促進
Googleは適切な方法で幅広い調査研究を継続し、様々な挑戦的で興味深いトピックに関する包括的で科学的な見解を提供するようにします。

・責任あるAIの開発
難しいテーマへの取り組みは引き続き私達の仕事の中核であり、Googleは引き続き新しいMLアルゴリズムを作成して機械学習をより効率的かつアクセスしやすくします。言語モデルが内包する不公平な偏見に対抗するアプローチを開発し、学習システムのプライバシーを確保するための新しい手法を考案します。そして重要な事は、適切に批判的な目でAI開発を見るだけでなく、リスクを軽減し、新しいテクノロジーが社会に公平で前向きな影響を与えることを確認するために、私達やコミュニティの他の人々がどのような技術を開発できるかを見たいと思っています。

・多様性、公平性、包括性の向上
私達は、影響力のある製品やコンピューティングシステムを構築している人々が、世界中でこれらの製品を使用している人々の事を熟考しているかを深く気にかけています。ここでの私たちの取り組みは、Google Research内だけでなく、より幅広い研究コミュニティや学術コミュニティに対しても行っています。私たちは、協力する学術パートナーや業界パートナーに、これらの取り組みを一緒に進めるよう呼びかけています。個人的なレベルでは、私はコンピュータサイエンスにおける表現(representation)を改善することに深く取り組んでおり、過去数年間にこれらの目標に向けて何百時間も費やしてきました。また、バークレー、CMU, Cornell, Georgia Tech, Howard, ワシントン大学などの大学や、包括性の向上に取り組む他の多くの組織を支援しています。これは私にとって、Googleにとって、そしてより広いコンピュータサイエンスコミュニティにとって重要です。

最後に、来るべき2021年を見据えると、私は特に、より汎用的な機械学習モデルが構築できる可能性に熱中しています。

それは、画像や音声や文章などの様々な形式で伝達される情報を扱う事が可能で、ごくわずかなトレーニングを行うだけで新しいタスクを実行出来るように自動的に学習できるようになる可能性があります。

この分野での進歩は、人々に劇的に高性能な製品を提供し、世界中の何十億人もの人々に、より優れた翻訳、音声認識、言語理解、創造的なツールを提供することを可能にします。このような探究心とインパクトこそが、私たちの仕事にワクワクさせてくれるのです。

謝辞
Martin Abadi, Marc Bellemare, Elie Bursztein, Zhifeng Chen, Ed Chi, Charina Chou, Katherine Chou, Eli Collins, Greg Corrado, Corinna Cortes, Tiffany Deng, Tulsee Doshi, Robin Dua, Kemal El Moujahid, Aleksandra Faust, Orhan Firat, Jen Gennai, Till Hennig, Ben Hutchinson, Alex Ingerman, Tomáš Ižo, Matthew Johnson, Been Kim, Sanjiv Kumar, Yul Kwon, Steve Langdon, James Laudon, Quoc Le, Yossi Matias, Brendan McMahan, Aranyak Mehta, Vahab Mirrokni, Meg Mitchell, Hartmut Neven, Mohammad Norouzi, Timothy Novikoff, Michael Piatek, Florence Poirel, David Salesin, Nithya Sambasivan, Navin Sarma, Tom Small, Jascha Sohl-Dickstein, Zak Stone, Rahul Sukthankar, Mukund Sundararajan, Andreas Terzis, Sergei Vassilvitskii, Vincent Vanhoucke, Leslie Yeh、その他、本投稿の一部の草稿を作成してくださった皆さんに感謝しています。
そして、この研究に貢献してくださったGoogleの研究・健康コミュニティ全体に感謝します。