Googleを巨大にした友情(8/9)

１．Googleを巨大にした友情(8/9)まとめ

・2011年からJeffはAndrew Ngと共同でニューラルネットワークの研究に取り組み始めた
・Google Brainは当初はGoogle社内からもその意義をあまり理解されなかった
・Google Brainの活動が忙しくなってきたためJeffとSanjayのペアプログラミングの時間は減ってしまった

２．Google Brainの創設

以下、www.newyorker.comより「The Friendship That Made Google Huge」の意訳です。元記事の投稿は2018年12月3日、James Somersさんによる投稿です。8話目にしてようやくGoogle Brainが登場。

Jeffは落ち着きのない性格です。問題の解決方法が判明してしまえば、解決自体はそれほど興味深いものではありません。

2011年、クラウドシステムが世間に受け入れられつつあった頃、Jeffはスタンフォード大学のコンピュータサイエンスの教授だったAndrew Ngと共同研究を始めました。当時、Andrew Ngは、Googleの秘密プロジェクトを主導し、ニューラルネットワーク、人間の脳の神経細胞である「ニューロン」を模したソフトウェアプログラムを研究していました。

Jeffは学部時代にニューラルネットに出会った事がありました。しかし、当時のニューラルネットは非力で現実世界の問題を解決することができませんでした。

Ngは現在の状況は変わっているとJeffに言いました。スタンフォードでは、インターネット経由で大量のデータが入手可能になったので、研究者達はいくつかの素晴らしい成果を達成してました。Google程の巨大な規模では、ニューラルネットワークは単に役に立つだけでなく強力になる可能性があると、Ngは考えました。

ニューラルネットワークは、従来のコンピュータプログラムとは大きく異なります。ニューラルネットワークは通常のプログラミングのように振る舞い方をプログラマが指定するのではありません。代わりに、「与えられた入力」と「出力した解に対するフィードバック」を使ってニューラルネットワーク自身が「学習」していくのです。

Jeffのニューラルネットワークに関する知識は、学生時代からあまり進歩していませんでした。その後(Jeffの奥さんの)Heidiは、家のバスルームがニューラルネットワークに関する参考書で一杯になっている事を発見しました。

Jeffは、このプロジェクトに1週間に1日を費やす事を始めました。このプロジェクトは「Google Brain」と呼ばれていました。Google社内の多くの人がこのテクノロジに疑問を抱いていました。「なんという才能の無駄遣いをしているのだろう」彼の当時のマネージャーであったAlan Eustaceは、そう感じた事を覚えています。SanjayもJeffのやっている事を理解できませんでした。「僕らはGoogleのインフラ改善に取り組んでいるんだよね」と彼は考えました。「あのプロジェクトで何をしてるのだろう？」

次の7年間で、Google Brainチームは、機械翻訳と音声認識および画像認識の分野で、従来のやり方を圧倒するニューラルネットを開発しました。

最終的に、検索結果をランク付けするアルゴリズムや、広告をターゲティングするアルゴリズムなど、Googleの最も重要なアルゴリズムもニューラルネットワークに置き換わりました。そしてGoogle Brainは、同社で最も急速に成長しているチームの1つになりました。

2001年から働き始めたエンジニア、Claire Cuiは、Jeffの関与がGoogleのAIにとってターニングポイントになったと語りました。「AIを信じていた人もいたし、信じていなかった人もいました。JeffはAIがうまくいくことを証明しました。」

AIはデータの量や計算機資源の規模に依存することがわかっていました。システムエンジニアのJeffはそれを提供しました。この努力の一環として、JeffはTensorFlowと呼ばれるプログラムの開発を主導しました。これはAIにおけるMapReduceのようなものを作成する試みです。

TensorFlowは、ニューラルネットワークを多数のコンピュータに分散させる作業を簡素化し、それらを1つの大きな頭脳に変えました。2015年にTensorFlowが一般に公開されたとき、それはAI界のリングワ・フランカ(訳注:フランク王国のフランク語、転じて共通語を持たない集団内において意思疎通に使われる共通言語)となりました。

最近、GoogleのCEOであるSundar Pichaiは「AI First」を会社のスローガンとし、JeffをそのAI部門のトップに任命しました。

Jeffは現在Google Brainの運営に週4日を費やしています。彼は3000人の人員の指揮をしています。彼はミーティングのために世界中を飛び回り、新しいコンピュータチップ(ニューラルネットワーク用に特別に設計されたTensor Processing Unit)を扱うために毎週会議を開き、AutoML、ニューラルネットをデザインするためのニューラルネットの開発を手伝っています。現在、彼がSanjayとコーディングする時間は週に1回だけです。