GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)

１．GoogleのリサーチサイエンティストColin Raffelへのインタビュー(2/2)まとめ

・転移学習の刺激的な進歩の大爆発が技術の見極めを難しくさせT5に繋がった
・教師無し学習でラベルなしデータセットを活用する事が標準になる未来を見ている
・既存のコードをお手本に概念を再実装する事は学習に非常に役立つ

２．新しい概念を学ぶ方法

以下、medium.comより「An interview with Colin Raffel, Research Scientist at Google」の意訳です。元記事の投稿は2020年5月15日、Sayak Paulさんによるインタビュー記事です。

アイキャッチ画像のクレジットはPhoto by NeONBRAND on Unsplash

サヤック：
あなたの研究哲学は本質に基いた非常に確かなものですね。詳しく教えてくれてありがとうございます！確かに、この哲学は多くの新進の研究者に役立つでしょう。私は多くの読者がこの質問に特に興味を持っていると確信しています。T5の研究を本当に動機付けたものは何ですか？とても包括的でよく書かれた論文です！

コリン：
ありがとうございます！
この論文は非常に膨大な作業量だったので、それを聞いてうれしいです。
この論文の動機は、NLPの転移学習において非常に刺激的な進歩があったという事実から生じました。2018年に転移学習が本当に意味のある方法で機能し始め、これが新しい技術の大爆発につながったと思います。このような大爆発が起こった時はいつでも、様々な論文の進歩を比較し、どの貢献が最も重要であるかを推測するの事が難しくなる可能性があります。例えば、2つの論文が双方とも1か月以内に発表され、双方がパフォーマンスの改善を目的としている場合、同じ実験設定を共有している可能性は低いため、どちらがより有用であるかを判断するのは難しい場合があります。T5の論文での私達の目標は、これら全ての異なる手法の包括的な実証的比較を提供し、その後、物事をスケールアップすることにより、現在の方法の限界を調査することでした。私は過去に同様の論文に取り組んだことがあります。深層半教師あり学習(Realistic Evaluation of Deep Semi-Supervised Learning Algorithms)と音楽に関する機械学習アルゴリズム(A TRANSPARENT IMPLEMENTATION OF COMMON MIR METRICS)の評価です。

サヤック：
半教師あり学習は、私が個人的に最近研究している事です。そのため、深層半教師あり学習の論文を後で必ず確認しておきます。また、レジデンシー(Google AI Residency program)での活動期間について知りたいです。そこではどのような研究プロジェクトに取り組みましたか？

コリン：
レジデンシープログラムのおかげで、特に音楽の仕事から離れて、より一般的な機械学習アルゴリズムに取り組む機会が与えられました。私は前半ぐらいの期間を費やして、オンラインおよび線形時間(linear-time)のデコードを可能にするモノリックアテンションメカニズム(monotonic attention mechanism)を開発しました。私はまた、このレジデンシーをより大きなグループの人々とコラボレーションする機会として使用し、差分サブサンプリングメカニズム(Training a Subsampling Mechanism in Expectation)で同様の研究を行い、勾配推定を使用してハードアテンション(Learning Hard Alignments with Variational Inference)を研究しました。

サヤック：
うわー、それらは非常に多様な課題セットですね！
機械学習の分野で現在ワクワクしている分野は何ですか？

コリン：
大規模な言語モデルが教師なし学習を通じて暗黙のナレッジベースを形成できるという事実は、多くの強力で興味深い研究にうってつけのようです。ナレッジベースは、歴史的に作成にコストがかかり、問い合わせ手段が脆弱です。言語モデル(LM)が単純で大規模な賢くない教師なし学習を使用して同様の操作を実行できるという事実は、非常にエキサイティングです。これにより、オープンドメインの質問回答で最先端のパフォーマンスが得られることを示す最近の研究(How Much Knowledge Can You Pack Into the Parameters of a Language Model?)があります。より広い意味では、例えば、自己教師型の対照学習(self-supervised contrastive learning)などを通じて、ラベル付けされていないデータを活用して一般化と堅牢性を向上させる事ができると言う傾向に興奮しています。将来的には、単に教師有り学習を行う事だけでなく、ラベルなしの大きなデータセットを活用することが完全な標準になることを願っています。

サヤック：
自己教師学習は、実用的な使用例として幅広い領域で使用されているのでとても興奮しています。
機械学習の実践者として、私がよく悩んでいるのは、新しい概念を学ぶことです。この学習プロセスにどのように取り組んでいるのか共有して頂けますか？

コリン：
可能であれば、既存のコードをお手本に概念を再実装する事が非常に役立つと思います。残念ながら、機械学習手法のほとんどのオープンソース実装は、あまり明確に書かれていないか、十分に文書化されていません。それを自分で再実装し、それがどのように機能するかを注意深く明確に文書化するためには、手法を深く理解しなければなりません。実装を既存の実装に基づいて行うと、行き詰まったり何かが機能しなくなったりしたときに、適切な頼みの綱が得られます。

サヤック：
私はこの哲学に完全に同意します。このやり方はまた、推理力をある程度まで高め、研究に関する考え方を発展させるのに役立ちますね。
初学者へのアドバイスはありますか？

コリン：
できれば、あなたと同じことを学びたいと思ている、志を同じくし、やる気のある人々のグループを見つけましょう。これは、連帯と共助の両方で役立ちます。ニューラルネットワークについて学び始めたとき、私はLasagne(Theanoのニューラルネットワーク用ライブラリ)のニューラルネットワークライブラリを作成した人々のグループの一員である事から多くの恩恵を受けました。これにより、仲間のコミュニティにアイデアを跳ね返らせ、そこから学ぶことができました。

サヤック：
この部分についてはこれ以上なく同意できますね。:)
コリン、このインタビューを受けてくれて、貴重な洞察を共有してくれて、本当にありがとうございました。これらがコミュニティに非常に役立つことを願っています。

コリン：
インタビューしてくれてありがとうございます！私が辿ってきた道を振り返ることは楽しかったです。

このインタビューをお楽しみいただけましたでしょうか？
次のインタビュー記事のためにこちらに注目してください。 www.sayak.dev/interviewsでこれまでに行われたすべてのインタビューを見つけることができます。私についてもっと知りたいなら、私のウェブサイトsayak.devをチェックしてください。