OSS Vizier:Google社内で使われている人工知能チューニングツールが公開(2/2)

１．OSS Vizier:Google社内で使われている人工知能チューニングツールが公開(2/2)まとめ

・OSS VizierはGoogleの多くのオープンソースプロジェクトや外部のフレームワークと大きく統合されていく事になる
・ニューラルアーキテクチャ探索や強化学習アルゴリズム探索のような大規模進化的探索を可能にする事が特徴
・AutoMLの研究者にとって有用な発見した手法を評価する統一されたアルゴリズムとベンチマークも装備されている

２．OSS Vizierの用例

以下、ai.googleblog.comより「Open Source Vizier: Towards reliable and flexible hyperparameter and blackbox optimization」の意訳です。元記事は2023年2月2日、 Xingyou (Richard) SongさんとChansoo Leeさんによる投稿です。

アイキャッチ画像はstable diffusionのカスタムモデルによる生成

統合、アルゴリズム、ベンチマーク

Google VizierがGoogleの多くの内部フレームワークや製品と大きく統合されているように、OSS Vizierも当然、Googleの多くのオープンソースや外部フレームワークと大きく統合されます。

最も顕著なのは、OSS VizierがPyGloveの分散バックエンドとして、ニューラルアーキテクチャや強化学習アルゴリズムのような、土台の組み合わせ(combinatorial primitives)に対する大規模進化的探索を可能にすることでしょう。

さらに、OSS VizierはVertex Vizierと同じクライアントベースのAPIを共有しており、ユーザーはオープンソースと製品品質のサービスを迅速に交換することができます。

AutoMLの研究者にとって、OSS Vizierは、提案された手法の長所と短所を評価するために、共通のAPIの下で統一されたアルゴリズムとベンチマーク(すなわち、目的関数)の有用なコレクションも装備しています。

特に、TensorFlow Probabilityを介して、Google Vizierのデフォルトアルゴリズムに基づくJAXベースのGaussian Process Banditアルゴリズムが利用できるようになり、組織内ユーザの目的を調整することができるようになりました。

リソースと今後の方向性

基本となるコード、ドキュメント、システム機能解説書へのリンクを提供します。私たちは、特にアルゴリズムやベンチマークといった形でのユーザー貢献を許可し、オープンソースのAutoMLエコシステムとさらに統合していく予定です。今後、OSS Vizierがブラックボックス最適化やハイパーパラメータチューニングをめぐる研究開発を拡大するための中核的なツールになる事を期待しています。

謝辞

OSS Vizierは、Google VizierチームのメンバーがTensorFlow Probabilityチームと共同で開発したものです。
Setareh Ariafar, Lior Belenki, Emily Fertig, Daniel Golovin, Tzu-Kuo Huang, Greg Kochanski, Chansoo Lee, Sagi Perel, Adrian Reyes, Xingyou (Richard) Song, そして Richard Zhang。

さらに、Srinivas Vasudevan、Jacob Burnim、Brian Patton、Ben Lee、Christopher Suter、Rif A. SaurousにはTensorFlow Probabilityのさらなる統合、Daiyi PengとYifeng LuにはPyGloveの統合、Hao LiにはVertex/Cloudの統合、Yingjie MiaoにはAutoRLの統合、Tom Hennigan, Varun Godbole, Pavel Sountsov, Alexey Volkov.に感謝する。Mihir Paradkar, Richard Belleville, Bu Su Kim, Vytenis Sakenas, Yujin Tang, Yingtao Tian, そしてYutian Chen にはオープンソースとインフラの支援を、そして George Dahl, Aleksandra Faust, Claire Cui, and Zoubin Ghahramani とは討議の場を提供してもらいました。

最後に、この記事のためにアニメーションをデザインしてくれたTom Smallに感謝します。