Google Colab Proが日本から利用可能に

調査研究

1.Google Colab Proが日本から利用可能にまとめ

・Colab Pro版がオススメかどうかというと「その人の使い方次第」
・Colab Free版で支障を感じていない人は無理にColab Pro版にする必要はない
・Colab Free版では実現できない事が増えてきたらPro版を試す価値はある

2.Colabの無料版と有料版の違い

アイキャッチ画像のクレジットはPhoto by Science in HD on Unsplash

「Pro版もご検討ください!」としっかりとした日本語でオススメしてくる割に実際に申し込むと「予期しないエラーが発生しました」とエラーになる状態で長らく放置されていたGoogle Colaboratoryの有料版であるColab Proがようやく日本でも正式サービスが開始されて利用可能になったので、早速申し込んでみました。

Colab Pro版の価格

2021年4月時点の価格は\1,072/月の月額課金(サブスクリプション)サービスです。

以下のように請求書には価格¥1,072、税¥0と書いてありますが、海外からの直接購入扱いになるので消費税はかからないそうです。

Colab Pro版の申し込み方法

https://colab.research.google.com/signup」から申し込むか、もしくはColabを立ち上げて、上段メニューの「ツール」→「設定」→「Colab Pro」からボタン1つで簡単にアップグレード可能です。解約も同ページから可能。以下は購入後の画面です。

Colab Proの歴史

2020年2月8日
アメリカでサービス開始

~当初は裏技を使えば日本からも利用できた模様~

2020年7月
Colab Proのディスクサイズが倍増

2020年10月6日
カナダでサービス開始

~Pro版を薦めて来るが実際には申し込めない時代~

2020年12月
Colab ProでTerminal(コマンドライン、CMD)が利用可能に

2021年3月26日
ブラジル、フランス、ドイツ、インド、日本、タイ、イギリスで正式サービス開始

Colab Proの利点

公式ドキュメントがColab Proの利点として挙げているのは以下です。

(1)Colab Free版よりColab Pro版の方が性能が良いGPUが優先的に割り当てられる
例えばFree版がK80(12GB)とするとPro版はT4(16GB)やP100(16GB)のGPUが割り当てられるとの事。

各GPUの性能比較に関しては以下の記事をご覧ください。
GCP上で大きなモデルを動かした際のGPUの性能比較

私の現在の使い方ですとGPUの速度差はそんなに大きく感じたことはありません。ただし、大きなモデルではGPUに搭載されているメモリ量が少ないと動かせないケースが出てくる場合があります。追記)捕捉に書きましたがV100の上位版を引く事があります。前言撤回しますが画像系の処理は圧倒的に速かったです。

(2)Colab Free版よりColab Pro版の方がより多くのメモリ搭載されたマシンが優先的に割り当てられる
Free版でもPro版と同等のメモリ(25GB)を搭載されたマシンが割り当てられる事はありますが、Free版を使いすぎたり、混雑している場合はメモリが半減(12GB)したマシンが割り当てられる事があります。

これもマシン本体のメモリが気になってくるのは大きなモデルを動かす場合であるのと、大きなモデルは25GBでも足りなくなるケースがあるのでそんなに魅力的には感じてませんでした。

(3)Colab Free版は12時間経過すると問答無用で一時切断されるがColab Pro版は24時間まで連続使用できる
Colabは計算を実行している途中でも切断されてしまう事があるのですが、運よく切断されなくてもFree版は12時間以上は連続稼働できませんでした。Colab Pro版は24時間は連続稼働できるのと計算途中の切断割合がFree版より低いとのお話です。

個人的には数日に渡って連続稼働が必要な学習は自宅PCでやっているので、そんなに魅力を感じてなかったのですが、最近、暖かくなってきたじゃないですか?

GPU搭載マシンが稼働しっぱなしの部屋の温度は明らかに高くなる事を肌で実感し、空調も計算に入れると夏はやっぱり電気代が予想以上になりそうなので、Colab Pro版で24時間毎にチェックポイントを保存して保存したチェックポイントを自宅PCで確認する感じのルーチンが確立出来たらな、と思って契約してみました。

Colab無料版のスペック例

Colab Pro版のスペック例

あれ?Colab Proなのにメモリ搭載量が少ない!?と思ったのですが、Colab Proは「ノートブックの設定」からランタイムの仕様を「ハイメモリ」に選択できます。

ハイメモリタイプにすると以下のように25.51GBメモリのランタイムに接続できます。

その他、2021年4月時点のColab Pro限定のメリットは
(4)Colab Free版(68.40GB or 100GB)に比べてディスクサイズが2倍(147.15GB or 225.89GB)

具体的なディスクサイズは起動時毎に異なっているようで「なんか今回多いな?」と感じる事があります。上記のカッコ内のサイズは私が出会った事があるサイズで確約されたサイズというわけではないです。

嬉しい事は嬉しいですが、Colab内のデータはFree版でもPro版でもランタイムがリセットされると消えてしまうので、永続的な保管場所はGドライブの無料枠15Gになるので、本格的に使いだすと15GBでは足りなくなり、Google Oneの100GB/月額250円か200GB/月額380円がおそらく必要になります。ちなみにGoogle Oneの100GBは契約すると最大容量が100GBになります。115GBになると思っていたので残念です。厳密には有料契約で増えるのは85GBです。ファイルのコピーに非常に時間がかかるなど使い勝手もイマイチな部分もあるので場合によっては他のストレージサービスを使う事も検討の余地があるかもしれません。

(5)ブラウザ上から実行できるTerminal(コマンドライン)が利用可能

地味に便利と思います。無料版でも疑似的なコマンドラインは実行できたのですが、プロ版のコマンドラインはColabが実行中でも別ウインドウからコマンドをバリバリ実行できるので実質、1000円でGPU付きのレンタルサーバーが使い放題であるとも言えます。ディフォルトですとviもvimも入ってませんが、aptで好きなエディターをインストールできます。

左下のターミナルのアイコンを押すとコマンドラインが打ち込める対話型のシェルが起動できます。

下図では右側にターミナルを表示させてますが、右上の赤枠のレイアウトアイコンを押すと

「水平分割」、「垂直分割」、「単一タブ(タブ切り替え)」の中からページのレイアウトは選択できます。

引き続き、Colab Proを使ってみて気づいたことがあったら本ページをレビューとして更新していこうと思います。

その他、使っていて気が付いたTipsや捕捉

(1)Colab Proの優遇度

少し前からGCPで単価が安い地域でGPU付きのインスタンスを作成しようとすると「リソース確保に失敗しました」と出て作成に失敗する事が多くなっていたのですが、Colab Proの多地域展開直後の現在はこの現象が悪化している気がします。Colab Pro側では普通にGPUが確保できるのにGCPでは確保できないのでColab ProはGCP比で相当優遇されたサービスになっていると感じます。

(2)巨大ファイルや大量ファイルのコピー

Colab ProであってもGoogleドライブに格納した大量ファイルもしくは巨大なファイルにアクセスする処理は異常に時間がかかる時があります。Colab Pro側に一旦コピーした方が早いのでコピーが必要になるのですが、単純なcpコマンドは非常に時間がかかる and 途中で止まってしまったりします(360ファイル13Gバイトはコピーが正常完了できなかった)。大量ファイルの場合の解決策はGoogleドライブには全ファイルを固めたzipファイルを置くようにして、Colab Pro側からunzipコマンドでColab Pro内に解凍するようにすると比較的スムーズにコピーできます。巨大ファイルの場合は、何処かのサーバーにアップしてそのサーバーに対してColab Proからwgetコマンドで直接ダウンロードする事などが回避策としてあげられます。

(3)V100-SXM2がGPUに割り当てられる事がある

Colab ProではV100-PCIeより更に性能が良いV100-SXM2がGPUとして割り当てられる事があります。画像系の処理は糞速いです。P100で1バッチ4分以上かかっていた処理が1分20秒で終わっていたので、あまりの速さに何事かと思って確認したらV100-SXM2でした。これはホントに起動時に毎回ガチャを引くような感覚ですね。

(4)24時間経過してないのに計算途中に切断されてしまう事

フリー版よりは全然少ないですが、まだ稀にあります。

 

3.Google Colab Proが日本から利用可能に関連リンク

1)twitter.com
@GoogleColab

タイトルとURLをコピーしました