1.Google Colaboratoryの2021年の進化まとめ
・DataFrameを直接俯瞰したり変数インスペクターによりデバッグが非常に楽になった
・実行履歴の確認や、一時的なセルへのコピーが可能になり試行錯誤がやりやすくなった
・Colabの動作マシンをGoogleクラウド上のマシンに設定するのが楽にできるようになった
2.Google Colaboratoryの2021年のアップデートまとめ
2022年11月追記)Colabの価格体系が変更されています。
ブラウザを使って無料でpython等で人工知能開発等ができる事で有名なGoogle Colaboratory(略称Colab)ですが、2021年は月額1,072円のColab Pro、月額5,243円のColab Pro+と有料版が立て続けにリリースされたためか、無料版のColabは従来より割り当てられるマシンの性能が低下傾向ではあります。
しかし、無料版も地道にアップデートが行われて使い勝手が良くなっており、私も気づいてなかったものがあったので以下で2021年の主なアップデートをご紹介。
(1)ステータスバーに実行時間が表示されるようになった
これは気づいていた人も多いと思うのですが、画面下部のステータスバーに実行にかかった時間が表示されるようになりました。
(2)コマンドを簡単に探せるようになった
「ツール」→「コマンドパレット」、もしくはCtrl + Shift + P ショートカットで、下記の画面が呼び出せます。
コマンドパレット
あれってどうやったっけ?というときにこれを使うと素早くアクセスできます。
(3)テキストセル内でLaTeXと絵文字が入力できるようになった
テキストセルでコロン「:」を押した後に絵文字の名前、もしくは\を押すとLatex記号の補完入力ができるようになりました。下記の赤枠、もしくは青枠のボタンを押す事でも入力できます
(4)PandasのDataFrameが直接確認可能になった
DataFrameの内容をシンプルにさっと俯瞰したいのに列が一部しか表示されなかったりして、えっと、どうやって全部表示させるんだっけ?とググったりする時がありませんか?
Colab内で特定のパッケージをimoprtする事でDataFrame内の全データを、以下の操作をしつつ、目で見て確認できるようになりました。
・指定列でのソート
・正規表現を使ったフィルター
・範囲を指定して検索
・ページ分けして全データを表示
以下のコードで試してみてください
from google.colab import data_table data_table.enable_dataframe_formatter() from vega_datasets import data cars = data.cars() cars
(5)実行中のセル内の変数の型や形状が確認可能に
実行中のセル内の変数の型や形状を確認できる変数インスペクターが実装されました。ツールバーの左端の{x}ボタンを押すと開くことができます。
変数インスペクターを表示させっぱなしですと、多少、パフォーマンスに影響が出ますが、これはデバッグ時に超便利です!
(6)セルの実行履歴を別窓で確認して、一部のセルだけを再実行可能に
ColabやJupyterって一部のセル内容だけを一時的に変更して再実行したくなる事ありますよね?
でも巨大なファイルだと、何をどう変更したんだったか、どの順番で何を再実行したんだったかが
わかんなくなってしまう事があったりしますが、わかりやすいインタフェースで実装されました。
「表示」→「コードの実行履歴」を押すと右側にセルの実行履歴が表示されます。
そして、以下の「スクラッチセルにコピー」ボタンを押すと
「一部のセル内容だけを更に別窓に表示させて一時的に変更して再実行」する事が出来るようになります。
これも地味に超便利!
(7)GCP(Googleクラウドプラットフォーム)をランタイムにして起動させるのが簡単になった
従来はランタイムをGoogleクラウドの仮想マシンに設定して動かすのはモジュールのインストールなどがやや手間だったのですが、GCP内のメニューにあるMarketplaceという設定済の仮想マシン(GCE)を選べるページからColab用に設定済の仮想マシンを選んで簡単に起動できるようになりました。
便利ではありますが、クラウドで動かす=従量課金ですから要注意です!
ディフォルトの設定でも最低限下記のお値段+ネットワーク利用料がかかります。
\9,915円/月
ソリッド ステート ディスク: 200GB
\1,492円/月
NVIDIA Tesla T4 GPU
\29,333円/月
継続利用割引(一か月間連続で起動した際に自動的に適用される割引)
\11,774円/月
月間の推定合計額
\28,966円/月
後、Colabなので一定時間操作がないと切断されるのですが、明示的に仮想マシンを停止しない限り、裏で動き続けます。Amazon SageMaker Studio Labと同様、静的ディスクなのでデータが消えないという利点はありますが、課金はずっと続いてしまうので使い終わったら仮想マシンをシャットダウンしておくようにしましょう。
なお、ここに書いてある事を読んで自分でGCPを試してみようと思った際は、必ず、GCPのお支払い → 予算とアラート から、予算額と予算の何パーセントに達したらアラートを上げるか予算アラートを設定するようにしてください。ネットワーク使用料などが想定外に膨らんで何十万円も予算オーバーしてしまう事故が非常に多いです。
詳細は下部リンクをご覧ください。
3.Google Colaboratoryの2021年の進化関連リンク
1)research.google.com
GCP Marketplace を介して Colab で GCE VM を起動する手順