Data Driven Knowledgebase

新しくEnterprise版がリリースされたGooogle Colabをプランごとの違いを詳しく調査・比較しました。

Google Colabは、データサイエンティストや機械学習エンジニアなどのプロフェッショナルにとって、非常に便利なツールです。この新しいenterprise版では、より高度な機能とパフォーマンスが提供されており、大規模なデータセットや複雑なモデルの処理にも対応しています。

Enterprise版では、豊富な計算リソースが提供され、高速で効率的な作業が可能です。また、セキュリティ面でも強化されており、重要なプロジェクトや機密性の高いデータの取り扱いにも安心して利用することができます。

さらに、Enterprise版では、チームでの共同作業が容易になりました。複数のユーザーが同時にプロジェクトにアクセスし、コードやノートブックを共有しながら、効率的に作業を進めることができます。

ここではBigQueryとの統合、他のプラン・VertexAI Workbenchとの比較について説明していきます。

Colaboratoryへようこそ より

Colab（正式名称「Colaboratory」）では、ブラウザ上で Python を記述、実行できます。以下の機能を使用できます。

・環境構築が不要

・GPU に料金なしでアクセス

・簡単に共有

Colab は、学生からデータサイエンティスト、AI リサーチャーまで、皆さんの作業を効率化します。

簡単にいうと

✅ すぐにPythonのコーディングができる

ブラウザから超絶簡単にアクセス可能で、基本的なライブラリなら最初からインストールされている

✅ 時間のかかる処理でも、ある程度早く実行できる

機械学習なども、Googleの高性能サーバー上のGPUで動作させることができるため

✅ URLで共有することも可能

ブラウザで動くため、デバイスやOSによる影響を受けない

 

4つプランあるがここではColab ProとColab Enterpriseについて詳細を説明

 

✅ 1ヶ月あたり¥1,179

✅ 100コンピューティングユニット使用可能

コンピューティングユニットとは

GPU使用量の単位のこと

　　GPUの性能(T4, V100, A100) × 時

GPUの性能

　　T4 → V100 → A100の順で性能が良く実行処理が速い

無課金で使用可能なGPU→T4

　　1hあたり1.96使用

　　100コンピューティングユニットで約51時間使用可能

課金することで使用可能なGPU→V100, A100(以下A100の場合)

　　1hあたり15.04使用

　　100コンピューティングユニットで約6時間使用可能

✅ A100やV100のより強力なGPUを使用可能に → 実行速度が速くなる

✅ 大量データ用のメモリが使用でき、使用時間は最長24時間

✅ ターミナルが使用可能に

自前のGPUを使う場合

→マシンを用意、電気代、場所、毎年新しいものが出てくる… 　

GPU等にこだわりはないが開発環境が欲しい 　

サブスク制の方がコスパがいいのでは？

✅ コーディングをアシストしてくれる「Colb AI」を使用可能に

テキストで指示を入力することで対応するコードが生成される

例）「フィボナッチ数列のn番目を計算する関数」という指示

　　　→フィボナッチ数列のn番目を計算する関数のコードを書いてくれる

✅ AIによる自動補完機能

「GitHub Copilot」と同様、入力した関数名やこれまでのコードに基づいて適切なコードを自動的に提案してくれる

 

✅ 1ヶ月あたり¥5,767

✅ 400コンピューティングユニット追加 → 合計500ユニット使用可能

✅ Proの機能に加えてバックグラウンド実行が可能

ブラウザを閉じても最大24時間稼働し続ける

Google Cloud のセキュリティ機能とコンプライアンス機能を備えた共同管理型のノートブック環境

✅ 従量課金制(以下台湾リージョンの料金)

CPU（マシンタイプ：N1）：$0.0439224（vCPU / 時間）

メモリ（マシンタイプ：N1）：$0.0058872（GB / 時間） ディスク（標準永続ディスク）：$0.048（GB / 月）

大まかに言うと「企業利用向けのColaboratory」

✅ IAM(Identity and Access Management)によるアクセス制御

IDとアクセス権を管理する機能で、誰がどのサービスにアクセスできるのかを許可・拒否することができる。必要な人に必要最低限の権限のみを付与することでセキュリティや運用面におけるメリットが高い。

単一のユーザー、Google グループ、または Google Workspace ドメインと共有ができる

例えば以下のようなユーザーごとの個別設定が可能 ユーザーA：ノートブックを見るだけの権限 ユーザーB：コードを実行できる権限 ユーザーC：コードを編集する権限

✅ データを保存する地域を選択

個人情報が含まれるデータなど、法律の観点から特定の地域にデータを保存する必要がある場合に便利

✅ Vertex AIやBigQueryとの統合

・BigQueryからデータを取得する

・ライブラリを使用することで、BigQueryに対してSQLを実行し、使い慣れたpandasデータフレーム形式でデータを操作

・機械学習プラットフォームであるVertexAIにモデルをデプロイ

・scikit-learnのような操作感でBigQueryに統合された機械学習機能であるBigQueryMLを操作

煩わしい認証作業が不要でノートブック上からVertex AIの機能を呼び出せる

始める前に

1. Google Cloudを初めて使用する場合は、アカウントを作成


2. Google Cloud Console[プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成
   
   
   
   


3. Vertex AI, Dataform, and Compute Engine API を有効にする
   
   
   
   

BigQueryとは

Google Cloudが提供しているデータウェアハウス 環境構築が不要で手軽に利用できる 大規模なデータセットに対してSQLクエリを実行するためのサービス

2023年8月29日にBigQuery Studioのリリースが発表された。今回はBigQuery Studioに新しく追加された「Colab Enterprise を使用して構築された埋め込み Python ノートブック」について詳しく解説する。

BigQueryのデータをノートブックで操作

今回は国税庁 法人番号公表サイトから取得したデータを使用している



このBigQueryにあるデータを用いてデータの検出、探索、分析、推論の実行を容易にするPythonノートブックをワンクリックでランタイムを提供して組み込みまでサポートしてくれる。

ここから操作することも可能だがEnterpriseのAIによる自動補完機能が使用できない。使用したい場合は移動する必要がある。

Google Cloud コンソールで、Colab Enterprise の [ノートブック] ページに移動します。

リージョンをBigQueryのデータセットと同じに合わせると先ほど作成したノートブックが出てきて、AI自動補完機能が使用できる。

作成したノートブックを共有する

[共有]でノートブックの権限の編集が可能。アクセス権を付与することができる。

[リンクを取得]でリンクでのノートブックの共有が可能で、デバイスやOSの差異に困ることなくコードを共有・実行することができる。

 

Googleの中でもAIの開発環境としてVertexAI workbenchがあります。そことの違いを比較していきます。

試しに一つインスタンスを作成してみます。

1. 環境の設定
   
   


2. マシンタイプの設定
   
   


3. ディスクの設定
   
   

Workbenchは色々Notebook環境を柔軟に設定できる

Colab Enterpriseは環境の管理が不要で高いセキュリティ下で実行できる

「Notebook環境を柔軟に設定したい」→Workbench

「環境の管理は不要、Google Cloud環境でセキュリティ強くNotebookを使いたい(企業むけ)」→Colab Enterprise

「環境の管理は不要、セキュリティも特に考える必要なし、とにかく手軽にNotebookを使いたい」→Colaboratory

✅ 企業利用向けのColaboratory

Google Cloud のセキュリティ機能とコンプライアンス機能を備えている

✅ BigQueryにあるデータをワンクリックですぐ検出、探索、分析、推論できる

✅ VertexAI Workbenchのように環境の管理・設定を行う必要がない

✅ リンクで共有できるので、デバイスやOSの差異に困らない