Data Driven Knowledgebase

今回はBigQueryにスプレッドシートのデータを取り込む際の方法と注意点についてまとめてみたいと思います。

BigQueryとはGoogleが提供しているクラウド側のデータベースです。数テラバイトや数ペタバイトのデータも高速で処理することができるのが特徴です。

様々なAPIとの連携、データの蓄積、リアルタイムでのデータ解析なども行うことが可能です。

まずBigQueryを開き、エクスプローラーの横にある+ボタンをおします。そうしたら下記のような画像が出力されると思います。

このGoogleドライブという部分をクリックします。

そうするとテーブルを作成という画面に遷移するので、ここに必要な情報を追加していきます。

ドライブのURLの部分に関してはGoogleドライブのURLだけでなく取り込みたいスプレッドシートのURLを貼り付けてもいいです。

ここで注意なのが、拡張子が.xlsxの状態のままスプレッドシートとして展開したシートのURLを貼り付けると取り込みエラーになります。

手間はかかりますが、.xlsxのついていない新しいスプレッドシートを作成して、そこにデータを貼り付けるようにしましょう。

ファイル形式はGoogleスプレッドシートを選択します。

プロジェクト・データセットに関しては自分が作りたい場所を選択してください。

テーブル名は任意のものを自分で設定してください

スキーマは自分で手動で設定する方法と自動で検知させる方法の2種類があります。

• 自動で検知させる方法
  
  
  
  • これはシートの一行目に書いてあるカラムをBigQuery側が自動で読み取り、それをスキーマ名にしてくれるというものです。しかし、スキーマには先頭が英字または_でなければいけないというルールがあります。これらの規則に則っていないと自動検出は使えません。詳しくは公式ドキュメントをご覧ください
  
  
  • 公式DOC：https://cloud.google.com/bigquery/docs/schemas?hl=ja
  
  
  
  


• 手動で設定する方法
  
  
  
  • こちらは手間はかかりますが、自分が期待している名前に設定できるので後から変更する可能性は低くなります。 また、データの型などにについても適宜自分で設定することができるので、カスタマイズ性があります。
  
  
  • 上記画像の必要事項を入力していくと、設定完了です
  
  
  
  

注意するべき部分として、スキーマは設定が確定した後、任意の部分のみ変更することはできません。一つ変更したい場合はもう一度作成する必要があります。(正確にはクエリなどを実行して変更することも可能そうですが、それもそれで手間がかかります。)

上記の項目をすべてクリアすると、データテーブルを作成することができます。 作成後はスキーマ名の確認やクエリを実行して任意のデータが取得できているかどうかを確認しましょう。

今回はBigQuery上でスプレッドシートデータを読み込む方法について説明しました。 ローカルのエクセルファイルを読み込みたいなどの時に役立つかなと思います。