Google Cloud VMインスタンス上にAirbyteをデプロイする
この技術ブログでは、Google Cloud Platform (GCP)のCompute EngineインスタンスにAirbyteオープンソースをデプロイするための詳細な手順を紹介します。Airbyteはデータの統合とパイプラインの設定を容易にする強力なツールです。このガイドでは、公式の手順に従い、リモート環境でのセットアップからデプロイまでを説明します。
目次
はじめに
この技術ブログでは、Google Cloud Platform (GCP)のCompute EngineインスタンスにAirbyteオープンソースをデプロイするための詳細な手順を紹介します。Airbyteはデータの統合とパイプラインの設定を容易にする強力なツールです。このガイドでは、公式の手順に従い、リモート環境でのセットアップからデプロイまでを説明します。
前提条件
ステップ 1: DockerとDocker
Composeのインストール
SSH接続しているVMターミナルで以下のコマンドを実行します。
1.1 Dockerのインストール
sudo apt-get update
sudo apt-get install -y apt-transport-https ca-certificates curl gnupg2 software-properties-common
curl -fsSL https://download.docker.com/linux/debian/gpg | sudo apt-key add --
sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/debian buster stable"
sudo apt-get update
sudo apt-get install -y docker-ce docker-ce-cli containerd.io
sudo usermod -a -G docker $USE1.2 Docker Composeのインストール
sudo apt-get -y install docker-compose-plugin
docker compose version1.3 SSH接続の再起動
Dockerグループの変更を反映させるため、現在のSSHセッションを閉じて再接続します。
exit再度SSH接続を行います。
ステップ 2: Airbyteのインストールと起動
Airbyteディレクトリの作成と起動
SSH接続しているVMターミナルで以下のコマンドを実行します。
mkdir airbyte && cd airbyte
wget https://raw.githubusercontent.com/airbytehq/airbyte/master/run-ab-platform.sh
chmod +x run-ab-platform.sh
./run-ab-platform.sh -bmkdir airbyte && cd airbyte
wget https://raw.githubusercontent.com/airbytehq/airbyte/master/run-ab-platform.sh
chmod +x run-ab-platform.sh
ステップ 3: Airbyteに接続するためのSSHトンネルの作成
ローカルターミナルで以下のコマンドを実行してSSHトンネルを作成し、ローカルマシンからAirbyteに接続します。
gcloud --project=$PROJECT_ID beta compute ssh $INSTANCE_NAME -- -L 8000:localhost:8000 -N -fこれで、ローカルのブラウザで http://localhost:8000 にアクセスして、Airbyteのウェブインターフェースに接続できるようになります。
終わりに
以上で、Google Cloud VMインスタンス上でAirbyteをデプロイし、起動する手順が完了です。Airbyteは強力なデータ統合ツールであり、これを活用することで効率的にデータパイプラインを構築できます。必要に応じて、Airbyteの設定を行い、データの統合を進めてください。
参考ドキュメント
https://docs.airbyte.com/deploying-airbyte/on-gcp-compute-engine
