Data Driven Knowledgebase

今回は、社内のデータサイエンティスト向けてに考えた、データ分析環境のガバナンスについて、プロジェクトの開始から終了までの一連のステップを詳細に説明します。特に、データサイエンティストが関与する分析と機械学習環境の部分に焦点を当てています。このガイドを通じて、データサイエンティストがどのようにして安全かつ効率的にデータ分析環境を構築し、運用していくかを理解していただけることを目指しています。

フローの全体像

プロジェクトは以下のステップで始まります。

1. Slackワークフローの設定
   
   
   
   • VMインスタンス管理チャンネルを作成し、インスタンスの使用許諾についてのフローを設定します。これは、データサイエンティストがインスタンスを使用する前に、必ず管理者の承認を得るための重要なステップです。Slackワークフローは、インスタンスのリクエストと承認プロセスを自動化し、効率化します。
   
   
   
   


2. クラウドリソース管理表への自動挿入
   
   
   
   • インスタンスの使用許諾が得られた後、自動的にクラウドリソース管理表に挿入されます。この管理表はGoogle Sheetsで作成され、インスタンスの使用状況や承認状況をリアルタイムで追跡できるようにします。これにより、リソースの過剰利用や未承認の使用を防ぐことができます。
   
   
   
   

データサイエンティストが触れる部分は、主に以下のステップに集中しています。ここではデータエンジニアが事前に準備したフローに沿って、環境を構築していきます。

1. Terraformによるインフラのコード化
   
   
   
   • データエンジニアが事前に用意したTerraformファイルを使用してインフラを構築します。これにより、インフラの設定が標準化され、一貫性が保たれます。安全に決まったインスタンスを準備するためのテンプレートを作成し、これを基にインスタンスをデプロイします。これにより、セキュリティとコンプライアンスが確保されます。
   
   
   
   


2. GitHub Actionsを使った自動デプロイ
   
   
   
   • GitHub Actionsを利用して、Terraformのコードを自動デプロイします。このプロセスにより、インフラの設定と管理が一貫して行われ、手動によるエラーのリスクが減少します。GitHub Actionsのワークフローは、コードの変更がプッシュされるたびにトリガーされ、インフラの自動デプロイが実行されます。
   
   
   
   


3. Secret Managerの利用
   
   
   
   • サービスアカウントの.jsonファイルをSecret Managerで管理します。これにより、重要な認証情報が安全に保管され、アクセスが厳重に制御されます。Secret Managerを使用することで、認証情報の漏洩リスクを最小限に抑え、セキュリティを強化します。
   
   
   
   


4. インスタンスグループの管理
   
   
   
   • Compute Engineのインスタンスグループを作成し、必要に応じてオートスケーリングを設定します。オートスケーリングにより、需要に応じてリソースのスケールアップやスケールダウンが自動的に行われます。ただし、オートスケーリングは必要な場合のみ使用します。これにより、リソースの無駄遣いを防ぎ、コスト効率を高めます。
   
   
   
   


5. GitHubとの連携
   
   
   
   • GitHub上のリポジトリにあるスクリプトを利用し、データサイエンスのプロジェクトを実行します。データサイエンティストは、このリポジトリにあるスクリプトを使用して、データ分析のジョブを実行します。これにより、コードのバージョン管理と共同作業が容易になります。
   
   
   
   


6. SSH接続して作業を行う
   
   
   
   • データサイエンティストは、VMインスタンスにSSH接続し、作業を行います。SSH接続を通じて、リモートから直接インスタンスにアクセスし、必要なデータ分析作業を実施できます。これにより、柔軟で迅速なデータ処理が可能になります。
   
   
   
   


7. BigQueryサービスアカウントでデータを持ち込む
   
   
   
   • データはBigQueryのサービスアカウントを使用してSSH環境に持ち込みます。これにより、必要なデータをBigQueryから取得し、SSH環境での分析が可能になります。BigQueryからデータを取得する際には、サービスアカウントの認証情報を使用してセキュアにアクセスします。
   
   
   
   

データサイエンティストの作業が完了すると、クラウドリソース管理表が更新されます。この表は、稼働状況を選択することで、インスタンスの現在のステータスを管理します。稼働状況の更新は、プロジェクトの進行状況を把握するために重要です。

プロジェクトが終了したら、クラウドリソース管理表にて最終的なステータスを確認し、全てのリソースが適切に終了されていることを確認します。リソースの終了処理は、無駄なコストを防ぐために重要です。また、リソースの適切な終了を確認することで、セキュリティリスクを低減します。

今回は、データサイエンティストが触れるデータ分析環境のガバナンスについて、プロジェクトの開始から終了までの一連のステップを詳しく説明しました。プロジェクトの開始時に行うSlackワークフローの設定とクラウドリソース管理表への自動挿入、Terraformによるインフラのコード化とGitHub Actionsを使った自動デプロイ、Secret Managerを利用した認証情報の管理、必要に応じたオートスケーリングの設定、GitHubリポジトリとの連携、SSH接続を通じた作業、そしてBigQueryサービスアカウントを使用してデータをSSH環境に持ち込む手順について解説しました。最後に、クラウドリソース管理表を更新し、プロジェクトの終了時にリソースの適切な終了を確認する重要性も説明しました。

これにより、データサイエンティストが安全かつ効率的にデータ分析作業を進めるための環境を整えることができます。