Data Driven Knowledgebase

近年、AI技術の発展は私たちのビジネスのあり方を大きく変えています。しかし、多くの企業ではデータ活用やAI導入における課題が山積しています。そこで今回は、注目のデータ分析プラットフォーム「Databricks」とその生成AIツールである「genie」の活用方法を紹介します。AIとデータが統合された環境での効率的なビジネス分析の方法を詳しく見ていきましょう。

Databricksとは、データ分析とAI運用を統合して構築・デプロイ・共有・保守を行える分析プラットフォームです。Databricksは、以下の層で構成されています。

• オブジェクトストレージ層：AWS S3やGoogle Cloud Storage(GCS)などを活用して全ての生データを格納


• データレイク層：Delta Lakeを活用してデータを総合的に管理


• データ管理層：Unity Catalogを使用して、セキュリティとガバナンスを一元管理

Databricksの最大の特徴は、リアルタイム分析、機械学習、SQL処理、生成AIまでをシームレスに統合していることです。

今回のブログではデータ基盤ツールであるDatabricks上に付随する「genie」について紹介し理解を深めていこうと思います。

多くの企業では、意思決定を行う際にダッシュボードを利用していますが、これは主にパターンや傾向を視覚的に表示するためです。

しかし、ダッシュボードには限界があります。個人が求める具体的な情報を柔軟に表示することは困難です。例えば、「倉庫の稼働率は？」「従業員の欠勤回数は？」など、細かな疑問にリアルタイムで対応することは容易ではありません。

すなわち、現状のダッシュボードはKPIなどの共有するべき項目を一括で表示する部分は優れていますが、ユーザー個人が知りたい情報を任意の粒度で可視化することには向いていません。

Databricksの「genie」は、このような課題を解決します。「genie」を使えば、ユーザーがデータと直接会話を行うような感覚でデータを探求し、より迅速かつ正確な意思決定が可能となります。

データインテリジェンスプラットフォームとは

Databricksは、「genie」を中心にデータインテリジェンスプラットフォームを展開しています。このプラットフォームでは、企業が保持する特有のデータに基づき、特定の問題に特化したAIを提供できます。これにより、広範な一般的データだけを使った汎用的なAIモデルとは異なり、企業特有の課題を解決する力強いツールとなります。

geniが回答を生成する仕組み

ここでgenieが回答を生成する仕組みを見ていきましょう。通常の生成AIはユーザーから入力された情報から答えを生成しますが、genieはユーザーから入力された情報だけでなくDatabricks上で保有するデータやノードブック、過去のチャットの履歴などDatabricks上の資産を統合して回答を生成します。これによりユーザー固有の情報に基づいて回答を作成することが可能になるのです。

ハンズオン

ではここからは実際のデータを使用して、固有の情報に基づいて結果を出力してくれるか検証をします。

今回使用するデータはアメリカのスーパーマーケット「Walmart」の週次売上データです。詳細を以下にまとめます。

参考：

https://www.kaggle.com/datasets/yasserh/walmart-dataset

では早速genieに対して質問をしてみます。

質問1：

店舗ごとの合計売上高を出力してください。

結果：

このように各店舗ごとの合計売上高をデータから出力してくれています。

SQL：

また、作成されたSQLを確認することも出来ます。

SELECT

`Store`,

SUM(`Weekly_Sales`) AS `Total_Sales`

FROM

`--------`.`default`.`walmart_master`

GROUP BY

`Store`

ORDER BY

`Total_Sales` DESC;

これにより正しく計算されていることが確認できます。

質問２：

祝日を含む週の合計売上高はどれくらいですか？？店舗ごとにまとめてください。

結果：

このように質問に対する答えと描画が返ってきました。

SQL:

SELECT

`Store`,

SUM(`Weekly_Sales`) AS `Total_Sales`

FROM

`since_workspace_aws`.`default`.`walmart_master`

WHERE

`Holiday_Flag` = 1

GROUP BY

`Store`

ORDER BY

`Total_Sales` DESC;

同様に祝日に限定した結果を返してくれていることが確認されます。

Databricksの生成AI「genie」は、企業のデータ活用や意思決定の迅速化に大きな貢献を果たします。これまでデータ分析やAIの導入に苦労していた企業でも、genieを活用することでデータ駆動型の企業文化を醸成し、ビジネス成果を大きく向上させることが可能です。