Data + AI World Tour Tokyo 2025参加レポート
今回の記事はDatabricks Data + AI World Tour Tokyo参加レポートとなります。Databricksは、データエンジニアリング、データサイエンス、ビジネス分析を1つの場所で統合して行うことを目的としたクラウドベースのデータ分析プラットフォームです。今回、講演で解説されたUnity Catalog、Lakeflow、Lakebaseについてご紹介します。
Unity Catalogについて
Unity Catalogは、1箇所でデータの権限を管理し、データの流れを見える化し、データを使いやすくするためのものです。Unity Catalogにはさまざまな機能がありますので、今回はレイクハウスフェデレーションという機能に焦点を当てたいと思います。
レイクハウスフェデレーションとは、Databricksから「データを移動・コピーせずに、外部のデータベースの中身を直接操作する機能」です。
Unity Catalogの拡張機能の1つで、データがどこにあっても（Databricks以外のサービスにあっても）、あたかもDatabricks内にあるかのように扱える仕組みです。
すでに使用している環境や別で使用している類似サービスのデータを1つのプラットフォームで扱うことが可能となり、データ活用に貢献します。
Lakeflowについて
Lakeflowは、データの取り込みから加工、送信といったデータパイプラインの構築を簡単かつ自動化するものです。外部ツールに頼っていた部分をDatabricksネイティブの機能として統合したものです。今回は、Lakeflow ConnectのZerobus Ingestを取り上げたいと思います。
これまで、データ取り込みを実運用で構築するには、イベント作成、通知、エラーハンドリングなど、相応の作業が必要でした。リアルタイムで同期しようとすると、負荷は尚更でした。
Lakeflow ConnectにあるZerobus Ingestというコネクタを使うことで、メッセージバス（KafkaやKinesisなど）を用いずに、データ転送が必要なアプリケーションから直接Delta Tableにデータを送信することが可能です。
Lakebaseについて
Lakebaseは、マネージドサーバーレスPostgresです。OLTPとして利用しているPostgresをdatabricksで利用することが可能になります。
これは先日リリースされたサーバーレスPostgres企業であるNeonの買収によるところが大きいと考えられます。説明においても、Neonライクな仕様になることが示唆されていました。
まとめ
今回のData + AI World Tour Tokyoでは、最新技術や企業における活用事例が紹介されました。
活用段階にあることが顕著に分かる機会となりました。
