Data Driven Knowledgebase

機械学習におけるリークとは、「本来、予測を行う時点では知ることができない未来の情報」が、モデルの学習データに混入してしまう現象を指します。

分かりやすく例えるなら、「明日受ける予定のテストの解答を見ながら、今日の模擬テストを解いている状態」です。答えを知っているため、手元のテストでは簡単に100点が取れます。しかし、答えを見ることができない本番のテスト（実運用環境）では、実力がないため全く点数が取れなくなってしまいます。

AIがデータの法則を正しく学習したわけではなく、単に結果に直結する「答え」を暗記してしまっただけの状態と言えます。

リークは、データの抽出や加工の過程で、無意識のうちに発生することが多くあります。ビジネスの現場で起こりやすい3つの具体例を見てみましょう。

・例1：退会予測モデルにおける「解約関連データ」の混入

「来月、サービスを退会しそうな顧客」を予測するモデルを構築するとします。このとき、予測に使うデータの中に「退会手続きページの閲覧回数」や「退会完了メールの受信履歴」を含めてしまうケースです。予測したい時点ではまだ発生していないはずの未来の行動が含まれているため、AIは「退会ページを見た人は退会する」という無意味なルールを学習してしまいます。

・例2：明日の売上予測における「実際の結果」の混入

店舗の明日の売上を予測する場合、本来使用すべきデータは「明日の天気『予報』」です。しかし、過去のデータから学習させる際に、誤って「その日の『実際の』降水量」を使ってしまうことがあります。明日の実際の天気は、明日が終わるまで知ることはできないため、これもリークとなります。

・例3：病気の診断予測における「処方箋データ」の混入

ある患者が特定の病気にかかっているかを予測する際に、「その病気専用の薬が処方されたか」という履歴データを混ぜてしまうケースです。薬の処方は医師が病気だと診断した「後」に行われるため、予測時点では知り得ない情報であり、実質的に答えを教えていることになります。

リークを防ぐためには、複雑な数式やプログラミングのスキルよりも、データの発生タイミングを正確に把握する視点が求められます。

1.「予測する瞬間」を考慮する

データを作成する際は、「実運用において、AIが予測を出すまさにその瞬間に、このデータは手元に存在しているか？」を常に自問自答してください。時系列を厳密に意識することが最大の防御策です。

2.データを分割する「前」の処理を避ける

モデルの精度を正しく評価するため、データを「学習用」と「テスト（評価）用」に分割します。しかし、分割する前にデータ全体の平均値を使って欠損値を埋めたりしてしまうと、テスト用データの情報が学習データに漏れ出してしまいます。必ず「データを分割してから、前処理を行う」という順序を守りましょう。

3.異常に高い精度を疑う

理想的な精度が出た場合は、喜ぶ前にまず「どこかでリークが起きているのではないか」と疑う視点を持つことが重要です。現実のビジネスデータにおいて、最初から完璧な予測ができることは稀です。

機械学習におけるリークは、データ分析のプロジェクトを根本から台無しにしてしまう非常に危険な落とし穴です。

AIのアルゴリズムをチューニングして精度を上げることも大切ですが、それ以前に「業務のどのタイミングで、どのようなデータが発生し、それをいつ予測に使うのか」というビジネスプロセスそのものを正しく理解することが不可欠です。

見かけ上の高いスコアに惑わされることなく、実社会で本当に機能する、信頼性の高いデータ分析を目指していきましょう。