Data Driven Knowledgebase

クーポンメール配信ありの売上と無しの売上の差を単純にクーポンメールの配信効果としていませんか？これは間違いです。

なぜかと言いますとセレクションバイアスがある可能性があるからです。

セレクションバイアスはビジネスで非常によくあることだと思うので、こういう考えもあるのかと知っておくと良いかもしれません。

セレクションバイアスとは何でしょうか。

例えばクーポン配信ありのAグループとクーポン配信なしのBグループがあったとします。

答えはNoです。

それは、そもそもクーポン配信メールがあったグループAには、「クーポンメール配信の有無に関わらず買う人」が多数いた可能性があるからです。

これがセレクションバイアスです。

グループAがメールの有無に関わらず買う売り上げ平均が1500円だったとしましょう。

この時メールがあった時の平均売上は2000円だったため、クーポン配信メールの本当の効果は

2000-1500=500円になります。

この時セレクションバイアスによって1000-500=500円の誤差が出てしまっていたことが分かると思います。

もう一度おさらいしましょう！

バイアス

→データから得られた分析結果と本当の効果の乖離

＝分析結果と実際の効果のギャップ

セレクションバイアス

→そもそも比較しているグループの潜在的な傾向が違うことによって発生するバイアス ＝データのサンプリングの仕方が偏っているせいで起こるバイアス

セレクションバイアスが起こる原因は、先ほどの例で言うとある人に対してクーポン配信メールをするかしないかランダムで決めていないからです。

メールが無くてもある程度買う人に向けてメールを配信するとセレクションバイアスが起こる原因になります。

理想的には、メール配信するかしないかランダムに決めて実験することです。

これをRCT（ランダム化比較試験）と言います。

どうしたらセレクションバイアスなしにメールの効果を測定できるのでしょうか？

複数の方法があるのでそれを紹介します。

１．RCT（ランダム化比較試験）を行う

これは先ほど説明した無作為でメールを配信するかしないか決めて実験を行うことです。しかし、これはあまり現実的ではないですよね。

２．同じ人に対してメールありなしの場合を測定する

理想的な話ですが、Aさんに対して同じ条件下の元、メールの配信ありなし両方を試して売り上げの差を見るのが理想です。

しかし、１と２も両方現実的ではありませんよね…。

あくまで理想の話です。

３．回帰モデルで効果を検証

本当は１や２が理想ですが、それは出来ないので既にある観察データから推測します。

そこで回帰モデルが1つの手法となっています。

注意点としては適当に回帰モデルを作っても正しい効果は分からないということです。

具体的な回帰モデルの作り方や考え方は別の記事で解説したいと思います。

４．層別解析

これは対象者を層に分けて解析する手法です。

例えば、小学生の「身長」と「握力」に関する因果関係を分析する際に、１～６年生の「握力」や「身長」は「学年」に大きく影響を受けます。そこで「学年」ごとに層を分けて身長と握力の関係について分析するのが層別解析です。

５．傾向スコアマッチング

傾向スコアマッチングは観察研究において、処置群（例えばメール配信を受けたグループ）と対照群（メール配信を受けなかったグループ）間の選択バイアスを調整する統計手法です。ランダム化試験が不可能な場合、研究者はこの手法を用いて、処置の効果を推定します。

「傾向スコア」とは、特定の処置を受ける確率を予測する指標です。このスコアは、処置を受けるかどうかに影響を与えうる複数の共変量（年齢、性別、所得など）を考慮して計算されます。各参加者について、ロジスティック回帰などの統計モデルを用いて傾向スコアを算出し、処置群と対照群の参加者をマッチングします。理想的には、傾向スコアが同じまたは非常に近い参加者同士をペアにすることで、処置の有無以外の条件が同等になり、処置の真の効果をより正確に推定することができるようになります。

例えば、メール配信の効果を測定したい場合、傾向スコアマッチングを行うことで、メール配信を受けたAさんと非常に似た特性を持つメール配信を受けていないBさんを見つけ出します。それらの特性がほぼ同等であれば、AさんとBさんの売上データの差をメール配信の効果として解釈することができます。

このマッチング過程で、同一の傾向スコアを持つ処置群と対照群の個体を組み合わせることにより、メール配信の有無だけが異なる「仮想的なランダム化」状態を作り出し、処置の因果効果を推定します。ただし、傾向スコアマッチングには限界もあり、計測されていない共変量によるバイアスは調整できないため、結果の解釈には慎重である必要があります。

こちらも詳細には別の記事で解説します。

セレクションバイアスを排除し、メール配信の真の効果を測定するためには複数の手法が利用できます。最も理想的なのは無作為化試験（RCT）や同一人物に対する前後比較ですが、現実には実施が難しいことも多いです。代替手法として、回帰モデルを用いた効果の検証、層別解析、そして傾向スコアマッチングが挙げられます。特に傾向スコアマッチングは、似た特性を持つ対照群を見つけることで、メール配信の効果をより正確に推定するための有力な手法です。それぞれの方法には利点と限界があり、最適な手法を選択することが重要です。これらの手法の詳細については、別の記事でさらに深く掘り下げて解説する予定です。