FacebookとP&Gでの経験から気づいた「データ分析の罠」

 

データ分析上の罠：デジタルでの効果測定の多くは因果ではなく相関である

 デジタルは全数データが存在し、CookieやデバイスIDを元に大量のデータを分析することで多くの知見を得ることができます。一方で、Facebook社での経験を通し、因果と相関について学んだ、先ほどとは違う罠がひとつあります。

 それはデジタルでの効果測定の多くは相関関係を示したものであり、それだけでは因果関係を見極めることが難しいということです。例えば以下のカスタマージャーニーの図をご覧ください。



 こちらを典型的なデジタルでの効果測定ツールで測るとどうなるでしょうか？　結果は初回購入前の最後のクリックであるサーチ広告と再購入前のリマーケティング広告に同等の貢献度があり、ディスプレイ広告や動画広告は貢献度が０となります。

 すなわち購入というイベントと直前にあったクリックという相関のみを表し、因果は全くありません。０と認定されたディスプレイ広告や動画広告が原因でサーチ広告に反応、結果購入したかもしれませんが、全て無視されます。さらにリマーケティング広告は初回購入と同じだけ価値が与えられます。

 本当にそうでしょうか？リマーケティングがなくてももしかしたらリピートしていたかもしれません。

 これらが起きるのは何故でしょうか？詳細は省きますが、それはCookieやデバイスIDを使った技術上の問題があるからです。技術上の問題があるため、本来マーケターが把握すべき因果関係について間違った理解になってしまいます。とはいえ安価に使えるこうしたツールは非常に有益な部分もあります。

 大事なのは、①代理店やベンダーなどにまとめてもらうCPAなどの結果指標だけを追いかけるのではなく、②自分たちが今使っているツールは因果関係という意味で何ができて何ができないのかを理解すること、③そのツール単体だけで因果関係を把握するのではなく、複数のアプローチを取って因果関係を明らかにしていくことだと思います。

 個人的には、複数のアプローチの候補としてコントロールグループを作ってベースラインを理解できるリフトテストや、単相関ではなく包括的に因果関係を見ることができるマーケティングミックスモデリングといった手法を併用することをオススメします。
 

最後に

 今回のお話を編集部にいただいた際、現場の経験も含め最初に思いついた内容が今回ご紹介した内容でした。マーケターの仕事である再現性のある因果関係をつくるために、相関の問題やデジタルの計測問題についてお話させていただきました。

 後編では違った角度でデータ分析にありがちな罠についてお話させていただければと思います。

他の連載記事:

マーケティングの現場で起きているデータ分析時に陥りがちな罠　の記事一覧