ヘ?イシ?アンABテスト利用した 広告クリエイティフ?検証の実現について

26a31e16aab1fc9c4522dfa3a2c8ce6c?s=47 Ikuya Murasato
December 04, 2020

ヘ?イシ?アンABテスト利用した?広告クリエイティフ?検証の実現について

2020/12/4(金) に開催したExploratory データサイエンス勉強會#16の株式會社セプテーニ様のご登壇資料です。

26a31e16aab1fc9c4522dfa3a2c8ce6c?s=128

Ikuya Murasato

December 04, 2020
Tweet

Transcript

  1. 2020 Septeni CO.,LTD.. All Rights Reserved ベイジアンABテスト利用した 広告クリエイティブ検証の実現について

  2. 2020 Septeni CO.,LTD.. All Rights Reserved 1 自己紹介 ?名前 大塩和朗(オオシオカズアキ)

    ?所屬 株式會社セプテーニ(デジタル広告代理事業) ?業務 広告効果の計測ツールの活用提案およびサポート デジタル広告の根幹でもある効果計測周りの専門家です (もし、広告のツール関連で質問あればいつでもどうぞ?。?
  3. 2020 Septeni CO.,LTD.. All Rights Reserved 1. 広告業界のABテストとは?

  4. 2020 Septeni CO.,LTD.. All Rights Reserved 3 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類

    広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100萬本突破??! SALE クリック率(CTR)もしくはコンバージョン率(CVR)を參考にパフォーマンスを判斷する
  5. 2020 Septeni CO.,LTD.. All Rights Reserved 4 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類

    広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100萬本突破??! SALE CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8% 顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い
  6. 2020 Septeni CO.,LTD.. All Rights Reserved 5 1. 広告業界のABテストの実態 広告業界のABテストはだいたい2種類

    広告クリエイティブのテスト サイトのビジュアルテスト Install Install A B ご購入はコチラ ご購入はコチラ 100萬本突破??! SALE CTR 1.5% CTR 1.7% CVR 0.7% CVR 0.8% 顕著な差が現れることは珍しく、だいたいは誤差とも解釈できる差しか現れない場合が多い 偶然??
  7. 2020 Septeni CO.,LTD.. All Rights Reserved 6 1. 要するに かなり小さな差ですが、お預かりしているご予算が大きいため

    結果に大きな影響を與える可能性があります
  8. 2020 Septeni CO.,LTD.. All Rights Reserved 7 1. 広告業界のABテストの実態 取得できるデータは、日別×クリエイティブごとの

    広告表示回數?クリック數?CV數のみ 1行が1日単位のデータ 定義が異なるCV數 imp = 広告の表示回數 click = 広告がクリックされた回數 ※數字には係數がかかっています
  9. 2020 Septeni CO.,LTD.. All Rights Reserved 8 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判斷基準

    AD AD 広告表示回數 多 広告表示回數 少 広告表示回數の偏りで判斷する カイ二乗検定を用いる
  10. 2020 Septeni CO.,LTD.. All Rights Reserved 9 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判斷基準

    AD AD 広告表示回數 多 広告表示回數 少 広告表示回數の偏りで判斷する カイ二乗検定を用いる 広告配信システム側の機械學習によって 予測効果が他に比べて良いと判斷された結果
  11. 2020 Septeni CO.,LTD.. All Rights Reserved 10 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判斷基準

    AD AD 広告表示回數 多 広告表示回數 少 広告表示回數の偏りで判斷する カイ二乗検定を用いる ?Good Point シンプルでわかりやすい 準備が必要ない ×Bad Point 新規で出稿した広告には配信が偏り難い傾向 ロジックは原則ブラックボックス
  12. 2020 Septeni CO.,LTD.. All Rights Reserved 11 1. 広告業界のABテストの実態 (広告業界において)一般的なABテストの判斷基準

    AD AD 広告表示回數 多 広告表示回數 少 広告表示回數の偏りで判斷する カイ二乗検定を用いる ?Good Point p値が一般的な概念になっており、説明が容易 ×Bad Point データ量が多ければp値での判斷も可能だが 予算が限られている場合も多く、データがたまる前に 判斷しなければならない場合が多い
  13. 2020 Septeni CO.,LTD.. All Rights Reserved 12 1. 要するに 広告表示回數の偏りで判斷する

    カイ二乗検定を用いる こちらの方法では、判斷できない場合が多い 時間や手間がかかる上に p値で判斷できるデータ量に達する前に 判斷しなければならない場合が多い
  14. 2020 Septeni CO.,LTD.. All Rights Reserved 13 1. 要するに 単純にCVRの大小比較だけで判斷してしまうか?

    いや、それだとご納得いただけない場合も多い…
  15. 2020 Septeni CO.,LTD.. All Rights Reserved 14 1. そこで ベイジアンABテストが使えるのでは???

  16. 2020 Septeni CO.,LTD.. All Rights Reserved 2. ベイジアンABテストの良い點

  17. 2020 Septeni CO.,LTD.. All Rights Reserved 16 2. 補足 ベイジアンABテストはここから使えます

  18. 2020 Septeni CO.,LTD.. All Rights Reserved 17 2. ベイジアンABテストの良い點 結果がシンプルで直感的

    「改善する確率」欄で 既存LPの方が93%の確率で 改善することがわかる
  19. 2020 Septeni CO.,LTD.. All Rights Reserved 18 2. ベイジアンABテストの良い點 圧倒的に判斷までが早い

    何%以上の改善確率が出たら判斷する という決め事をしてしまえば かなり早い段階で判斷が可能
  20. 2020 Septeni CO.,LTD.. All Rights Reserved 19 2. ベイジアンABテストの良い點 グラフがとてもわかりやすい

    棒1本1本が「改善率」と 「改善する確率」を表している この棒の場合、8.42%の確率で 45%CVRが改善するという意味 (改善する)確率 改善率(CVRが?%改善する)
  21. 2020 Septeni CO.,LTD.. All Rights Reserved 20 2. ベイジアンABテストの良い點 グラフがとてもわかりやすい

    (改善する)確率 改善率(CVRがxx%改善する) ここが改善率0%の場所 これより左側の領域は悪化する可能性 これより右側の領域は改善する可能性 を示している 改善率0%
  22. 2020 Septeni CO.,LTD.. All Rights Reserved 21 2. ベイジアンABテストの良い點 用意するデータもシンプル

    CVしなかった場合のクリック數 ( = クリック數 – CV) CVした場合のクリック數 ( = CV) ※今回は分かりやすく集計しましたが、データが日別になってても動きます
  23. 2020 Septeni CO.,LTD.. All Rights Reserved 22 2. つまり 統計初心者の現場でも容易に理解でき

    グラフも視覚的で分かりやすく伝えやすい かつ、データ収集も容易なのが ベイジアンABテスト
  24. 2020 Septeni CO.,LTD.. All Rights Reserved 3. ベイジアンABテストの補足

  25. 2020 Septeni CO.,LTD.. All Rights Reserved 24 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    これは差はまだ明確じゃないと判斷すべき? それとも、「改善する確率」を信じる? 改善確率90%の狀態での確率分布
  26. 2020 Septeni CO.,LTD.. All Rights Reserved 25 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    結論、改善確率を信じて良いと思います! 改善確率90%の狀態での確率分布
  27. 2020 Septeni CO.,LTD.. All Rights Reserved 26 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    この表はAとBそれぞれのCVRが出る確率を表している 改善確率90%の狀態での確率分布
  28. 2020 Septeni CO.,LTD.. All Rights Reserved 27 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    改善確率90%の狀態での確率分布 仮にAのCVRが0.6%をとったとする
  29. 2020 Septeni CO.,LTD.. All Rights Reserved 28 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    改善確率90%の狀態での確率分布 AのCVR = 0.6% AよりもBのCVRが大きくなる確率はこの領域
  30. 2020 Septeni CO.,LTD.. All Rights Reserved 29 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    改善確率90%の狀態での確率分布 AのCVR = 0.65% AよりもBのCVRが大きくなる確率はこの領域
  31. 2020 Septeni CO.,LTD.. All Rights Reserved 30 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    改善確率90%の狀態での確率分布 AのCVR = 0.8% AよりもBのCVRが大きくなる確率はこの領域
  32. 2020 Septeni CO.,LTD.. All Rights Reserved 31 3. ベイジアンABテストの問題點(疑問點) 90%以上も改善可能性があるのに、CVRの事後確率分布は重なってるように見える…

    改善確率90%の狀態での確率分布 見た目以上にAよりもBの方がCVRが大きくなる確率は低く その狀態を「改善確率」としてわかりやすい數値で示している よって、「改善確率」で成否判斷をしてもよいと考えられる
  33. 2020 Septeni CO.,LTD.. All Rights Reserved 32 3. ベイジアンABテストの問題點(疑問點) ここにはどの數値を入れるべきかわからない

    既存CRのCVRと標準偏差?
  34. 2020 Septeni CO.,LTD.. All Rights Reserved 33 3. ベイジアンABテストの問題點(疑問點) ここにはどの數値を入れるべきかわからない

    結論: マーケターの皆さんが感覚的にわかっている 「このサイトならこのぐらいのCVRだろう」 という數値を入れれば問題ありません!
  35. 2020 Septeni CO.,LTD.. All Rights Reserved 34 3. ベイジアンABテストの問題點(疑問點) ここにはどの數値を入れるべきかわからない

    時間 Aの広告を配信 その後、ABテストをするため Bの広告を追加配信 Aの広告にはBを配信するまでに貯めてきた 配信データがある この數値を入れれば良い
  36. 2020 Septeni CO.,LTD.. All Rights Reserved 35 3. ベイジアンABテストの問題點(疑問點) ここにはどの數値を入れるべきかわからない

    時間 ABテストをするため AとBの広告を配信開始 Aの広告のデータがなかったとしても 「この広告ならこのぐらいのCVRでるだろう」 という數値をいれれば良い
  37. 2020 Septeni CO.,LTD.. All Rights Reserved 36 3. ベイジアンABテストの問題點(疑問點) ここにはどの數値を入れるべきかわからない

    むしろ、數値を入れなくても動く ※數値を入れた場合、「より少ないデータで結果を 判斷できるようになる」というメリットがある
  38. 2020 Septeni CO.,LTD.. All Rights Reserved 37 まだまだ勉強不足な部分が多々あります もし、ご指摘がございましたらご教授頂けますと幸いです! ご清聴いただきありがとうございました!

97精品免费公开在线视频_ caoporn国产免费_ 超碰高清熟女一区二区