スコアを用いたRTPの検証方法について

JMUGのみなさま

お世話になっております。ホームプロの小西です。

スコアを用いたRTPバナーの検証方法について

みなさまのお知恵をお借りしたく、投稿しました。

12月中旬頃より、スコアが一定以上のホットな

リードに対してCVを促進するRTPバナーの掲出を開始しました。

充分な量が溜まったら効果検証をしようと考えているのですが

より良い検証方法を模索しております。

弊社が現時点で考えているのは

下記のような感じですが、方法として正しそうでしょうか。

また、こうしているよー、こうした方がいいよーというものがあれば

ぜひぜひご共有いただきたいです！

――――――――――――――――――――――――――――

■検証したいポイント

    スコアが一定以上のホットな対象リードに対し

    RTPバナー掲出は効果があるのかを検証する（CVR判断）

■考えている検証方法案

    ①期間別で掲出をオン・オフする

        1：1ヶ月間はRTPをオンにする

        2：1が終了後、1ヶ月間はRTPをオフにする

        3：1と2を比べてCVRに差があるかを検証

        ※シーズナリティや上下動を埋める補正が必要

    ②一定以上のスコアリードにオンオフフラグを立てる

        1：一定以上のスコアに達した時点で

        　　対象リードをテスト実施可否1/0と

        　　カスタムフィールドで振り分ける

        2：同一期間中で1はRTPをオンにする

        3：同一期間中で2はRTPをオフにする

        4：2と3を比べてCVRに差があるかを検証

    ③キャンペーン設定A/Bテストを用いる

        1：キャンペーンとして存在はしているが、

        　　　画面上には何も掲出しないものを作成

        2：バナーが掲出するキャンペーンを1と

        　　　A/Bテストでグルーピングする

        3：1と2を比べてCVRに差があるかを検証

        ※これはまだ試しておらず、実際に出来るのかが不明です

――――――――――――――――――――――――――――

どうぞよろしくお願いします。