JP – 有効なインクリメンタルリフトテストの手法:Ghost AdsとPSA

Takuya Miura | July 28, 2020
Director of Business Development, Japan

インクリメンタリティーは広告の成功のための最良の指標である可能性がありますが、実際に意味のあるインクリメンタルテストを実行すると、費用がかかり、複雑になる可能性があります。
ここで、PSAやGhost Adsなどのテスト手法が登場します。
これにより、ユーザー選択をランダム化し、データを正規化して、インクリメンタルリフトテストの価値を最大化します。
以下は、有意義なインクリメンタルリフト分析を実行するのに役立つ各方法論の概要です。

インクリメンタルリフト分析の使い方
インクリメンタルリフト分析では、広告キャンペーンの効果を個別に測定します。インクリメンタルテストは、テストグループとコントロールグループのランダムな選択から始まります。
一般に、コントロールグループにはユーザーの10%、テストグループにはユーザーの90%が含まれます。テストグループは広告を配信し、コントロールグループは広告接触させないようにします。
両方の母集団のコンバージョン率の違いは、インクリメンタルコンバージョンとして測定されます。
これにより、マーケティングキャンペーンの原因と結果を正確に測定し、広告費を効率的に割り当てることができます。

インクリメンタルリフト分析のやり方

インクリメンタルリフトテストを実施するためのポイントは、各グループのユーザーが同じユーザープールから取得され、各グループに対してランダムに選択されなければいけません。
これにより、広告経由のユーザーとオーガニックユーザーの統計的有意性と有意義な比較が保証されます。さまざまな方法論により、公平なインクリメンタルリフトテスト環境が実現されます。主なタイプの概要は次のとおりです。

Intent-to-Treat (ITT) Testing

これは最もベーシックな方法であり、本質的にリフト分析の主要な手段です。
ターゲットグループには広告を配信しますが、コントロールグループには広告を配信しません。
各グループの差により、リフト分析が可能になります。
この方法では、両方のグループのすべてのユーザーの動作を比較します。これには、テストグループの広告接触ユーザーと非接触ユーザー、およびコントロールグループのユーザーの両方が含まれます。低コストで実装が簡単なため、ほとんどの広告主はこのアプローチを使用しています。ただし、ターゲットグループのすべてのユーザーが分析に含まれるわけではないため、この方法ではバイアスが生じる可能性があります。このアプローチでは、分析の品質を低下させる可能性がある「ノイズの多い」データも作成されます。

ITT方法論は実装が簡単で安価です。ただし、処理グループのすべてのユーザーが分析に含まれるわけではないため、ノイズの多いデータの比較が作成されます。

ノイズの多いデータ

ノイズの多いデータは、テストグループ(広告接触を行うグループ)の広告接触していない母集団から生じる意味のない情報です。
コントロールグループ(広告接触をしていないグループ)の行動の変動は、より小さな暴露されたグループのテスト結果の上昇を覆い隠す可能性があります。
これにより、統計的有意性のない上昇テストが失敗する可能性があります。

Public Service Announcements (PSAs)

Intent-to-Treat (ITT)テストではテストグループに広告が配信されますが、コントロールグループには配信されません。
が、PSA手法では実際の広告が両方のグループに配信されます。
つまり、異なる広告が配信されるということです。
テストグループをランダムに選択するとブランド関連の広告が受信され、コントロールグループをランダムに選択するとPSA(公共広告)が受信されます。一部のプレーヤーはPSAアプローチに偏りがないと主張していますが(詳細については後で説明します)、マーケティング担当者がPAS(公共広告)をユーザーに配信するために支払うため、コスト効率が良くありません。

価値を推進するという観点から、PSA(公共広告)は重要な公共サービス問題に関する社会的認識を高めるために活動しています。
また、両方のグループに実際の広告を配信することにより、コントロールグループ内のどのユーザーが公開されたかに関する情報が取得されます。
これにより、露出していないユーザーを測定から除外し、「ノイズの多い」データを除外できます。
PSAの最大の欠点は、関連のない広告に広告費を使用することを除いて、「リンゴとリンゴ」の比較を提供しないことです。
ユーザーは献血広告に反応するかもしれませんが、モバイルゲームを宣伝する広告には反応しないかもしれません。
PSAテストでは、PSA(公共広告)が表示されたときのコントロールグループの動作は、ブランド広告が配信されたときのテストグループの反応が同等という想定の元成り立っています。これは議論に値するポイントであり、YouAppiも議論に値すると考えています。

Ghost Ads

ノイズの多いデータが原因でIntent-to-Treat(ITT)が不十分であり、リンゴとリンゴの比較ができないためPSAテストが不十分である場合、ゴースト広告は両方の課題を解決します。
GhostAdsは、低ノイズで低バイアスの環境を提供します。
それらはまた費用効果が大きいです。
GhostAdsはコントロールグループを監視し、ブランドの広告がそのグループのユーザーに配信されたときにフラグを立てます。
コントロールグループのユーザーは、プラットフォーム上の別の広告主から広告を受け取ります。これにより、クリックとインプレッションのコストが削減されます。
次に、コントロールグループの動作に「Ghost Impression」のマークが付けられ、どのコントロールグループのユーザーが広告に接触したかに関する情報が提供されます。
GhostAds自体はユーザーには見えないため、高品質のユーザーエクスペリエンスが維持されます。彼らは単に実際にオークションに勝った広告を見ます。
ただし、GhostAdsとその入札データは広告パートナーに表示されます。広告を見たはずのユーザーが実際には見ていないのに、どのように振舞うかを確認できます。
この場合も、GhostAdsはPSAベースのA / Bテスト方法論を実現しますが、より正確かつ手頃な価格で実現します。
GhostAdsは、広告にさらされたユーザーと広告にさらされたであろうユーザーの比較を提供します。
GhostAdsテストの最後の利点は、常に「オン」にできることです。つまり、マーケティング担当者はゴースト広告キャンペーンをライブキャンペーンと同時に実行できます。これにより、広告に接触した可能性のあるユーザーに関する一貫した上昇情報が提供されます。

 

まとめ

インクリメンタリティはおそらくパフォーマンスの判断において最良の方法ですが、費用がかかり、運用するのが難しい場合があります。Intent-To-Treat(ITT)、公共サービス広告(PSA)、GhostAdsなどのテスト手法は、マーケティング担当者がより意味のあるリフト分析のための公平なテスト環境を作成するために使用する手法です。

  • Intent-To-Treat(ITT):この方法では、両方のグループのすべてのユーザーの行動を比較します。これには、テストグループ内の広告接触ユーザーと非接触ユーザーの両方、およびコントロールグループのユーザーが含まれます。
    このアプローチは低コストで実装が簡単ですが、バイアスと「ノイズの多い」データが発生する可能性があります。
  • PSA:この方法では、両方のグループに実際の広告が配信されます。ノイズの多いデータは取り除かれますが、コストがかかり、公共サービス広告はブランド関連の広告と比較できないため、テストされたユーザー間の明確な比較はできません。
  • GhostAds(推奨):GhostAdsは、コントロールグループにGhostAdsを配信することで、ITTとPSAのノイズの多いデータとリンゴとオレンジの比較の問題を排除します。
    GhostAdsは、実際にオークションに勝った広告を見ただけのユーザーには見えません。ただし、GhostAdsとその入札データは広告パートナーに表示されます。これにより、広告を表示する必要があったユーザーの行動に関する情報が得られます。GhostAdsは、広告に接触ユーザーと広告に接触したであろうユーザーとの比較において、メリットがあります。