皆さんこんにちは！台湾でウェブマーケティングの会社の COO を務める台湾人のエリックです。
デジタルマーケティング会社にいると、よく聞かれるのが「予算をいくらにすればいいのか」という質問です。
結論から言うと、予算は「出せる範囲」で良いと思います。残念ながらきちんと広告の効果を確かめるための適切な予算を出せる企業は多くありません。
なぜなら広告の効果を確かめるためには非常に大きなサンプルサイズが必要だからです。これは経験上毎月コンスタントに 100〜200万円程度の予算を用意する必要があります。
今回の投稿では、広告のテストを行う際に最も重要な指標の一つである「サンプリング」の概念について説明します。 なぜサンプルサイズを知ることが重要なのか、そしてそれをどのように計算するのかお話します。
この投稿を読めば、サンプリングの概念を使って、キャンペーンの効果を判断する前にどれだけの露出が必要かを判断する方法を理解できると思っています。
Contents
なぜサンプルサイズを理解することが重要なのか
まず、コンセプトとして「コンバージョン率10％」を想像してみましょう。
下記のの2つのシナリオは、どちらもコンバージョン率10％ですが、意味は全く異なります。仮にここでは牛肉麺を売る二つの屋台を例に話しましょう。
- 屋台Aは、10人が来て1人しか買わなかった。
- 屋台Bは、100人が来て10人が買った。
購入率は両者10%ですが、どちらの牛肉麺の方が美味しいと思いますか？
後者の方が美味しいと思いますよね？なぜなら同じ10%でも後者の方が来客数が多く、信頼性が高いと言えるからです。ここでは来客数が「サンプル」になります。つまり、サンプルのサイズが大きくなると、実際のグループを代表する信頼性が高くなるということです。
ネット広告の配信では、クリック率やコンバージョン率が0.5％改善したり悪化したりするだけで、不安になるお客様がいます。しかし、サンプルサイズが小さいとそれは統計的に見ると改善や悪化は誤差の範囲内であることが非常に多いのです。
サンプルサイズはどのように算出するのか？
では、サンプルサイズはどれくらいあれば良いでしょうか？統計学ではサンプルサイズを決めるための数式がありますが、ここではネット上にあるツールを使って計算してみましょう。
使うのは、SurveyMonkey が提供する Sample Size Calculator です。SurveyMonkeyを使用する際には、まず理解しなければならない3つの統計用語があります：
その1. 母集団 (Population)
母集団とは標本が抽出された基準グループです。要するに、テストしたいグループ/対象の総数という事です。標本とはその中からテストデータが取れたグループです。統計学の目的は、標本の結果を通して、母体の特徴を推定することです。
例を挙げましょう。例えば大統領選挙の世論調査の場合、母集団は投票権を持つすべての国民となります。世論調査のサンプリングを通じて、母集団母集団である投票権を持つ国民の特徴、傾向推定することができます。
広告の場合は、一つの広告を通して「ターゲットとなる全員（母集団）に露出したとき」に、実際に反応（クリックや購買）してくれるターゲットの割合を推定することが目的です。
例えば台湾だと大学生と大学院生を対象とした商品の場合は、大学・短大事務局の公開情報プラットフォームが提供する統計を用いて、学籍のある学生数を約121万人と推定することができます。
その2. 信頼水準 (Confidence Level)
信頼水準とは、複数回のサンプリングを行った場合に、母数（母集団の特徴を表す定数）が含まれる可能を表します。一般的には95%の信頼水準が適切と言われます。
一般的には、信頼水準として95%を使用します。もちろん、より低い信頼水準を求めるのであれば、より小さなサンプルサイズが必要となります。
要するに標本のデータの 95% がある水準に落ち着いていたらそのデータは信頼できますよ？って話です。
デジタル広告の場合、信頼水準の基となるデータはクリック率やコンバージョン率になります。もしも95%のデータが、ある一定のクリック率やコンバージョン率に落ち着いていたら信頼できると結論づけるということです。
このデータに、許容できる誤差を足した範囲を信頼区間と言います。信頼区間とは、サンプルサイズに誤差を加えた区間のことです。この許容できる誤差は商品やサービスによって異なるため、信頼区間のデータは変わってきます。
広告を例にとると、1回のキャンペーンのクリック率が2%で、誤差が0.5%の場合、サンプルの信頼区間は1.5%〜2.5% となります。
許容誤差 (Margin of Error)
その名の通り、許容できる範囲の最大誤差を表しています。
広告のクリック率を例に挙げてみましょう。もし、一つの広告のクリック率が 2% で、それを 95%の信頼水準、許容誤差が0.5% でデータを得られた場合、クリック率は 1.5%~2.5%の範囲に収まると結論づけられます。
ちなみに、ニールセン社のテレビ視聴率調査によると、台湾の視聴率の誤差は1.75％程度だそうです。 言い換えると、3％の視聴率と1.3％の視聴率の差は、誤差と考えるべきです。
これらの用語を理解した上で、実際に広告の世界でどのように使われているかを見てみましょう。
統計学をウェブマーケに応用する
それでは今まで習った統計学をウェブマーケティングに活かしましょう。
その1. 母集団の算出
今回はコスメ商品を例に進めます。Facebook 広告には便利な機能があって、『オーディエンスインサイトレポート』を使って条件を指定すれば潜在ターゲット数を算出できます。
ここでは、「化粧品に興味のある台湾の35～54歳の女性」を条件とします。その結果、潜在ターゲット (母集団) が250～300万人ほどいる事がわかりました。この数字を基に中間値である275万人を母集団とします。先ほどご紹介した、サンプルサイズ計算機にこの数字を入力します。信頼水準は業界標準の95%にします。
その2. サンプルの算出
誤差を1％とすると、9,571個の標本（クリック）が必要となる事がわかりました。要するに、ウェブサイトに 9,571件の流入があって初めて、コンバージョン率が信頼できるデータか否かわかるという事です。
仮に、9,571回の訪問で1％のコンバージョン率が得られたとすると、「台湾の275万人の美容が趣味の人たち全員がサイトを訪れた場合、全体のコンバージョン率は0〜2％と予想できる」と見積もることができます。
その3. 広告予算の算出
では9,571の流入を得るにはどれくらいの広告予算が必要かと言うと、クリック単価が 30～60台湾ドルだとして100～200万台湾ドル必要になります。
ちなみに許容誤差を下げると、サンプルの数はもっと必要になります。例えばコンバージョン率の誤差を0.5%にした場合、37,887人のサイト訪問者が必要です。
よくご相談いただく企業の中には「まずはテストとして数十万円で台湾市場の感触を掴みたい」という方がいます。しかし「購入率」や「コンバージョン率」を目標とすると、数十万円ではテストにすらならないのが現実です…
結論：テストの目的を明確にする
デジタル広告の世界では、いわゆるテストは、自然科学や社会科学における厳密にコントロールされた環境とは大きく異なり、多くの変数をコントロールすることが難しいです。その結果、エラーを予測することも困難です。
以上の試算から、広告を出して母集団全体のコンバージョン率を推定しようとすると、如何にコストがかかることがわかりました。では小予算の広告には価値がないのでしょうか？
もちろんあります。実は、「標本」と「誤差」は、以下の2つの方法で解釈を変えることができます
広告素材のクリック率をテスト対象とした場合
顧客は「この商品が売れるのか、売れないのか知りたい」と思うでしょう。しかし売れるか売れないかテストするにはコストがかかりすぎます。
仮にテストしたい内容を、この商品は潜在ユーザーの興味をそそっているのか、否かにしてみましょう。そしたらテストするのは広告クリエイティブになります。
仮に、広告クリエイティブや広告コピーのクリック率の市場調査を行うとしたら、必要なサンプルは「サイト訪問数」から「広告リーチ／露出」に変わり、コストも大幅に削減されます。
上記のコスメ商品の母集団を用いいた場合、0.5%の誤差でテストを設計するためには、37,887回の露出だけで済みます。
コンバージョン目標を緩め、誤差の許容範囲を拡大する
次に、コンバージョンの定義を緩和し、より一般的なレベルのコンバージョン（例：ショッピングカートの追加）に再定義して誤差を拡大すれば、テストコストを大幅に削減することができます。
例えば、美容業界の場合、誤差を2％に広げれば、テスト費用を7万台湾ドルから14万台湾ドル (28万円-56万円) の間に抑えることができます。
統計はマーケティングプロセス全体の中の「ツール」であり、それ自体が目的であってはなりません。ですから、実験計画の目標として統計的有意性を追い求めることは、おすすめしません。
この投稿の目的は、テストを行う際の誤差のコストを理解し、そのコスト意識をもとに「何をテストすべきか」「どのくらいの期間を見積もるべきか」をさらに考えることです。
誤差という概念を把握していれば、日々の広告効果の報告を株価指数のように扱って毎日気にするのは合理的ではないことが分かります。1日に100万台湾ドルをかけて多くの露出とトラフィックを蓄積しなければ、1日のサイト訪問数だけでは広告の効果を推し量ることはできません。
以上、applemint Eric から統計学を用いたウェブマーケでした！
マーケティング業界はノウハウを販売するビジネスです。そのため、自分達の考えや計算モデルを公開することに抵抗を感じるケースも少なくありません。
今回、applemintが実際に現場で使っている一連の計算モデルを公開しました。その背景にはこのモデルを公開して、一般の方にも試していただきたいと考えていたからです。
もしも内容についてご不明な点や、この計算はおかしいと思われる点があれば、お気軽にお問い合わせください！
次回は、広告におけるもう一つのより重要な概念であるA/Bテストと、その統計的対応である検定力分析について説明します。
applemintへのご相談やご連絡はこちらから！
