大家好，我是 Eric。
身為數位行銷公司，最常被問到一個問題是：「我應該花多少預算？」
先說結論，大部分的中小型商家，其實沒有能力透過數位廣告，了解市場全貌。因為統計上的誤差，會讓你需要非常多的樣本，才能做出有效的推論。
換句話說，你大約需要準備 100-200 萬的預算，才能推測整個市場的「轉換率」。
為什麼會得出這樣的結果？我們會在本文後面的〈如何知道美妝產業需要的投放數〉中做詳細的計算。
今天這篇文章，要跟大家說明進行測試時最重要的「抽樣」概念。首先知道為什麼要了解樣本數，以及如何計算、應用在測試的場合。
讀完這篇文章後，你能夠了解：如何透過抽樣的概念，決定廣告活動至少需要多少曝光，才能真的判斷它的成效好/不好。
Contents
為什麼要了解樣本數
先讓我們想像一個概念：轉換率 10%。
以下兩個情境，用比例來看都是 10%，但意義上截然不同：
- 今天在路邊擺攤，10 個人到攤位，只有 1 個人購買。
- 今天在路邊擺攤，100 個人來攤位，有 10 個人購買。
後者的 10% 感覺更穩定，也更可信。為什麼呢？因為我們的抽樣人數更多，更能代表實際群體的狀況。
在投遞網路廣告時，客戶往往會因為點擊率或轉換率改善或惡化 0.5% 而感到不安。然而，如果我們用統計學的角度來看，很多時候這樣的差異只是在誤差範圍內。
如何計算樣本數
關於樣本數的計算，統計學有基本定義，這邊並不會去做深入的數學推導，因此我們直接使用網路上現有的工具輔助計算。
本文將透過 SurveyMonkey 提供的工具：Sample Size Calculator 來計算所需的樣本數。
在使用 Sample Size Calculator 時，需要先了解 3 個統計學上的詞彙：
母體 (Population)
抽取樣本的參考群體，統計學的功能，在於透過抽樣的結果，回頭估算母體參數。
以總統大選民調來說，母體就會是全台灣擁有選舉權的公民，我們希望透過民調的抽樣，來預估母體實際上的選民分佈；而以廣告來說，我們想要透過單次廣告活動的成效，來回頭估算「當全部受眾都曝光」時，我們鎖定的目標受眾會實際產生反應的比例。
母體在數位廣告中，就相當於你設定的受眾總人口。
以孕婦產品為例，在決定母體時，我們可以藉由參考台灣近幾年的平均生育年齡、人口比例來估算；以大學生與研究生為目標對象的產品，則可以透過大專校院校務資訊公開平台提供的註冊人數統計來估算，約有 121 萬有學籍的學生。
信心水準 (Confidence Level)
信心水準與信賴區間，由於兩者是一體兩面的概念，因此在初學統計時，相當容易搞混。
而信心水準則是指，在我們多次抽樣的情況下，由同樣誤差範圍所組成的信賴區間中，有多高的機會能夠包含我們所在意的母體參數 (Parameter)，以廣告來說，就是對所有潛在受眾曝光後的廣告點擊率或是轉換率。
一般來說，我們都會以 95% 作為信心水準。當然，如果你對信心水準的要求降低，那麼你需要的樣本數就會比較少。
信賴區間指的是我們根據樣本的統計量，加上誤差範圍後所形成的區間。不同的信心水準，會有相對應的信賴區間。我們一樣以廣告為例，我們單次的廣告活動得到的點擊率是 2%，而誤差範圍是 0.5% 時，代表這次抽樣的信賴區間是 1.5% 到 2.5% (或者計為 [0.15,0.25])。
誤差範圍 (Margin of Error)
顧名思義，就是可能產生的最大誤差。
以廣告點擊率為例，如果在 95% 的信心水準底下，這個廣告活動的點擊率是 2%，誤差範圍是 0.5% 的話，那我們可以推論：當廣告曝光給整個母體看的時候，實際上的點擊率很有可能落在 1.5% 到 2.5% 這個區間。
順帶一提，根據尼爾森的電視收視率調查簡介，台灣的收視率誤差大約是在 1.75% 左右。換句話說，收視率 3% 與收視率 1.3% 的差異，其實應該被視作誤差範圍。
對上述的詞彙理解後，我們接下來可以看看要如何實際運用在廣告的世界中。
如何知道需要的投放數：以美妝產業為例
以競爭激烈的「美妝產業」為例，我們可以先透過 Facebook 的廣告受眾洞察報告，得出「台灣地區 35-54 歲對『化妝品』有興趣的女性，大約有 250-300 萬人」這樣的估計值。
我們先取中間值 275 萬，填入 Sample Size Calculator 的 Population 欄位。
信心水準採用業界標準 95%。
當我們能夠容許 1% 的誤差範圍時，需要 9,571 個樣本 (點擊數)。換句話說，當我們搜集到 9,571 次進站人數 (使用者) 後，我們才能在 1% 的轉換率誤差底下，看到轉換率的表現情況。
如果在 9,571 次進站人數後，我們得到的轉換率是 1%，那麼我們可以推估「當全台灣 275 萬人的美妝興趣受眾都進站後，我們可以預期整體轉換率在 0-2% 之間」。
想要再精確到 0.5% 的轉換率誤差，需要 37,887 次的進站人數。
此時，我們以 Facebook 的 CPC 30 到 60 元換算，在 Facebook 上大約是 100-200 萬左右的預算。
以上是針對「轉換率」作為測試目標時，可能需要耗費的成本。我相信對大多數的中小企業而言，都是一筆負擔不小的費用。這也是為什麼一開始我們說「大部分的中小型商家，其實沒有能力執行轉換率的測試」。
但整體來說，如果是要以「購買率」、「轉換率」為測試目標，而你要測試的目標轉換率太低的時候，並非是「我想要投個 10 萬塊試試水溫」這麼簡單的。
當然，上述的情況是在整體轉換率低，大約只有 1% 時才會需要顧慮的成本。如果今天產品的轉換率歷史轉換率在 10%，而我們可以容許的誤差範圍擴大到 2% 時，我們只需要 2,399 的樣本 (進站數)。
結語：弄清楚你的測試標的是什麼
在數位廣告的世界中，所謂的測試，與自然科學、社會科學等嚴謹控制的實驗有很大的差異，因為許多變項更難以控制，產生的誤差也就更難預估。
上述的估算中，我們得知，想要透過投放廣告的方式，去估算市場的整體轉換率，需要付出相當龐大的代價。但難道小預算的廣告就沒有任何價值嗎？
當然有價值。
事實上，我們可以透過下面兩種方式來解讀「樣本」與「誤差」：
以廣告素材的點擊率為測試標的
如果是針對廣告創意、廣告文案來進行點擊率的市場測試，我們需要的樣本將會從「進站數」變為「廣告觸及人數/曝光次數」，成本將會大幅降低。以上述美妝產業的例子來說，我們只需要 37,887 次的曝光，便能設計出誤差範圍在 0.5% 的測試。
放寬轉換目標與擴大容許的誤差範圍
將轉換的規則放寬，檢視較上層的轉換 (例如：加入購物車)，並且擴大誤差範圍 (例如 2%)，即可大幅降低你的測試成本。以上述的美妝產業為例，如果將誤差範圍擴大到 2%，你便可以將測試成本控制在 7-14 萬元間。
統計學在整個行銷環節中，是一項「工具」，並不應該是目的本身，因此我們同樣不鼓勵將追逐統計顯著性視為實驗設計的目標。這篇文章的目的，在於讓大家了解執行測試時，因為誤差而產生的成本，並藉成本意識，進一步去反思「應該要測試什麼」、「應該要預估多長的測試時間」。
一旦你掌握了誤差的概念，你將會發現：把廣告成效的日報表當成股票指數，每天提心吊膽並沒有道理。如果你沒有一天花費 100 萬，累積大量曝光與流量的話，一天的進站人數並不足以推論你的廣告成效。
行銷業界是一份販賣 know-how 的產業，因此許多時候，大家通常不太願意公開自己的計算模型。本次 applemint 提供一系列的計算模型，一方面是希望將「誤差」的概念帶入實際廣告操作的情境，另一方面也是希望藉由將計算模型開源，讓這些模型能夠被大眾檢驗。如果對內容有任何疑問，或是認為這些計算方式有誤，隨時歡迎與我們聯繫。
下次，我們將說明廣告中更重要的另一個概念：A/B 測試，以及其對應的統計概念：檢定力分析。
從這裡聯絡 applemint！
