媒體一再以抽樣誤差為標準來判定對比式民調中候選人支持度差距是否具有統計顯著性,這是對選舉民調的錯誤解讀。這種錯誤,不但國內媒體常犯,國外亦然。而且不但媒體,連影響重大的政黨提名制度也犯同樣錯誤。
以六月四日發表的旺旺中時民調為例,王金平與蔡英文的對比式民調結果是蔡29.5%王26.6%,差距2.9%。該民調成功訪問773人份有效樣本。在95%信心水準下,抽樣誤差為正負3.5%。中時因此強調王蔡之差「在誤差範圍內」。同一民調也對洪秀柱與蔡英文作對比式民調,結果是蔡31.4%洪27.3%,差距4.1%。中時雖未說明此差距是否在誤差範圍內,對照上文,該報導顯然認為蔡、洪的差距大過抽樣誤差而具有統計顯著性。
類似的民調解讀,我在美國媒體上也常看到。隨手捻來:2012年三月美國總統大選政黨初選期間,CBS News/New York Times合作民調顯示民主黨的Obama領先共和黨的Romney 47%對44%。CBS的記者作文字報導時,一樣強調「三個百分點的領先是在該民調的3%抽樣誤差範圍之內」。
這樣的解讀為何錯誤?
一般民調的所謂抽樣誤差,其實是在該民調的樣本數下,50%這個百分比的抽樣誤差。即使可以用公式算出其他百分比的誤差,它也只適用於衡量單獨一個百分比。要衡量「兩個百分比差距」的誤差,必須要用不同的算法。舉例而言,假設民調中所有的受訪者均支持兩位候選人之一,也就是沒有人支持第三候選人也沒有人未表態。這種情況下,如果對比候選人A的支持度為p,則對比候選人B的支持度為1-p,其差距為p-(1-p)=2p-1。因為單一百分比p的誤差是抽樣誤差m,2p-1的誤差是2m。
換句話說,判定候選人民調支持度差距是否具有統計顯著性的標準不是抽樣誤差而是抽樣誤差的兩倍!假如抽樣誤差為3.5%,A的支持度為53%,B的支持度為47%,則A-B的6個百分點的支持度差距在統計上並不顯著。這個結論其實並不令人詫異,因為就個別百分比而言,53%和47%其實在統計上和平分秋色的50%都沒有顯著差異,因此兩位候選人的支持度其實難分軒輊,必須要差距超過7個百分點才能真正分出勝負。
然則正確的選舉民調解讀一定要用兩倍抽樣誤差作為衡量標準嗎?
這也不然,原因是一般對比式選舉民調容許受訪者支持第三位候選人或者不表態,在對比的兩位候選人支持度總和小於100%的情況下,以上的分析並不成立。真的要用「兩倍抽樣誤差」作為標準,必須要先把候選人支持度「正規化」:丟棄不支持對比候選人或不表態的受訪者而把有效樣本局限在支持對比候選人的受訪者之中,然後以此縮小樣本為基底重新計算百分比。這樣做,有效樣本數通常會顯著減小,因而導致抽樣誤差(以及兩倍抽樣誤差)增大。以中時洪秀柱對蔡英文的對比式民調為例,兩人支持度總和只有58.7%,換算成有效樣本數773×58.7%≈454,抽樣誤差增為4.6%。在這有效樣本的基礎上,原來蔡對洪的31.4%對27.3%正規化為53.5%對46.5%,差距也變成7%。這差距雖然在縮小後樣本的抽樣誤差之外,卻在兩倍抽樣誤差之內,也就是洪與蔡的對比,其實在統計上也是難分軒輊!
然而更正確的做法,要用下圖中的公式來計算兩個百分比差距的抽樣誤差。注意:式中的p1和p2是原樣本中百分比所對應的實數(也就是百分點除以100所得的介於0和1之間的數)而不是百分點,N是原樣本數,1.96是基於95%信心水準算得的常數。
再以中時洪秀柱對蔡英文的對比式民調為例,如果蔡英文的支持度為p1,洪秀柱的支持度為p2,則p1=0.314,p2=0.273。套入公式計算得到差距p1-p2的誤差為0.054或5.4%;原樣本中的差距4.1%是在抽樣誤差之內,也就是洪蔡對比和王蔡對比一樣,都是難分軒輊!根據此一公式,兩個百分比差距的誤差一定大於單一百分比的抽樣誤差。
國民黨最近修改區域立委現任者徵召辦法。根據原來的辦法,現任區域立委有連任意願,但同一選區內有同黨挑戰者參選,則該立委在通過幹部評鑑後,必須進行與挑戰者的對比式民調。如果現任立委的民調支持度領先挑戰者3%以上,黨的輔選策略委員會得提報中常會直接徵召,免進入初選階段。但若現任立委未領先挑戰者或領先未逾3%,則必須進入協調或初選階段。新的辦法把3%門檻改為5%。根據國民黨文傳會主委林奕華解釋,「有關現任立委民調支持度門檻,考量3%差距通常屬民調誤差範圍,歸納以往選舉民調經驗,最後決定以5%做為門檻。」(以上根據自由時報2015-03-18報導)
國民黨顯然與媒體同樣犯了選舉民調解讀的錯誤,以一般民調的3%抽樣誤差為標準來判定候選人支持度差距是否「顯著」。現在改成5%雖然有進步,但正確的民調差距誤差,會隨著p1、p2、和N而有所不同,5%仍然是一個沒有科學根據的數目。至於民進黨,其公職人員初選辦法則完全不考慮抽樣誤差。
台灣的總統大選在選舉日前有10天的民調封關期,在此期間,任何個人和機構不得發表民調結果。世界上最少有90個以上的國家有最少選前1日以上的民調封關規定。這種民調封關期的制度很顯然是基於民調可以左右選民抉擇的假設,以封關來避免不論是正確或錯誤的民調來影響選民的個人選擇。然而既然相信民調可以影響選舉結果,我們對於如何正確解讀選舉民調豈可不審慎呢?
原刊載於Tse-min Lin 的部落格