分享本文至 E-mail 信箱

學術引用格式

MLA (點一下全選)

APA (點一下全選)

EndNote(.enw)

p 值的陷阱(下):「摘櫻桃」問題

編按:本文係林澤民老師在2016年中進行的相關系列演講之一的逐字稿修訂版,本場次為2016/6/6在政大社科院的演講,題目為《看電影學統計:p 值的陷阱》。原文刊於《社會科學論叢》2016年10月第十卷第二期。

此篇文章為下篇,建議先收看上篇文章:〈 p 值的陷阱(上):p值是什麼?又不是什麼?

「摘櫻桃」問題

再來我們講到「摘櫻桃」問題,如同剛剛所提到,研究假設的先驗機率是如此重要,我們要如何去判定?要怎麼知道它是多少?我們必須要做文獻的分析、要建構我們的理論,在這種情況之下,會出現摘櫻桃的問題。這裡就是要呈現給大家看,譬如我們作 20 個統計檢定,從作第一個開始,本來有一個 model,但是 p 值不顯著,我們就改一下model,加一個變數、減一個變數,或是把一個變數平方,或是把一個變數取 log,或者把樣本除去一些,增加一些,這樣慢慢去試驗,最後終於得到一個顯著的結果了!但這裡告訴你,做了 20 個這樣的檢定,我們以為每一個檢定的 Type I error 控制在 0.05,可是 20 個裡面最少有一個顯著的或然率是多少?是 0.64。(圖八)

f_19859859_1

圖八

為了讓大家能夠進一步了解這個問題,再給大家看一部電影,這部電影是《班傑明的奇幻旅程》。

讓大家看這部電影,我們可以注意到,這部電影所講的,跟上一部《玉蘭花》很類似,也在討論是這樣發生車禍到底是 by accident 還是 by design。它的議論應該是:這種車禍的發生,其實有一連串的因果鏈,只要這因果鏈其中有一個環節稍微不一樣、或是沒有發生的話,可能車禍就不會發生。因此它的敘述者暗示說其實是 by design,而不是 by accident。然而現在要跟大家說明,這個結論是錯的。電影要說明這是 by design 而不是 by accident 的話,是完全錯誤的。為什麼?大家只要想想看,我們政大門前有條交通繁忙的馬路,你一邊跳舞一邊過街,看會不會被車撞上,不是極有可能會嗎?為什麼?因為車禍是 by accident,它是說被某一輛特定車子撞到的機率很低,譬如是 0.05,可是如果有 20 輛車子經過的話,被其中最少一輛撞到的機率就會很大,剛才已經算給各位看,所以電影是錯誤的。

類似這種問題,其實我們日常生活中所在多有。再以大樂透為例:你買了一注大樂透,你中頭獎的機率是 1 / 13,980,000。如果你自己中獎,你也許會說這是命運,不是機率,因為中獎的機率近乎 0。但全台灣賣了5,000,000 注的大樂透,最少有一注中頭獎的機率其實是 0.30。你不能舉出有人中獎的事實就否定大樂透開獎的隨機機制。

這就是 cherry-picking,只抓住發生的事件,就來說因為有這麼多因果鏈,如果稍微有一點不一樣,這種事情就不會發生,這是錯誤的,因為它有很多其他的可能性同時存在。現在在統計學裡面,很多人很不在意這個問題,甚至主張這種問題不存在,而其實它可能比 p 值的誤用還要嚴重。這種問題叫做多重假說檢定(multiple hypothesis test)、多重比較(multiple comparison),我有同事對這種問題的反應十分強烈,主張所有的研究都必須要事先登記,什麼叫做事先登記?並非申請研究經費、寫一個研究計畫這麼簡單,所謂事先登記(pre-registration)的觀念,就是在做任何研究之前,研究者必須要把研究計畫 post 在網站上,而且 post 上之後就不能改,現在其實已經有很多這種網站存在,將來研究者發表文章,如果跟預先登記的研究設計不一樣,其他人就可以對你發表的結果提出質疑。

只從單一結果去回推的因果論其實是不正確的,因為事情在發生時其實是多重可能性並存。圖/Marcus Pink @ Flickr

只從單一結果去回推的因果論其實是不正確的,因為它有很多其他的可能性同時存在。圖/Marcus Pink @ Flickr

小結:在多重假說檢定的情況下,即使 H為真,「至少有一 p 值檢定顯著」的機率常會甚大於單一 p 值檢定的顯著水平 α。以「摘櫻桃」的方式只報告顯著的檢定結果常會導致錯誤的統計推論。

結語

圖九是 ASA 建議取代 p 值的其它途徑,在此沒有時間細講,大致上是要用其它方法,比如貝式統計學。(圖九)這邊提到的很多方法都跟貝式統計學有關係。我們現場有貝式統計學的專家,他們懂得怎麼用貝式統計學來分析資料。但對於還沒有學到貝式統計學的朋友,這邊 ASA 特別提到的 confidence intervals(信心區間)是傳統統計學的方法。ASA 似乎認為使用信心區間比使用 p 值檢定要來得好,但是信心區間其實是連續性的 p 值檢定,如果只是看看虛無假設的理論值有沒有在信心區間之內,則檢定的結果跟 p 值檢定是一樣的。但如果把信心區間畫出來,至少有一個好處,它會清楚呈現出效應的大小,讓你不但能看出檢定結果的統計顯著性(statistical significance),也能看出估計值的實質顯著性或重要性(substantive significance)。我們使用信心區間,總比只用一顆星兩顆星來標明統計顯著性要好。

f_19859875_1

圖九

如果一定要用幾顆星的話,大家就不要再用 α = 0.10 了;p <0.10  就不要再加星星了。我知道 American Journal of Political Science(AJPS) 已經不接受 α = 0.10 這個顯著水準的統計檢定了;不管是單尾檢定或是雙尾檢定,用 α = 0.10 已經不被接受了。0.05 還可以,最好能用 0.01,審稿人對你較難有所批評。

但是最重要的,如果我們不得不用傳統的統計方法,我們必須要增強我們的理論論述和脈絡描述,因為增強理論論述和脈絡描述,即會增強研究假設的先驗機率。當研究假設的先驗機率比較高時,其後驗機率–偽陽性的反機率–就會比較低。這好比你健康檢查某種疾病的篩檢出現陽性時,好的醫生會從你的性別、年齡、生活習慣、飲食作息、家庭病史、乃至於居住環境等脈絡來判斷你是否有充分的病因,以之來詮釋篩檢的陽性結果。這其實就是貝氏更新的道理。

我讀這些文獻後的想法是:統計學很快就會有很重大的改變,傳統的作法、用 p 值來作統計檢定的作法,大概再過幾年,就不容易再存在。所以大家必須要應變,這也是我在回國來,希望能夠提醒大家注意的一個問題。

Q&A 時間

source:Marcus Ramberg

source:Marcus Ramberg

發問1

林老師您好,謝謝您今天很精彩的演講,也很謝謝上禮拜六參加計劃時,您給我們的文章有很大的啟發與提升。今天聽了這個演講以後,我覺得我們對於 p-value 的使用可能要有心理準備,未來就算不是被全部淘汰,大部分也要被丟到另外一邊去。我在想的一個問題是,因為老師提到使用 confidence intervals,我們在寫作時,有一個習慣是會比較傾向去解釋那些在 p-value 上顯著的變數,如果說未來使用 confidence intervals 的話,我們是不是應該在文章裡面,每一個變數都要去解釋它對 dependent variable 的重要性?或是說應該怎樣去作結果的討論以及處理?謝謝!

林澤民:我想你的自變數應該也有所謂的解釋變項與控制變項吧。我覺得如果控制變項不是麼重要的話,也許就不用太費勁去討論,就著重在解釋變項。解釋變項就是不管作傳統的統計顯著或不顯著,都要加以討論。不只是討論統計的顯著性,更要討論實質的顯著性,而實質的顯著性或重要性是比較能從 confidence intervals 看出來的。其實 p 值的問題是兩面刃,說不定對我們也有好處,就是將來得到不顯著的結果,說不定都可以 publish,都可以呈現在你的論文裡面,而不用怕被人家說:明明就不顯著為什麼還要報告。

發問2

林老師您好,我是經濟系的學生,謝謝林老師今天很精彩的說明,這邊至少有兩個點想跟林老師請教,以及跟大家分享。第一個就是如您剛才所說,我們在作實證研究的時候,不管是我們自己或是長期的訓練,或是目前的期刊的要求,關切的都比較是顯著的結果,所以過去在經濟學界也有對這方面的討論,談到為什麼要去關切那些不顯著的結果;同樣的道理,那些不顯著的結果要被期刊接受的機會也是非常非常低。你唯一可以被接受的理由大概就是,我們看到這個人所作的東西,以後就不要再作了,大概就是樣子。我第一點要說的是,我們目前有這樣的困境。您剛提到一個很好的論點,未來也許大家會有一個共識,就是不顯著的結果反而是更重要的。

我的第二點是一個問題:您剛剛提到,確實在醫學或自然科學部分,要去找到一些理論上的基礎,可能相對來講比較容易。在社會科學裡面,如果要去找到一些所謂的因果關係,或是比較扎實的理論,可能比較困難,因為人的行為無法像自然科學的實驗室般重複去作,且控制到所有條件都一樣。針對此部分,您剛認為要加強理論的論述,好讓 prior 來的比較 solid 一點,就社會科學部分不知道有沒有更好的一些方法,或至少不會差自然科學太多?這部分確實對我們社會科學的人來講比較困擾一點。

林澤民:我先從第二個問題來回答。我不敢說整個社會科學啦,但在政治學界大概很多人會跟你說:你可能要用賽局理論。

美國政治學在過去十幾年來有一個概念叫作 EITM-Empirical Implications for Theoretical Models。名稱有點奇怪,但它的用意是把統計分析跟理論結合,講 EITM 的人特別強調的就是形式理論,特別是賽局理論。就是作一些對人性的基本假設,然後用賽局理論的數學分法去 deduce,用邏輯去導出一些結果出來,然後再把這些結果用統計方法加以檢定。這在政治學過去十幾年來,已經變成一個很普及的概念。

這有它的好處,就是在形式理論部分,只要基本假設大家能接受,它的邏輯都是沒有爭議的。嚴格來講,形式理論只要大家接受你的假設和邏輯推演,就要接受你的結果,用統計來檢定結果是多餘的。但是我們知道,比如假設行為者是理性的,然而真實的人不一定理性,所以經驗檢定還是重要的。EITM 用形式理論來增強理論的先驗機率,我想這是很不錯的。

在社會科學理論生成的背後,對於人性的基本假設只要大眾大致能同意,對於推論的結果也就能接受。圖/Adrian Hu @ Flickr

在社會科學理論生成的背後,對於人性的基本假設只要大眾大致能同意,對於推論的結果也就能接受。圖/Adrian Hu @ Flickr

你前面第一點提到關於不顯著的結果,當然我也不是說將來學術期刊會大量接受不顯著的檢定結果,我想也不至於,可能只是要求你把這些不顯著的結果都 post 在網頁上;然而對於教授升等,這些作品算不算也不一定,但是我想某種程度上這是合理的預期,一旦不需要使用幾顆星的話,不顯著的結果也可以放進文章裡去,期刊會從整篇文章的研究設計、立論、方法、和結果,來衡量決定到底能不能發表,而不會斤斤計較是一顆星、兩顆星,還是沒星星,所以我對這點倒是有點樂觀。其實,現在已經有很多期刊採取「預約接受刊登」(pre-acceptance)的編輯政策,也就是審查你的研究計劃就可以決定要刊登你計劃執行後的完稿,條件是不論經驗資料支持不支持你的研究假設,完稿都不得改變當初的研究設計,包括 model specification,這就是說不顯著的結果也要刊登了。

其實可以跟大家預告一下,八月四日在中央研究院政治學研究所,為了慶祝所慶,有一個學術討論會。討論會的主題是「甚麼是研究發現」?引言人有朱雲漢、吳玉山兩位院士跟我三個人。我的任務就是報告 p-value 的問題。傳統來講,統計上顯著的結果才叫做 findings,不顯著的結果是 non-findings,但是這觀念可能要有所改變了。這等到八月四日再專門來講。

發問3

謝謝林老師很深入淺出的演講,之前在上統計課的時候,雖然有講到 p-value 的問題,但每次在上大學部課程時,我常常都沒辦法把這一塊講得這麼清楚。在我還是研究生的時候,我們就有很多這方面的討論,而這幾年這問題特別地被突顯,我認為很大的原因,大概是電腦技術越來越好、作 testing 的困擾已經越來越少;另一方面,如果你相信 Bayesian 的話,你應該相信所有的 parameters 都該是 probability term,而不是 deterministic term,說它是顯著還是不顯著。我也有一個問題想請教林老師,您如今在基礎統計的教學裡面,對 p-value 是用傳統 frequentist 的講法,還是像現在等於把它推翻?因為我常有這樣的困擾,就是在初級的課用 frequentist 的方式講,然後到了進階的課,再拿 Bayesian 的 approach 去推翻自己原本以前講的。我不知道林老師您目前在授課時,是用什麼樣的方式?特別是針對 frequentist 的邏輯。

林澤民:我想你對 p 值問題的了解應該比我更早。我是這幾年來才慢慢地逐步了解這個問題。在教學上要採取立即的改變,其實很不容易,我完全了解。我們有一個同事後來就在抱怨,ASA 為什麼要發表這個東西?他說現在所有的journal articles,還有教材、教科書,全部-至少百分之九十幾-都是傳統的統計學,你怎麼來教大學生新的東西?所以這是很困難的。今天我在這裡演講,如果有一點點是我自己觀察來的結果,而不是完全從文獻上得到的,我想是關於 prior-HA 的 prior-怎樣去影響到偽陽性的反機率,這我覺得很重要。

我目前教學仍是會用傳統方法,畢竟要把一本教科書重新編輯、作講義,是很大的工程。此外,我自己跟你不一樣,我是 frequentist,你來教 Bayesian 比我容易多了。我以前會放電影,跟學生講 p 值是什麼。我現在也放電影,跟學生講 p 值有什麼問題,讓他們了解。然後我會對他們說,在還沒學習貝式統計學之前,要比較強調 prior。也就是你用傳統的統計方法作研究,如果研究假設沒有很高的 prior 的話,也許你就不要作了。

發問(接續):我只是有時候會有點精神錯亂,之前跟學生講過的東西,在比較進階的課程時就要把它推翻掉。

林澤民:在座如果有老師教統計學,請你不要說:林老師今天講的就代表我上課講的都錯了。學生也不要說我上課學的都錯了。不是這麼一回事,這不是我的用意。因為 p 值本身它並沒有錯,錯的是大家對它的誤解誤用。至於傳統的教學方法要怎麼改,我們要慢慢試,但是我們要了解這個問題的存在。我自己到最近教學還是用傳統方法,如果今天請我的學生來聽我演講,他們會說:老師你以前教的都錯了。但事實上,不只是我們教書的,有多少科學、商業或政策上的決定,都是奠基於 p 值檢定的結果之上,我們能說他們都錯了嗎?我想不能說他們都是錯的,可是我們要改變。

發問4

林老師好,我是理學院資科系的老師。非常謝謝林老師,很高興今天上老師的課。關於剛剛幾位老師的討論,我覺得在我們資科系,很多人的直覺,一個方法要嘛是對、要嘛是錯。你們搞機率的卻是:它可能百分之八十對、百分之二十錯。我覺得應該講清楚的是,就 prior 來講,只要 prior 夠強,過去 p-value 的方法大概是對的。這應該有range,大部分問題,只要 prior 在 range 裡面,或許 p-value 的方法是相當可靠的。我不會推翻過去的教學方法,說一切都是錯的,其實沒有麼嚴重。在大部分的問題裡面,過去的方法也許是可用的,只是今天我們面對一些方法,單獨的 p-value 並不是麼可靠,也就是一個漸進式的改變,這樣我們不會打自己嘴巴。

大部分問題,只要仍在某一可接受範圍內,就不必因為新方法產生而被全盤推翻,只要慢慢漸進調整即可。圖/Marcus Mailov @ Flickr

大部分問題,只要仍在某一可接受範圍內,就不必因為新方法產生而被全盤推翻,只要慢慢漸進調整即可。圖/Marcus Mailov @ Flickr

林澤民:對,我完全同意。這就是為什麼我做了這三個圖表,可以看到雖然影響偽陽性反機率的因素包括 prior 和 power,但其實主要是 prior。即使 power 低到 0.50,只要 prior 也有 0.50,偽陽性的反機率也不過是 0.09。如果你願意用 0.10 的顯著水準,0.09 還是顯著的!要給一個可接受的 range,我覺得 prior 大於 0.50 的話,其實都還好。最怕的就是 prior 很低很低,像 ESP 這種研究假設。這也是為什麼在 p-value 問題的討論上,那一篇知名心理學家對 ESP 作的研究會被拿出來討論,因為它的 prior 幾乎是零,但是這只能夠很粗略的估計。

發問5

老師,這邊有一個小問題是:假設現在有十篇從舊到新的文章,它們的先驗機率都不太一樣,我如果要寫一篇文章,我要用最新一篇的先驗嗎?還是由自己發展出來、自己認定?

林澤民:當然你說先驗機率不太一樣,它為什麼會不一樣?是因為理論根本不一樣嗎?還是說因為時間的關係,大家有越來越多的研究發表,先驗機率就會逐步改變?如果已經有一個文獻,通常是建議你要作後設研究,叫 meta-analysis,就是把過去發表的文章統一起來作一個研究。但坦白說我個人也沒有作過這種 meta-analysis,可能可以在這方面的文獻去看一下。Eric,你可以就 meta-analysis 這點再作補充?

俞振華:嘗試把各種不同的 model 的係數,最後統整,變成有點類似老師您剛提的,試很多的 model 的 specification,然後組成一個結果。

林澤民:對,我讀的這些 p-value 的文獻裡面,其實有些文章就是作 meta-analysis。

發問6

我有兩個關於寫作的問題,因為從老師的演講得到非常多心得。其中一個問題是,如果能強調理論先驗機率的強度,老師剛有提到用 EITM 看能不能夠結合形式理論的一些邏輯去增強強度,此外,我在思考是否有可能,至少就我自己在寫作時,會提出一些案例,然後再稍微說明,我有些案例,當然這些案例可證的是少數,因為全世界有一百多個國家,我們只有一兩個案例而已,說服力有限,但多多少少還是有些用處。我在想這樣作是否 Okay?這是為了提升理論先驗機率的說服力,而提出一些案例來作討論。

只可證明少數的案例是否能用來提升理論先驗機率的說服力?圖/lee vickers @ Flickr

只可證明少數的案例是否能用來提升理論先驗機率的說服力?圖/lee vickers @ Flickr

第二,剛剛老師提到有關 non-findings,這些發現,相信以後應該越來越多人至少在文中會提到,可能一段、或幾句話。就老師的想法來說,要提是要怎麼提?是跟目前為止像跟大家講的一樣,要提的話就只能說,結果顯示並不是 statistically significant,就這樣子很平鋪直敘的描述?還是要稍微把重點放在跟理論的連結,即便結果沒有很顯著,但也不代表我的理論是錯的。我不曉得能不能這樣講,也許不行,因為太武斷。只是不曉得未來大家在強調沒有統計顯著水準的結果時,是要怎麼表達?是要平鋪直敘地講,還是要有些焦點?有些要強調、有些不一樣?

林澤民:我想先講第二個問題,而其實這在 Bayesian 根本就不是問題,Bayesian 就把 posterior distributions 畫出來就好,你根本也不需要去提是否顯著,因為「顯著」的概念本來就是 frequentist 的概念,它不是 Bayesian 的概念。所以要是你看過一些 Bayesian 的文章,你會看到它畫很多圖,每個圖都很小,一小格就一個圖,然後圖就畫上 posterior distributions,甚至連 credible intervals 也不一定要畫出。

俞振華:但是為了要跟 frequentist 對話,現在還是會有 95 % 的 credible intervals。

林澤民:對,不過需要 95 % 嗎?因為我最近寫一篇文章,合作者說 68 % 就可以。所以我想可能就不需要去談什麼顯著不顯著,你就把圖畫出來就好。你若不是 Bayesian,就用 confidence intervals,然後你去畫圖,每一個變數的係數你就把 confidence intervals 畫出來。至於 0 有沒有在 confidence intervals 裡面,我想不必然是唯一的重要標準,當然就實際情況來說,仍要看你的 reviewers 有沒有接受你的結果。我必須要強調,在網路上你還是可以找到一些文章,它們要替 p-value 辯護。要是碰到這樣的評論者,可能就必須要小心。

你第一個問題是說,提出實質案例而不一定是理論,我覺得也可以,我個人會接受,因為所謂文獻,除了理論之外,還有這種實質的知識、地方性的知識。我個人認為這些知識可以幫助我們加強 prior,特別是當這些案例能夠增加我們了解自己研究假設的脈絡時。ASA 的聲明特別提到脈絡(context)的重要性,我剛剛也有提到醫生詮釋陽性反應時,通常要參考病人所處的脈絡。但是我必須要說,我今天特別強調 prior 的重要性,我不知道在座是否有其他學者可以肯定我這一點,我覺得我個人強調 prior,可能與文獻上的這些在講 p-value 的危險性的 articles 相較時,我強調的可能比較多一點。我不能保證所有的統計學者都會同意我的看法,所以要是碰到我來評審你的文章就好了。但是我希望我講的還是有點說服力吧?要是你研究假設的 prior 夠強,可能 p-value 的問題就不是這麼大。

發問7

聽了很多同仁的問題,還有老師的回答以後,我這邊另外的問題是,因為在一開始,老師提到一個期刊-Basic and Applied Social Psychology,也講了 ASA 在今年提出的聲明,我想問,ASA 它的官方期刊─ JASA,是否已經有接受,或是應該說拒絕這種只報 p-value 的文章?還是說他們政策現在是做一個調整,同時都接受兩種?

林澤民:很抱歉,JASA 的文章我不是經常在看,我不能回答你的問題。但是我剛剛已經講了,BASP 在他們政策制定之後,ASA 有一個回應,不是那個 official statement,是在發表 official statement 之前的一個回應。那個回應只說 ASA 正在籌擬一個 official statement。而最後這 official statement 其實跟 BASP 的決定是不一樣的。因為 ASA 的 official statement,第一點在說明 p-value 是什麼,它並沒有說 p-value 錯誤,只是把 p-value 的正確意義講出來。換句話說,只要是使用正確的意義,p-value 並沒有問題,只是不要去誤用它。不要只是著重在統計顯著性,因為 model 對錯的機率跟 p-value 不一樣,要使用 p-value 作檢定,要把它跟 α 來做比較,所以問題不只是 p-value,而是 α。界定了 α 之後,才知道結果是不是顯著。當得到一個顯著的結果以後,必須再來衡量偽陽性反機率的問題,也就是 model 後設機率的問題,這就不是 p-value 可以告訴你的。

本文《看電影學統計:p 值的陷阱》轉載自 Tse-min Lin 的部落格

你的行動知識好友泛讀已全面上線

每天有成千上百則內容透過社群與通訊軟體朝你湧來,要從混雜著偽科學、假消息、純八卦的資訊中過濾出一瓢知識解渴,在這時代似乎變得越來越難?

為了滿足更多跟我們一樣熱愛知識與學習的夥伴,現在我們很害羞也很驕傲地宣布,手機閱讀平台——泛讀 PanRead iOS 版和「泛讀」Android 版都上架啦!使用後有任何心得或建議,都歡迎與我們分享喔

立即下載 優質知識不漏接

 

 

 

關於作者

林澤民

台大電機系畢業,美國明尼蘇達大學政治學博士, 現任教於美國德州大學奧斯汀校區政府系。 林教授每年均參與中央研究院政治學研究所及政大選研中心 「政治學計量方法研習營」(Institute for Political Methodology)的教學工作, 並每兩年5-6月在台大政治系開授「理性行為分析專論」密集課程。 林教授的中文部落格多為文學、藝術、政治、社會、及文化評論。