編按：本文係林澤民老師在2016年中進行的相關系列演講之一的逐字稿修訂版，本場次為2016/6/6在政大社科院的演講，題目為《看電影學統計：p 值的陷阱》。原文刊於《社會科學論叢》2016年10月第十卷第二期。
此篇文章為下篇，建議先收看上篇文章：〈 p 值的陷阱(上)：p值是什麼？又不是什麼？〉
「摘櫻桃」問題
再來我們講到「摘櫻桃」問題，如同剛剛所提到，研究假設的先驗機率是如此重要，我們要如何去判定？要怎麼知道它是多少？我們必須要做文獻的分析、要建構我們的理論，在這種情況之下，會出現摘櫻桃的問題。這裡就是要呈現給大家看，譬如我們作 20 個統計檢定，從作第一個開始，本來有一個 model，但是 p 值不顯著，我們就改一下model，加一個變數、減一個變數，或是把一個變數平方，或是把一個變數取 log，或者把樣本除去一些，增加一些，這樣慢慢去試驗，最後終於得到一個顯著的結果了！但這裡告訴你，做了 20 個這樣的檢定，我們以為每一個檢定的 Type I error 控制在 0.05，可是 20 個裡面最少有一個顯著的或然率是多少？是 0.64。（圖八）
為了讓大家能夠進一步了解這個問題，再給大家看一部電影，這部電影是《班傑明的奇幻旅程》。
讓大家看這部電影，我們可以注意到，這部電影所講的，跟上一部《玉蘭花》很類似，也在討論是這樣發生車禍到底是 by accident 還是 by design。它的議論應該是：這種車禍的發生，其實有一連串的因果鏈，只要這因果鏈其中有一個環節稍微不一樣、或是沒有發生的話，可能車禍就不會發生。因此它的敘述者暗示說其實是 by design，而不是 by accident。然而現在要跟大家說明，這個結論是錯的。電影要說明這是 by design 而不是 by accident 的話，是完全錯誤的。為什麼？大家只要想想看，我們政大門前有條交通繁忙的馬路，你一邊跳舞一邊過街，看會不會被車撞上，不是極有可能會嗎？為什麼？因為車禍是 by accident，它是說被某一輛特定車子撞到的機率很低，譬如是 0.05，可是如果有 20 輛車子經過的話，被其中最少一輛撞到的機率就會很大，剛才已經算給各位看，所以電影是錯誤的。
類似這種問題，其實我們日常生活中所在多有。再以大樂透為例：你買了一注大樂透，你中頭獎的機率是 1 / 13,980,000。如果你自己中獎，你也許會說這是命運，不是機率，因為中獎的機率近乎 0。但全台灣賣了5,000,000 注的大樂透，最少有一注中頭獎的機率其實是 0.30。你不能舉出有人中獎的事實就否定大樂透開獎的隨機機制。
這就是 cherry-picking，只抓住發生的事件，就來說因為有這麼多因果鏈，如果稍微有一點不一樣，這種事情就不會發生，這是錯誤的，因為它有很多其他的可能性同時存在。現在在統計學裡面，很多人很不在意這個問題，甚至主張這種問題不存在，而其實它可能比 p 值的誤用還要嚴重。這種問題叫做多重假說檢定（multiple hypothesis test）、多重比較（multiple comparison），我有同事對這種問題的反應十分強烈，主張所有的研究都必須要事先登記，什麼叫做事先登記？並非申請研究經費、寫一個研究計畫這麼簡單，所謂事先登記（pre-registration）的觀念，就是在做任何研究之前，研究者必須要把研究計畫 post 在網站上，而且 post 上之後就不能改，現在其實已經有很多這種網站存在，將來研究者發表文章，如果跟預先登記的研究設計不一樣，其他人就可以對你發表的結果提出質疑。
小結：在多重假說檢定的情況下，即使 H0 為真，「至少有一 p 值檢定顯著」的機率常會甚大於單一 p 值檢定的顯著水平 α。以「摘櫻桃」的方式只報告顯著的檢定結果常會導致錯誤的統計推論。
結語
圖九是 ASA 建議取代 p 值的其它途徑，在此沒有時間細講，大致上是要用其它方法，比如貝式統計學。（圖九）這邊提到的很多方法都跟貝式統計學有關係。我們現場有貝式統計學的專家，他們懂得怎麼用貝式統計學來分析資料。但對於還沒有學到貝式統計學的朋友，這邊 ASA 特別提到的 confidence intervals（信心區間）是傳統統計學的方法。ASA 似乎認為使用信心區間比使用 p 值檢定要來得好，但是信心區間其實是連續性的 p 值檢定，如果只是看看虛無假設的理論值有沒有在信心區間之內，則檢定的結果跟 p 值檢定是一樣的。但如果把信心區間畫出來，至少有一個好處，它會清楚呈現出效應的大小，讓你不但能看出檢定結果的統計顯著性（statistical significance），也能看出估計值的實質顯著性或重要性（substantive significance）。我們使用信心區間，總比只用一顆星兩顆星來標明統計顯著性要好。
如果一定要用幾顆星的話，大家就不要再用 α = 0.10 了；p <0.10 就不要再加星星了。我知道 American Journal of Political Science(AJPS) 已經不接受 α = 0.10 這個顯著水準的統計檢定了；不管是單尾檢定或是雙尾檢定，用 α = 0.10 已經不被接受了。0.05 還可以，最好能用 0.01，審稿人對你較難有所批評。
但是最重要的，如果我們不得不用傳統的統計方法，我們必須要增強我們的理論論述和脈絡描述，因為增強理論論述和脈絡描述，即會增強研究假設的先驗機率。當研究假設的先驗機率比較高時，其後驗機率–偽陽性的反機率–就會比較低。這好比你健康檢查某種疾病的篩檢出現陽性時，好的醫生會從你的性別、年齡、生活習慣、飲食作息、家庭病史、乃至於居住環境等脈絡來判斷你是否有充分的病因，以之來詮釋篩檢的陽性結果。這其實就是貝氏更新的道理。
我讀這些文獻後的想法是：統計學很快就會有很重大的改變，傳統的作法、用 p 值來作統計檢定的作法，大概再過幾年，就不容易再存在。所以大家必須要應變，這也是我在回國來，希望能夠提醒大家注意的一個問題。
Q&A 時間
發問１
林老師您好，謝謝您今天很精彩的演講，也很謝謝上禮拜六參加計劃時，您給我們的文章有很大的啟發與提升。今天聽了這個演講以後，我覺得我們對於 p-value 的使用可能要有心理準備，未來就算不是被全部淘汰，大部分也要被丟到另外一邊去。我在想的一個問題是，因為老師提到使用 confidence intervals，我們在寫作時，有一個習慣是會比較傾向去解釋那些在 p-value 上顯著的變數，如果說未來使用 confidence intervals 的話，我們是不是應該在文章裡面，每一個變數都要去解釋它對 dependent variable 的重要性？或是說應該怎樣去作結果的討論以及處理？謝謝！
林澤民：我想你的自變數應該也有所謂的解釋變項與控制變項吧。我覺得如果控制變項不是麼重要的話，也許就不用太費勁去討論，就著重在解釋變項。解釋變項就是不管作傳統的統計顯著或不顯著，都要加以討論。不只是討論統計的顯著性，更要討論實質的顯著性，而實質的顯著性或重要性是比較能從 confidence intervals 看出來的。其實 p 值的問題是兩面刃，說不定對我們也有好處，就是將來得到不顯著的結果，說不定都可以 publish，都可以呈現在你的論文裡面，而不用怕被人家說：明明就不顯著為什麼還要報告。
發問２
林老師您好，我是經濟系的學生，謝謝林老師今天很精彩的說明，這邊至少有兩個點想跟林老師請教，以及跟大家分享。第一個就是如您剛才所說，我們在作實證研究的時候，不管是我們自己或是長期的訓練，或是目前的期刊的要求，關切的都比較是顯著的結果，所以過去在經濟學界也有對這方面的討論，談到為什麼要去關切那些不顯著的結果；同樣的道理，那些不顯著的結果要被期刊接受的機會也是非常非常低。你唯一可以被接受的理由大概就是，我們看到這個人所作的東西，以後就不要再作了，大概就是樣子。我第一點要說的是，我們目前有這樣的困境。您剛提到一個很好的論點，未來也許大家會有一個共識，就是不顯著的結果反而是更重要的。
我的第二點是一個問題：您剛剛提到，確實在醫學或自然科學部分，要去找到一些理論上的基礎，可能相對來講比較容易。在社會科學裡面，如果要去找到一些所謂的因果關係，或是比較扎實的理論，可能比較困難，因為人的行為無法像自然科學的實驗室般重複去作，且控制到所有條件都一樣。針對此部分，您剛認為要加強理論的論述，好讓 prior 來的比較 solid 一點，就社會科學部分不知道有沒有更好的一些方法，或至少不會差自然科學太多？這部分確實對我們社會科學的人來講比較困擾一點。
林澤民：我先從第二個問題來回答。我不敢說整個社會科學啦，但在政治學界大概很多人會跟你說：你可能要用賽局理論。
美國政治學在過去十幾年來有一個概念叫作 EITM－Empirical Implications for Theoretical Models。名稱有點奇怪，但它的用意是把統計分析跟理論結合，講 EITM 的人特別強調的就是形式理論，特別是賽局理論。就是作一些對人性的基本假設，然後用賽局理論的數學分法去 deduce，用邏輯去導出一些結果出來，然後再把這些結果用統計方法加以檢定。這在政治學過去十幾年來，已經變成一個很普及的概念。
這有它的好處，就是在形式理論部分，只要基本假設大家能接受，它的邏輯都是沒有爭議的。嚴格來講，形式理論只要大家接受你的假設和邏輯推演，就要接受你的結果，用統計來檢定結果是多餘的。但是我們知道，比如假設行為者是理性的，然而真實的人不一定理性，所以經驗檢定還是重要的。EITM 用形式理論來增強理論的先驗機率，我想這是很不錯的。
你前面第一點提到關於不顯著的結果，當然我也不是說將來學術期刊會大量接受不顯著的檢定結果，我想也不至於，可能只是要求你把這些不顯著的結果都 post 在網頁上；然而對於教授升等，這些作品算不算也不一定，但是我想某種程度上這是合理的預期，一旦不需要使用幾顆星的話，不顯著的結果也可以放進文章裡去，期刊會從整篇文章的研究設計、立論、方法、和結果，來衡量決定到底能不能發表，而不會斤斤計較是一顆星、兩顆星，還是沒星星，所以我對這點倒是有點樂觀。其實，現在已經有很多期刊採取「預約接受刊登」（pre-acceptance）的編輯政策，也就是審查你的研究計劃就可以決定要刊登你計劃執行後的完稿，條件是不論經驗資料支持不支持你的研究假設，完稿都不得改變當初的研究設計，包括 model specification，這就是說不顯著的結果也要刊登了。
其實可以跟大家預告一下，八月四日在中央研究院政治學研究所，為了慶祝所慶，有一個學術討論會。討論會的主題是「甚麼是研究發現」？引言人有朱雲漢、吳玉山兩位院士跟我三個人。我的任務就是報告 p-value 的問題。傳統來講，統計上顯著的結果才叫做 findings，不顯著的結果是 non-findings，但是這觀念可能要有所改變了。這等到八月四日再專門來講。
發問３
謝謝林老師很深入淺出的演講，之前在上統計課的時候，雖然有講到 p-value 的問題，但每次在上大學部課程時，我常常都沒辦法把這一塊講得這麼清楚。在我還是研究生的時候，我們就有很多這方面的討論，而這幾年這問題特別地被突顯，我認為很大的原因，大概是電腦技術越來越好、作 testing 的困擾已經越來越少；另一方面，如果你相信 Bayesian 的話，你應該相信所有的 parameters 都該是 probability term，而不是 deterministic term，說它是顯著還是不顯著。我也有一個問題想請教林老師，您如今在基礎統計的教學裡面，對 p-value 是用傳統 frequentist 的講法，還是像現在等於把它推翻？因為我常有這樣的困擾，就是在初級的課用 frequentist 的方式講，然後到了進階的課，再拿 Bayesian 的 approach 去推翻自己原本以前講的。我不知道林老師您目前在授課時，是用什麼樣的方式？特別是針對 frequentist 的邏輯。
林澤民：我想你對 p 值問題的了解應該比我更早。我是這幾年來才慢慢地逐步了解這個問題。在教學上要採取立即的改變，其實很不容易，我完全了解。我們有一個同事後來就在抱怨，ASA 為什麼要發表這個東西？他說現在所有的journal articles，還有教材、教科書，全部－至少百分之九十幾－都是傳統的統計學，你怎麼來教大學生新的東西？所以這是很困難的。今天我在這裡演講，如果有一點點是我自己觀察來的結果，而不是完全從文獻上得到的，我想是關於 prior－HA 的 prior－怎樣去影響到偽陽性的反機率，這我覺得很重要。
我目前教學仍是會用傳統方法，畢竟要把一本教科書重新編輯、作講義，是很大的工程。此外，我自己跟你不一樣，我是 frequentist，你來教 Bayesian 比我容易多了。我以前會放電影，跟學生講 p 值是什麼。我現在也放電影，跟學生講 p 值有什麼問題，讓他們了解。然後我會對他們說，在還沒學習貝式統計學之前，要比較強調 prior。也就是你用傳統的統計方法作研究，如果研究假設沒有很高的 prior 的話，也許你就不要作了。
發問（接續）：我只是有時候會有點精神錯亂，之前跟學生講過的東西，在比較進階的課程時就要把它推翻掉。
林澤民：在座如果有老師教統計學，請你不要說：林老師今天講的就代表我上課講的都錯了。學生也不要說我上課學的都錯了。不是這麼一回事，這不是我的用意。因為 p 值本身它並沒有錯，錯的是大家對它的誤解誤用。至於傳統的教學方法要怎麼改，我們要慢慢試，但是我們要了解這個問題的存在。我自己到最近教學還是用傳統方法，如果今天請我的學生來聽我演講，他們會說：老師你以前教的都錯了。但事實上，不只是我們教書的，有多少科學、商業或政策上的決定，都是奠基於 p 值檢定的結果之上，我們能說他們都錯了嗎？我想不能說他們都是錯的，可是我們要改變。
發問４
林老師好，我是理學院資科系的老師。非常謝謝林老師，很高興今天上老師的課。關於剛剛幾位老師的討論，我覺得在我們資科系，很多人的直覺，一個方法要嘛是對、要嘛是錯。你們搞機率的卻是：它可能百分之八十對、百分之二十錯。我覺得應該講清楚的是，就 prior 來講，只要 prior 夠強，過去 p-value 的方法大概是對的。這應該有range，大部分問題，只要 prior 在 range 裡面，或許 p-value 的方法是相當可靠的。我不會推翻過去的教學方法，說一切都是錯的，其實沒有麼嚴重。在大部分的問題裡面，過去的方法也許是可用的，只是今天我們面對一些方法，單獨的 p-value 並不是麼可靠，也就是一個漸進式的改變，這樣我們不會打自己嘴巴。
林澤民：對，我完全同意。這就是為什麼我做了這三個圖表，可以看到雖然影響偽陽性反機率的因素包括 prior 和 power，但其實主要是 prior。即使 power 低到 0.50，只要 prior 也有 0.50，偽陽性的反機率也不過是 0.09。如果你願意用 0.10 的顯著水準，0.09 還是顯著的！要給一個可接受的 range，我覺得 prior 大於 0.50 的話，其實都還好。最怕的就是 prior 很低很低，像 ESP 這種研究假設。這也是為什麼在 p-value 問題的討論上，那一篇知名心理學家對 ESP 作的研究會被拿出來討論，因為它的 prior 幾乎是零，但是這只能夠很粗略的估計。
發問５
老師，這邊有一個小問題是：假設現在有十篇從舊到新的文章，它們的先驗機率都不太一樣，我如果要寫一篇文章，我要用最新一篇的先驗嗎？還是由自己發展出來、自己認定？
林澤民：當然你說先驗機率不太一樣，它為什麼會不一樣？是因為理論根本不一樣嗎？還是說因為時間的關係，大家有越來越多的研究發表，先驗機率就會逐步改變？如果已經有一個文獻，通常是建議你要作後設研究，叫 meta-analysis，就是把過去發表的文章統一起來作一個研究。但坦白說我個人也沒有作過這種 meta-analysis，可能可以在這方面的文獻去看一下。Eric，你可以就 meta-analysis 這點再作補充？
俞振華：嘗試把各種不同的 model 的係數，最後統整，變成有點類似老師您剛提的，試很多的 model 的 specification，然後組成一個結果。
林澤民：對，我讀的這些 p-value 的文獻裡面，其實有些文章就是作 meta-analysis。
發問６
我有兩個關於寫作的問題，因為從老師的演講得到非常多心得。其中一個問題是，如果能強調理論先驗機率的強度，老師剛有提到用 EITM 看能不能夠結合形式理論的一些邏輯去增強強度，此外，我在思考是否有可能，至少就我自己在寫作時，會提出一些案例，然後再稍微說明，我有些案例，當然這些案例可證的是少數，因為全世界有一百多個國家，我們只有一兩個案例而已，說服力有限，但多多少少還是有些用處。我在想這樣作是否 Okay？這是為了提升理論先驗機率的說服力，而提出一些案例來作討論。
第二，剛剛老師提到有關 non-findings，這些發現，相信以後應該越來越多人至少在文中會提到，可能一段、或幾句話。就老師的想法來說，要提是要怎麼提？是跟目前為止像跟大家講的一樣，要提的話就只能說，結果顯示並不是 statistically significant，就這樣子很平鋪直敘的描述？還是要稍微把重點放在跟理論的連結，即便結果沒有很顯著，但也不代表我的理論是錯的。我不曉得能不能這樣講，也許不行，因為太武斷。只是不曉得未來大家在強調沒有統計顯著水準的結果時，是要怎麼表達？是要平鋪直敘地講，還是要有些焦點？有些要強調、有些不一樣？
林澤民：我想先講第二個問題，而其實這在 Bayesian 根本就不是問題，Bayesian 就把 posterior distributions 畫出來就好，你根本也不需要去提是否顯著，因為「顯著」的概念本來就是 frequentist 的概念，它不是 Bayesian 的概念。所以要是你看過一些 Bayesian 的文章，你會看到它畫很多圖，每個圖都很小，一小格就一個圖，然後圖就畫上 posterior distributions，甚至連 credible intervals 也不一定要畫出。
俞振華：但是為了要跟 frequentist 對話，現在還是會有 95 % 的 credible intervals。
林澤民：對，不過需要 95 % 嗎？因為我最近寫一篇文章，合作者說 68 % 就可以。所以我想可能就不需要去談什麼顯著不顯著，你就把圖畫出來就好。你若不是 Bayesian，就用 confidence intervals，然後你去畫圖，每一個變數的係數你就把 confidence intervals 畫出來。至於 0 有沒有在 confidence intervals 裡面，我想不必然是唯一的重要標準，當然就實際情況來說，仍要看你的 reviewers 有沒有接受你的結果。我必須要強調，在網路上你還是可以找到一些文章，它們要替 p-value 辯護。要是碰到這樣的評論者，可能就必須要小心。
你第一個問題是說，提出實質案例而不一定是理論，我覺得也可以，我個人會接受，因為所謂文獻，除了理論之外，還有這種實質的知識、地方性的知識。我個人認為這些知識可以幫助我們加強 prior，特別是當這些案例能夠增加我們了解自己研究假設的脈絡時。ASA 的聲明特別提到脈絡（context）的重要性，我剛剛也有提到醫生詮釋陽性反應時，通常要參考病人所處的脈絡。但是我必須要說，我今天特別強調 prior 的重要性，我不知道在座是否有其他學者可以肯定我這一點，我覺得我個人強調 prior，可能與文獻上的這些在講 p-value 的危險性的 articles 相較時，我強調的可能比較多一點。我不能保證所有的統計學者都會同意我的看法，所以要是碰到我來評審你的文章就好了。但是我希望我講的還是有點說服力吧？要是你研究假設的 prior 夠強，可能 p-value 的問題就不是這麼大。
發問７
聽了很多同仁的問題，還有老師的回答以後，我這邊另外的問題是，因為在一開始，老師提到一個期刊－Basic and Applied Social Psychology，也講了 ASA 在今年提出的聲明，我想問，ASA 它的官方期刊─ JASA，是否已經有接受，或是應該說拒絕這種只報 p-value 的文章？還是說他們政策現在是做一個調整，同時都接受兩種？
林澤民：很抱歉，JASA 的文章我不是經常在看，我不能回答你的問題。但是我剛剛已經講了，BASP 在他們政策制定之後，ASA 有一個回應，不是那個 official statement，是在發表 official statement 之前的一個回應。那個回應只說 ASA 正在籌擬一個 official statement。而最後這 official statement 其實跟 BASP 的決定是不一樣的。因為 ASA 的 official statement，第一點在說明 p-value 是什麼，它並沒有說 p-value 錯誤，只是把 p-value 的正確意義講出來。換句話說，只要是使用正確的意義，p-value 並沒有問題，只是不要去誤用它。不要只是著重在統計顯著性，因為 model 對錯的機率跟 p-value 不一樣，要使用 p-value 作檢定，要把它跟 α 來做比較，所以問題不只是 p-value，而是 α。界定了 α 之後，才知道結果是不是顯著。當得到一個顯著的結果以後，必須再來衡量偽陽性反機率的問題，也就是 model 後設機率的問題，這就不是 p-value 可以告訴你的。
本文《看電影學統計：p 值的陷阱》轉載自 Tse-min Lin 的部落格。
