你聽過科學研究的「再現性」(reproducibility)嗎?如果一個科學研究結果具有再現性,代表它可以被另一個研究團隊,以同樣的控制條件、操作步驟進行重複測量,並獲得與前人相近的結果。這也代表著這項實驗是可以被驗證的,該研究的可信度也越高。
近年來,許多領域都開始重視科學研究的再現性問題,例如 2015 年由科學開放平台(Open Science Framework, OSF)發表在《科學》(Science)的一篇心理學實驗再現性的研究,就重複了三個重要的心理學期刊,包括 Psychological Science、Journal of Personality and Social Psychology、Journal of Experimental Psychology: Learning, Memory, and Cognition 在 2008 年間發表的 100 個研究,結果顯示僅有 36%的研究具有統計顯著性[1]。
而在 2016 年刊載於《自然》(Nature)的一篇報導中,團隊以線上問卷調查了 1576 位研究者,發現有超過 70% 的研究者,無法重現其他科學家曾經做過的研究結果;更有超過 50% 研究者無法重現「自己的」研究結果[2]。
同樣的科學研究再現性驗證也出現在生醫領域。一項由 RPCB(Reproducibility Project: Cancer Biology)團隊耗資 200 萬美元、歷時 8 年,嘗試複製各大具影響力的臨床前癌症研究,其結果於去年(2021)12 月發表於 eLife[3]。
在看這項研究結果之前,或許我們可以先了解 RPCB 究竟是何方神聖?RPCB 是一個由非營利組織「開放科學中心」(Center for Open Science)與學術平台「科學交流」(Science Exchange),在 2013 年開始合作執行的一項計畫。團隊期望能系統性地重現出 53 篇於 2010~2012 年間,刊登在知名期刊《自然》、《科學》、《細胞》(Cell)中的臨床前癌症相關研究。
即使一開始團隊預計重複 53 篇論文中共 193 項實驗,但最終能成功執行的僅有來自 23 篇論文裡的 50 個實驗,且仍使該計畫延宕了五年才完成。為什麼理想這麼豐滿,現實卻如此骨感?研究團隊在論文中提到了幾項實驗再現的困難與挑戰,例如:
在缺乏合作、需要詳細檢查並調整實驗步驟的情況下,研究團隊平均需要花費 197 週的時間才能複製出一項實驗。此外,每複製一次實驗的成本高達 5 萬 3000 美元——大約是原先預估花費的兩倍,因此再現 193 項實驗的雄心壯志終究無法達成。
那麼這項耗時 8 年、斥資百萬的實驗再現性研究,給了我們什麼結果呢?
根據團隊在 eLife 發布的第二篇論文顯示,這些臨床前癌症相關研究的實驗再現性僅有 46%,且平均的統計效果量也比原始論文低了 85%[4]。
在這些被再現的實驗中,原始研究效果量大的往往更容易被複製,而動物實驗則是再現性最差的,這可能是因為在生物體內(in vivo)實驗的效果量,大多低於體外(in vitro)實驗。
發表在知名期刊上的臨床前癌症研究論文,其實驗再現性居然不到一半,這對於生物醫學相關領域的研究者來說,無疑是一項沉重的打擊。
不過僅憑一次的再現實驗,就評斷一項研究的公信力,對這些研究者來說公平嗎?其中一位研究無法被 RPCB 再現的學者就表示:「他無法確定這些一次性實驗有多少價值。」而那些被選中重現的實驗,當中也不乏已經開始進行第二期藥物臨床試驗的研究。同時也有研究者指出,RPCB 在複製實驗時使用了與原研究不同的細胞株(cell line),也並未在實驗中進行三重複確認最終結果[5]。
針對這些指控,RPCB 說明這項計畫的目的,並非藉此斷言某些特定研究是無用,或需要被停止的,而是為了點出現今研究的再現性危機(reproducibility crisis),以期望找出相對應的解方。目前也有一些提升研究再現性的方法被提出,像是以盲性研究(blinding)進行體外實驗或動物實驗、採用更大的樣本量、更嚴謹的統計分析方法,以及研究計畫的預先註冊制度(preregistration)[註 1]。
雖然這項大型研究充滿著許多爭議,但也提醒了各領域的研究人員:對於自身研究的每個步驟、統計方法等,都應更加詳盡、仔細的記錄。除了能使後人有辦法針對已發表的內容,進行深入探討外,亦可以提升該實驗被再現的可能性,增加研究的公信力。
而看完文章的你,對於科學研究的再現性又有什麼看法呢?
View Comments
所有實驗科學,重要的是條件而不是結果。因為條件才是他人複製的依據。但許多人都有意無意不講清楚。