你聽過科學研究的「再現性」（reproducibility）嗎？如果一個科學研究結果具有再現性，代表它可以被另一個研究團隊，以同樣的控制條件、操作步驟進行重複測量，並獲得與前人相近的結果。這也代表著這項實驗是可以被驗證的，該研究的可信度也越高。
近年來，許多領域都開始重視科學研究的再現性問題，例如 2015 年由科學開放平台（Open Science Framework, OSF）發表在《科學》（Science）的一篇心理學實驗再現性的研究，就重複了三個重要的心理學期刊，包括 Psychological Science、Journal of Personality and Social Psychology、Journal of Experimental Psychology: Learning, Memory, and Cognition 在 2008 年間發表的 100 個研究，結果顯示僅有 36％的研究具有統計顯著性[1]。
而在 2016 年刊載於《自然》（Nature）的一篇報導中，團隊以線上問卷調查了 1576 位研究者，發現有超過 70％ 的研究者，無法重現其他科學家曾經做過的研究結果；更有超過 50％ 研究者無法重現「自己的」研究結果[2]。
再現研究論文時，會遇到哪些困難？
同樣的科學研究再現性驗證也出現在生醫領域。一項由 RPCB（Reproducibility Project: Cancer Biology）團隊耗資 200 萬美元、歷時 8 年，嘗試複製各大具影響力的臨床前癌症研究，其結果於去年（2021）12 月發表於 eLife[3]。
在看這項研究結果之前，或許我們可以先了解 RPCB 究竟是何方神聖？RPCB 是一個由非營利組織「開放科學中心」（Center for Open Science）與學術平台「科學交流」（Science Exchange），在 2013 年開始合作執行的一項計畫。團隊期望能系統性地重現出 53 篇於 2010～2012 年間，刊登在知名期刊《自然》、《科學》、《細胞》（Cell）中的臨床前癌症相關研究。
即使一開始團隊預計重複 53 篇論文中共 193 項實驗，但最終能成功執行的僅有來自 23 篇論文裡的 50 個實驗，且仍使該計畫延宕了五年才完成。為什麼理想這麼豐滿，現實卻如此骨感？研究團隊在論文中提到了幾項實驗再現的困難與挑戰，例如：
- 許多原始論文缺少敘述統計（descriptive statistics）和推論統計（inferential statistics）的關鍵數據，像是效果量（effect size)、統計檢定力（power）等資訊，儘管團隊聯繫了原始論文的作者，仍有 68％ 的數據無法取得。
- 在這 193 項實驗中，沒有一個具有足夠詳細的說明，令團隊能設計出重複的實驗步驟。這使得他們不得不轉向論文原始作者，以尋求更進一步的實驗建議，而在詢問的過程中，約 26％ 作者給了極大的幫助，而有約 32％ 作者對實驗完全沒幫助（或是無任何回應）。
癌症研究實驗的再現性僅 46％？
在缺乏合作、需要詳細檢查並調整實驗步驟的情況下，研究團隊平均需要花費 197 週的時間才能複製出一項實驗。此外，每複製一次實驗的成本高達 5 萬 3000 美元——大約是原先預估花費的兩倍，因此再現 193 項實驗的雄心壯志終究無法達成。
那麼這項耗時 8 年、斥資百萬的實驗再現性研究，給了我們什麼結果呢？
根據團隊在 eLife 發布的第二篇論文顯示，這些臨床前癌症相關研究的實驗再現性僅有 46％，且平均的統計效果量也比原始論文低了 85％[4]。
在這些被再現的實驗中，原始研究效果量大的往往更容易被複製，而動物實驗則是再現性最差的，這可能是因為在生物體內（in vivo）實驗的效果量，大多低於體外（in vitro）實驗。
只做一次的再現實驗，公信力足夠嗎？
發表在知名期刊上的臨床前癌症研究論文，其實驗再現性居然不到一半，這對於生物醫學相關領域的研究者來說，無疑是一項沉重的打擊。
不過僅憑一次的再現實驗，就評斷一項研究的公信力，對這些研究者來說公平嗎？其中一位研究無法被 RPCB 再現的學者就表示：「他無法確定這些一次性實驗有多少價值。」而那些被選中重現的實驗，當中也不乏已經開始進行第二期藥物臨床試驗的研究。同時也有研究者指出，RPCB 在複製實驗時使用了與原研究不同的細胞株（cell line），也並未在實驗中進行三重複確認最終結果[5]。
針對這些指控，RPCB 說明這項計畫的目的，並非藉此斷言某些特定研究是無用，或需要被停止的，而是為了點出現今研究的再現性危機（reproducibility crisis），以期望找出相對應的解方。目前也有一些提升研究再現性的方法被提出，像是以盲性研究（blinding）進行體外實驗或動物實驗、採用更大的樣本量、更嚴謹的統計分析方法，以及研究計畫的預先註冊制度（preregistration）[註 1]。
雖然這項大型研究充滿著許多爭議，但也提醒了各領域的研究人員：對於自身研究的每個步驟、統計方法等，都應更加詳盡、仔細的記錄。除了能使後人有辦法針對已發表的內容，進行深入探討外，亦可以提升該實驗被再現的可能性，增加研究的公信力。
而看完文章的你，對於科學研究的再現性又有什麼看法呢？
註解
- 註 1：研究計畫的預註冊是指研究者在進行科學研究之前，先對他提出的假設、方法、分析方式上傳到註冊機構，經由該單位的期刊編輯、同儕審查通過後，再進行研究的一種做法。
參考資料
- Open Science Collaboration, Estimating the reproducibility of psychological science, Science, Vol 349, Issue 6251, 2015. https://www.science.org/doi/10.1126/science.aac4716
- Monya Baker, 1,500 scientists lift the lid on reproducibility, Nature, volume 533, pages452–454, 2016. https://www.nature.com/articles/533452a
- Timothy M Errington et al., Reproducibility in Cancer Biology: Challenges for assessing replicability in preclinical cancer biology, eLife, 2021. https://elifesciences.org/articles/67995
- Timothy M Errington et al.,Investigating the replicability of preclinical cancer biology, eLife, 2021. https://elifesciences.org/articles/71601
- Asher Mullard, Half of top cancer studies fail high-profile reproducibility effort, Nature, 09 December 2021. https://www.nature.com/articles/d41586-021-03691-0
狐禪
