分享本文至 E-mail 信箱

學術引用格式

MLA (點一下全選)

APA (點一下全選)

EndNote(.enw)

可重複的實驗結果是科學進步的基礎?

文 / 陳紹慶(慈濟大學人類發展學系專任助理教授)

不少多產的心理學者都有寫BLOG的習慣,例如我有訂閱的Rolf ZwaanDaniel Simons。Zwaan是研究語言理解的荷蘭實驗心理學者,近年專注探討語言如何影響人類的感知覺。Simons是研究人類注意力與感知覺關聯性的實驗心理學者,代表作是建立不注意盲的典範實驗。6月3號到6月5號,從Zwaan評論直接重複(direct replication)能否累進有意義的心理學知識開始,兩人之間來回對談了6篇blog文章。其中提出不少值得正在做研究的科學家和正在學習科學的學生深入思考的意見。

Zwaan的開頭源自Simons發出的徵求合作夥伴公告,邀請有興趣的實驗室主持人一起重複Schooler與Engstler-Schooler在1990年發表的口語覆誦不利回憶視覺記憶內容的發現,在討論過程中引出重現的實驗結果信度與效度的討論,提出對直接重複能否真正促進科學理論(至少是心理學的理論)進步的疑問。這項徵件活動源自APS(心理科學學會)所屬的期刊Perspective on Psychological Science推廣的論文報告樣態,正式名稱是Registered Replication Reports。Simons因應投稿要求,在公告裡註明參與的每個實驗室貢獻的資料要符合直接重複的條件:所有參與的實驗室遵守共同約定的準則設計及執行實驗,使累積的資料能以整合分析(meta-analysis)檢視。

credit: CC by krischall@flickr

Zwaan第一篇blog文章肯定直接重複能確認研究結果的信度,但質疑這樣的重複方式能否帶來研究效度–更確切的是指驗證理論及促進更新理論的內容效度。就如Schooler與Engstler-Schoole的這份研究,明顯的問題是控制組進行的中途作業(記誦美國各州首府)與實驗組的中途作業(口頭描述影片關鍵人物面容)並不對等。即使按照原始設計經過多次重複能確認不利回憶的效應,不排除兩組之間混淆變項造成的差異就無法對此主題有更進一步的了解。Zwaan建議允許不同實驗室在容許的變異範圍內運用不同的材料或作業進行覆驗,讓實驗組與控制組的差異效果量達到最佳化,如此可以兼顧信度與效度。Simons在第一篇回應指出今天的心理學研究不缺乏概念性重複(conceptual replication),也就是後續研究調整初始研究的部份操作或控制,導致有些差異的發現。但是初始研究使用的條件得到的效果究竟有多高的可重複性從未被仔細驗證,致使每位科學家根據自己設定的條件得到的結果各執一詞,反而不利科學知識的累積,所以需要共同遵循實驗設計準則的直接重複

Zwaan在第二天的回應表示他前一天提議的重複研究方式並非如Simons所言的概念性重複,兩造之間的想法差異應該是對研究設計的條件理解不同所致。Zwaan進一步表示他支持的重複方式是受試者內設計(Within subject design),讓實驗效果差異限制於實驗刺激屬性之間。他舉認知心理學知名的Stroop效應為例,最早的版本就像Schooler與Engstler-Schoole的研究一樣,字色與字名一致(green)和字色與字名不一致(green)是分派給不同組的受試者做反應。經過其它心理學者改良為受試者內設計,才確認Stroop效應的信度。如果原來的研究是受試者間設計(Between subject design),除了直接重複,也可以改變為受試者內設計覆驗,更能提高實驗效果的信度。就實驗設計層面來看,Zwaan認為重複一項研究似乎沒必要去區分直接重複與概念性重複。

第二天Simons的回應表示同意Zwaan所言直接重複與概念性重複沒有明顯的區別,他推動直接重複的更大目標是促進原創的主題研究,先驅研究者要儘可能擴大實驗操作的變異性,使其它研究者在稍有不同的操作條件下(如不一樣的材料、不同的受試者)得到近似的結果,如此的研究才有真正的信度與效度。反之,一個原創研究無法讓其它研究者在稍有不同的操作條件進行重複,這種研究結果即不具備普偏性(generalization),也缺乏信度與效度。在行為科學研究中,對操作條件變異的要求稱為參數忍受度(tolerance of parameter),是研究者將理論轉化為研究假設時,要考慮的關鍵。Simons在這次回應也補充一篇他最近發表的原創研究論文為例,指出要召募具備何種條件的受試者才有可能獲得一致的結果,其它研究者若能對此結果的普遍性進行測試,才能加深這項研究結果帶來的啟發。

第三天最後一回合雙方都達到共識,只有澄清或補充彼此可能被誤解或說不清楚的地方。Zwaan提到Simons可能以為他主張有意義的心理科學研究是理論導向的(theory based),他其實肯定好的原創研究值得透過直接重複發掘更深的價值,只是不該過度強調要儘可能完全與原創研究的實驗條件一致才是真正的重複研究。Simons補充重複的研究為受試者間設計,要增加額外的實驗組,必須確保樣本數及原始實驗效果不會改變,並且在共同報告中不該與跨實驗室的同步重複結果一起比較,混淆對關鍵實驗效果的評估。

兩位心理學者之間的筆談引發我相當多的感觸,無法在此一一道盡。我就科學知識的進步與內容傳播談談我現在的想法。科學知識如何進步?或者說如何判定有在進步是科學哲學的大問題。20世紀有兩個重要的科學哲學主張,一個是 Popper的否證論,另一個是Kuhn的科學典範革命觀。我的見解是否證論審視一個理論是否能經得起新證據的考驗,科學革命強調新理論能包容舊理論的可解釋或不能解釋的現象。我還是學生時初次接觸兩種主張時還以為兩者互不相容,現在逐漸明瞭兩者是從不同角度觀察科學進步的過程。否證論認為進步的科學知識像蓋大樓,要有穩固的結構經得起各種災害的破壞,才能蓋得高又穩。就像Simons強調好的研究能經得起每次覆驗有意或無意的實驗條件改變。科學革典範命觀認為科學進步像是發現新大陸,每次發現都能改變我們對這個世界的認識。如同Zwaan舉出經典的實驗典範即使改變實驗設計,還能重現穩定的效應並揭露更進一步的,如Stroop效應從受試者間變成受試者內,後續的發現帶出更多認知心理學的新見解。

在此次整理Zwaan與Simons對談摘要的週程中,心中不斷產生對於知識內容傳播的疑問。主要疑問之一是「普及知識與專業探索之間的落差有沒有拉近的可能?」這個問題也許可以改成「專業探索過程中的各種思想激盪能不能讓非專業的大眾了解?」像是這次對談的起源主題人類記憶不可靠的特性,是大眾都會好奇的題目,心理學家將實驗條件與發現轉換成通俗的語言可以增進大眾認識這些研究的結果與啟示。但是研究者之間如何看待一系列研究累積下來的不一致證據?什麼樣的研究設計能帶來有發展性的知識價值?除了透過心理學系的專門課程或參與專業實驗室的書報討論,有沒有其它方式讓非專業研究者或對研究內容有興趣的大眾也能理解其中的意義?如果可以達到這樣的成就,也許可以將只在專業期刊上發表與討論的專業知識,成為真正直接與公眾交流的開放科學(open science)。

本文原發表於作者部落格Dim Light

關於作者

活躍星系核

活躍星系核(active galactic nucleus, AGN)是一類中央核區活動性很強的河外星系。這些星系比普通星系活躍,在從無線電波到伽瑪射線的全波段裡都發出很強的電磁輻射。 本帳號發表來自各方的投稿。附有資料出處的科學好文,都歡迎你來投稿喔。