同儕審查時，該不該讓審閱人知道論文作者是誰？

研究論文（paper）投稿到期刊接受同儕審查（Peer review）的過程中，採取單盲（single-blind，亦即審閲人（reviewer）知道論文作者是誰但作者不知審閱人是誰）或是雙盲（double-blind，作者不知道審閲人是誰、審閲人也不知道作者是誰）會不會有不同的結果？

「一定的嘛！」相信大家大概都這麼認為，但真實情況是否真是如此呢？

其實這是個已被提出來多次討論的議題，支持雙盲制的人也不在少數，只是現今多數期刊仍行使單盲制──審閱人在審稿時仍然能夠得知論文作者是誰、任職於哪個機構。過去研究者曾提出幾項可能會因此而導致審閱人不公正的效應，例如瑪蒂達效應（Matilda effect）指的是在男性主導的領域中，相較於第一作者為女性的論文，第一作者為男性的論文會被認為具有較高的科學價值。至於所謂的馬太效應（Matthew effect），指的是知名研究者的新研究成果通常能得到更大的關注。還有，作者如果來自有名的、頂尖的大學或機構，也可能使審閲人產生偏誤。

單盲制與雙盲制的討論，其實由來已久。圖／by energepic.com @PEXELS

1978 年，當時甫任教於北達科他大學（University of North Dakota）心理系的 Stephen J. Ceci 和已經當了四年助理教授的 Douglas P. Peters 攜手進行了一項有趣的實驗，該實驗於 1982 年發表於期刊《THE BEHAVIORAL AND BRAIN SCIENCES》上。他們從 12 個不同的心理學期刊上找出了 12 篇不同的 paper，這些 paper 的共通點是它們的作者皆來自排名很前面的大學心理系或研究機構、作者本身非常有名與多產、文章達一定程度的引用率、而且是在過去 18-32 個月這段期間所發表的。 Peters 與 Ceci 兩人將這 12 篇 paper 的作者姓名和單位名稱更改成虛構的姓名與機構名稱之後，重新投稿至原本的 12 個期刊。

結果發生了什麼事？有三篇被編輯或審閲人發現是已經刊登過的文章，所以只有剩下的九篇進入評審階段。然後，這九篇之中有八篇被拒絕刊登！而且審閲人最常給的拒絕理由是：研究方法有重大瑕疵（serious methodological flaws）。

Source: pixabay.com

這不是很奇怪嗎？！如果有重大瑕疵，那這些論文是如何獲得先前的審閱人和編輯的認可而獲准刊登的？排除幾個可能原因之後，Peters與Ceci認為，要嘛就是第一次遇到的審閲人能力都剛好比較差，要嘛就是大家都被作者或學校名聲給蒙蔽了雙眼。

另外一項發表於《PNAS》的新研究則是直接比較了審閲人在知道／不知道作者姓名單位的情況下，對於論文的評價是否有所不同。

這個由 Google 和北京清華大學合作發表的實驗直接以投稿至第10屆ACM網路搜尋與數據探勘國際會議 （10th International Association for Computing Machinery Conference on Web Search and Data Mining, 縮寫為 WSDM 2017）這個研討會的500篇論文為實驗材料。

在電腦科學（computer science）這個領域，研究者多會把研究成果以研討會論文（conference paper）的形式發表而不是投稿到期刊，而且審稿的時候審閲人會根據全文的結果來決定，而不是只看摘要。

在這個實驗中，有半數的審閲人被分派至單盲組，另一半的審閲人則被分派到雙盲組。實驗包含 bidding 與 reviewing 兩階段。在兩個階段中，單盲組的審閲人都可以看到論文的作者和其所屬單位，但雙盲組的審閲人是看不到這些訊息的。bidding 時，審閲人根據論文的標題和摘要來表示自己是否願意審閱某篇文章（他們可以針對每篇論文表示願意、不願意、或可能三種選項，也可以不表示任何意見）。在 reviewing 的階段， 每篇論文都會由四位審閲人來審閱，單盲組和雙盲組的各兩位。

單盲或雙盲，真的會影響審閱結果嗎？　Source: pixabay.com

結果顯示，兩個組別的審閲人的行為在三件事情上有所差異。首先，單盲組的審閲人在 bidding 過程中較少表示意見¹。其次，單盲組的審閲人在 bidding 時比雙盲組的更加偏好那些作者來自於頂尖企業²或頂尖大學³的論文。最後，單盲組的審閲人在審稿完畢後比雙盲組的審閲人更有可能給某些論文好評──作者來自頂尖大學／企業、或作者本身就有名⁴的論文。

簡而言之，審稿的目的本是為了審視論文內容與品質，但論文作者本身的知名度、作者所屬機構的名聲都會影響審閲人的判斷。這項研究的研究者表示，真的該是認真考慮採用雙盲制的時候了。

注解

• 注1：在電腦科學領域的研討會中，bidding 是重要的一環。
• 注2：此處所指之頂尖企業包括 Google、 Microsoft、 Yahoo! 與 Facebook。
• 注3：頂尖大學為 www.topuniversities.com 之中電腦科學領域的全球前50名。
• 注4：有名的作者指至少曾在 WSDM 發表過三篇文章，且發表過的 paper 總數量已經超過一百篇的人。

參考文獻

• Peters, D. P., & Ceci, S. J. (1982). Peer-review practices of psychological journals: The fate of published articles, submitted again. Behavioral and Brain Sciences, 5(2), 187–195. doi:10.1017/S0140525X00011183
• Tomkins, A., Zhang, M., & Heavlin, W. D. (2017). Reviewer bias in single- versus double-blind peer review. Proceedings of the National Academy of Sciences, 114(48), 12708–12713. doi:10.1073/pnas.1707323114

【Re:從零開始的30堂人工智慧必修課】線上課程預購

人工智慧？考試不考，幹嘛要學？因為人工智慧將影響我們接下來的人生！

2018 年泛科學院又一重磅線上課程：台灣第一門專為青少年設計的人工智慧課。特別邀請中華民國人工智慧學會祕書長洪智傑共同授課與監製，集結知識、理論與實作三合一。

現在預購馬上省 $1000！傳送門：https://lihi.cc/foBOq/pansci