什麼！你怎麼用眼睛聽聲音：認識麥格克效應

• 文／李翊瑞｜雅文基金會聽語科學研究中心助理研究員

早晨，鬧鐘聲不停地在耳邊響起，儘管心裡有再多的不甘願，你依然掀開棉被起身，輕揉著眼睛抬頭看了看時間。

在日常生活中，透過耳朵聽聲音、依靠眼睛看東西，兩者獨立運作，似乎是我們不曾懷疑過的事情。然而，人類的視覺及聽覺真的互不影響、毫無關聯嗎？

當朋友與我們說話時，對方的聲音和唇形如果有著明顯不同，又會發生什麼神奇的事呢？

無心插柳柳成蔭：麥格克效應的發現

當一個人說話的聲音與唇形變化不一致時，所產生的聽錯覺現象稱為麥格克效應（McGurk effect）。

麥格克效應最早是由兩位英國心理學家——哈利．麥格克（Harry McGurk）與約翰．麥克唐納（John MacDonald）於 1976 年提出^[1]，有趣的是，這個發現完全是場意料外的事。最初，他們正在進行一項語音知覺的研究，實驗中會讓嬰兒觀看一位母親說話的影片，同時搭配該位母親的配音，並記錄不同月齡的嬰兒對於語音的反應。

在一次實驗中，播放影片以及聲音時並未同步，使得影片中說話者唇形為「ga」，卻播放出「ba」的聲音。神奇的是，麥格克與麥克唐納不約而同聽到卻不是「ga」或「ba」，而是「da」的聲音^[２]。

感到困惑的兩人，隨後重新設計了實驗，並招募更多受試者參與研究，發現高達 98% 的受試者在唇形為「ga」、播放聲為「ba」的情況下都聽到了「da」的聲音。最終，他們將這個出乎意料的發現，發表在著名的科學期刊《Nature》^[1]，開啟了後續一系列有關聽錯覺以及視聽整合的研究。

聽到你懷疑人生，不存在的聲音從何而來？

麥格克效應的發生，顯示了視覺與聽覺訊息之間會相互作用，使我們得以一窺人類語音知覺系統的神秘面紗。與他人對話時，雙耳會將接收到的刺激（語音）傳遞至大腦的初級聽覺皮質（A1，圖中藍色處），同時雙眼接收到的訊息（嘴唇變化、臉部表情與舌頭動作）則會傳遞到初級視覺皮質（V1，圖中紅色處），這兩個區域所接收到的訊息會進一步傳送到顳上溝（superior temporal sulcus，STS，圖中紫色處）進行整合^[3]。

因此，我們知覺到的語音就不是單一的視覺（「ga」）或聽覺（「ba」）訊息，而是整合後的「da」。顳上溝在視聽整合的過程中扮演非常關鍵的角色^[4]，後續研究也發現，麥格克效應較少出現在顳上溝功能異常的受試者，如自閉症兒童及失語症成人^{[5, 6, 7]}。

既然我們已經知道不存在的聲音是經大腦整合而產生，多聽多看幾次就會漸漸習慣而消失嗎？長期研究麥格克效應的美國心理學家勞倫斯．羅森布拉姆（Lawrence Rosenblum）曾提到：

「即便我已經研究此效應長達二十五年，既看又聽了成千上萬次，它依然會發生在我身上，無法自主地去控制它^[8]。」

由此可知，麥格克效應不同於一般的魔術表演，即使已經瞭解了原理，甚至感受到它正在發生，但那個不存在的聲音依舊會在我們腦中迴響。

從戴口罩到追劇，視聽整合的重要性

雖然口罩雖然能有效減少病毒的傳播，卻也增加了與他人對話上的困難，使溝通的品質大打折扣^[9]。在口罩會影響溝通的「聲音」與「視覺」線索，該如何為愛防疫無礙溝通？文中就有提到，影響溝通的兩大面向為^[10]：

• 聽覺：口罩會降低高頻語音（約 2000 – 7000 赫茲）的音量，影響高頻語音的清晰度，讓聲音聽起來悶悶的。如果聽不清楚，就可能會把「胡先生」聽成「吳先生」、「鞋子」聽成「茄子」等。
• 視覺：口罩會遮蔽臉部表情與唇形變化，因而缺少了視覺上的線索。像是在餐廳或會議等多人同時說話的吵雜環境，若看不見唇形會較難辨別每句話的來源。

麥格克效應顯示了大腦會整合聽覺與視覺訊息來理解當下的聲音，而佩戴口罩所帶來的不便，不僅影響了聽力正常者，對於聽力受損的族群更是一大挑戰，不僅無法接收到清楚的語音訊息，更不能透過讀唇來理解對話內容。所幸，透明口罩的問世^[11]，使我們得以看見對方的表情，感受到對方的情緒，更能清楚辨識唇形，兼顧防疫及溝通的需求！

另一方面，疫情的衝擊也帶動串流影音平台的崛起，宅在家收看喜愛的戲劇及電影已蔚為風潮，而追劇的過程其實也是種視聽整合的展現。我們對於劇情的理解，除了劇中角色對話的聲音，影片中的字幕也很關鍵。要知道怎樣追劇可以聽和看得更輕鬆嗎？別錯過追劇沒字幕就聽不到？電視聲音不清楚，你可以這樣做^[12]。

參考資料

1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264(5588), 746–748. https://doi.org/10.1038/264746a0
2. Massaro, D. W., & Stork, D. G. (1998). Speech Recognition and Sensory Integration: A 240-year-old theorem helps explain how people and machines can integrate auditory and visual information to understand speech. American Scientist, 86(3), 236–244. http://www.jstor.org/stable/27857023
3. Lüttke, C. S. (2018). What you see is what you hear: Visual influences on auditory speech perception (Doctoral dissertation, [Sl: sn]).
4. Beauchamp, M. S., Nath, A. R., & Pasalar, S. (2010). fMRI-Guided transcranial magnetic stimulation reveals that the superior temporal sulcus is a cortical locus of the McGurk effect. Journal of Neuroscience, 30(7), 2414-2417. https://doi.org/10.1523/JNEUROSCI.4865-09.2010
5. Taylor, N., Isaac, C., & Milne, E. (2010). A comparison of the development of audiovisual integration in children with autism spectrum disorders and typically developing children. Journal of Autism and Developmental Disorders, 40(11), 1403–1411. https://doi.org/10.1007/s10803-010-1000-4
6. Redcay E. (2008). The superior temporal sulcus performs a common function for social and speech perception: implications for the emergence of autism. Neuroscience and Biobehavioral Reviews, 32(1), 123–142. https://doi.org/10.1016/j.neubiorev.2007.06.004
7. Hickok, G., Rogalsky, C., Matchin, W., Basilakos, A., Cai, J., Pillay, S., … & Fridriksson, J. (2018). Neural networks supporting audiovisual integration for speech: A large-scale lesion study. Cortex, 103, 360-371.
8. BBC Two. (2010). Try this bizarre audio illusion! Retrieved August 12, 2022, from https://www.youtube.com/watch?v=G-lN8vWm3m0.
9. Chládková, K., Podlipský, V. J., Nudga, N., & Šimáčková, Š. (2021). The McGurk effect in the time of pandemic: Age-dependent adaptation to an environmental loss of visual speech cues. Psychonomic Bulletin & Review, 28(3), 992–1002. https://doi.org/10.3758/s13423-020-01852-2
10. 張逸屏（民109年8月11日）。口罩會影響溝通的「聲音」與「視覺」線索，該如何為愛防疫無礙溝通？PanSci泛科學。https://pansci.asia/archives/189531
11. Taylor-Coleman, J. (2020, May 26). Coronavirus: Call for clear face masks to be ‘the norm’. BBC News. Retrieved August 12, 2022, from https://www.bbc.com/news/world-52764355 。
12. 洪右真（民109年10月28日） 追劇沒字幕就聽不到？電視聲音不清楚，你可以這樣做。PanSci泛科學。https://pansci.asia/archives/192941