聽聲音(四)：聲音的「光譜」

• 文／雞湯來了特派員 林威廷
• 校稿／雞湯來了 陳世芃
• 製圖／雞湯來了 黃珮甄、雞湯來了實習生 翁欣容
• 編輯／雞湯來了 蕭子喬

自從 COVID-19 疫情爆發，戴口罩已成為日常生活的新常態。口罩遮住了人們大部分的臉，讓彼此看不到完整長相，更看不到豐富的臉部表情。究竟，這是否對人與人之間的互動有深遠的影響？

更值得注意的是，臉部表情屬於肢體語言的一部份，是言語溝通之外，辨識與表達情緒相當重要的管道。各級學校教師和照護中心人員，為了避免傳播病毒，多會戴上口罩。

然而，在這種環境下成長，年紀還小且對於情緒辨識還在初步學習中的幼兒，是否會因此失去與人正常互動和判斷情緒的機會呢？對於他們情緒辨識的發展，又有什麼影響呢？

「口罩是否會影響幼兒判斷他人情緒」一題，雞湯來了綜整多篇研究，發現西方相關研究較多，而結果其實眾說紛紜。許多研究藉由不同實驗設計，不同切入視角、樣本對照，便得出了不同結果。不過，我們也因而從中歸納出幾個關於口罩新生代幼兒情緒發展的重要發現。

關鍵發現 1｜年齡發展階段：3-5 歲最受口罩影響

2021 年 5 月一組研究團隊發表一篇研究，他們測試「3-5 歲幼兒」、「6-8 歲兒童」和「成人」三個群體判斷人臉情緒的正確率：他們準備了不同情緒的人臉，將人臉的照片後製放上口罩，讓這三群人判斷情緒。

結果發現：不同年齡層的群體中，「3-5 歲幼兒」面對戴或沒戴口罩的人，回答對方情緒的「答對與否」比例差距最大，可說上述三種對象中最受口罩遮臉影響的群體。研究也推論，因為「3-5 歲幼兒」判斷情緒的主要來源仍是臉部表情；6 到 8 歲兒童和成人，則較懂得運用其他情境線索來判斷情緒。

關鍵發現 2｜容易被混淆的情緒：生氣與難過

另一篇 2021 年 11 月的研究，從 9 間照護中心招募 276 位 3-6 歲的幼兒， 讓他們判斷 15 個演員所拍的 90 張人臉照片的情緒。這些幼兒判斷「照片中沒戴口罩的人之情緒」正確率為 70.6%，若將照片換成戴上口罩的人，這些幼兒判斷的正確率仍為 66.9%！

特別的是，有約 25% 無法區分生氣和難過這兩種情緒，占了辨識情緒錯誤之中的多數，可見對於幼兒而言，「生氣」和「難過」在臉部表情上有許多相似的特徵，如何進一步區分情緒，是可以進一步討論的課題。

關鍵發現 3｜表情之外的辨識來源：聲音的判斷力

其實在疫情之前，2019 年就有研究團隊關注過幼兒的情緒判斷能力。他們不只關心臉部表情，也關注聲音。他們讓 313 位就讀幼兒園的 3-6 歲幼兒：分別透過觀察「臉部表情」和「聽聲音」來判斷情緒。

結果發現：觀察「臉部表情」的視覺判斷正確率最高達 8 成，但以「聽聲音」聽覺判斷的正確率只有 5-6 成。由此可知，對於幼兒而言，視覺很可能比聽覺更容易判斷情緒。

研究也進一步分析，發現觀察「臉部表情」時，「開心」的情緒比起「生氣和難過」更容易透過視覺判斷出來；但若只有「聽聲音」的話，悲傷的情緒比較容易被察覺。

幼兒情緒教育可以怎麼做？疫情之下把握可控的 2 個安心實踐

由上述的幾項研究結果，我們可以發現兩個重點：

1. 喜怒哀樂，判斷各種情緒的難易度不同：
   幼兒判斷不同情緒的能力程度是有差異性的，差異性的原因可能來自於年齡，或者為情緒的不同性質，比如說幼兒最容易辨識開心，但容易混淆難過與生氣。
2. 除了表情，還有多種判斷情緒的來源：
   判斷情緒的依據不只有臉部表情，肢體、聲音語調、各種情境線索也能幫助我們判斷情緒。

或許，在口罩還是一種日常必須之時，我們可以多著眼於其他「可控」的因素，例如引導孩子判斷情緒的多元方法，從聲音、其他肢體語言等判斷；又或者更進一步和孩子透過故事或案例，討論生氣與難過的的差異，嘗試學習更多口罩日常的情緒辨識之道。

大人可以透過繪本共讀的方式，討論繪本中的角色在故事中的情境中「產生了什麼情緒」、「為什麼會產生這樣的情緒」。共讀討論時，不只從圖片中角色的表情，還可以從書中角色的肢體動作、其他角色的反應等多元脈絡，練習判斷角色的情緒類型和產生原因。

甚至，我們可以進一步在日常生活中，引導孩子正視自己的情緒、接納並以合適的方式表達情緒。同時引導幼兒觀察目前身處的情境，例如現在是什麼場合、現場的人們在做什麼、我應該如何表現等等。

相關推薦：繪本推薦與引導孩子情緒的方法

延伸閱讀：雞湯來了

參考資料

1. Covic, A., von Steinbüchel, N., & Kiese-Himmel, C. (2020). Emotion Recognition in Kindergarten Children. Folia phoniatrica et logopaedica : official organ of the International Association of Logopedics and Phoniatrics (IALP), 72(4), 273–281.
2. Gori, M., Schiatti, L., & Amadeo, M. B. (2021). Masking Emotions: Face Masks Impair How We Read Emotions. Frontiers in psychology, 12, 669432.
3. Schneider J., Sandoz V., Equey L., Williams-Smith J., Horsch A., Bickle Graz M. (2022) The Role of Face Masks in the Recognition of Emotions by Preschool Children. JAMA Pediatr. 176(1): 96-98.

• 文／李翊瑞｜雅文基金會聽語科學研究中心助理研究員

早晨，鬧鐘聲不停地在耳邊響起，儘管心裡有再多的不甘願，你依然掀開棉被起身，輕揉著眼睛抬頭看了看時間。

在日常生活中，透過耳朵聽聲音、依靠眼睛看東西，兩者獨立運作，似乎是我們不曾懷疑過的事情。然而，人類的視覺及聽覺真的互不影響、毫無關聯嗎？

當朋友與我們說話時，對方的聲音和唇形如果有著明顯不同，又會發生什麼神奇的事呢？

無心插柳柳成蔭：麥格克效應的發現

當一個人說話的聲音與唇形變化不一致時，所產生的聽錯覺現象稱為麥格克效應（McGurk effect）。

麥格克效應最早是由兩位英國心理學家——哈利．麥格克（Harry McGurk）與約翰．麥克唐納（John MacDonald）於 1976 年提出^[1]，有趣的是，這個發現完全是場意料外的事。最初，他們正在進行一項語音知覺的研究，實驗中會讓嬰兒觀看一位母親說話的影片，同時搭配該位母親的配音，並記錄不同月齡的嬰兒對於語音的反應。

在一次實驗中，播放影片以及聲音時並未同步，使得影片中說話者唇形為「ga」，卻播放出「ba」的聲音。神奇的是，麥格克與麥克唐納不約而同聽到卻不是「ga」或「ba」，而是「da」的聲音^[２]。

感到困惑的兩人，隨後重新設計了實驗，並招募更多受試者參與研究，發現高達 98% 的受試者在唇形為「ga」、播放聲為「ba」的情況下都聽到了「da」的聲音。最終，他們將這個出乎意料的發現，發表在著名的科學期刊《Nature》^[1]，開啟了後續一系列有關聽錯覺以及視聽整合的研究。

聽到你懷疑人生，不存在的聲音從何而來？

麥格克效應的發生，顯示了視覺與聽覺訊息之間會相互作用，使我們得以一窺人類語音知覺系統的神秘面紗。與他人對話時，雙耳會將接收到的刺激（語音）傳遞至大腦的初級聽覺皮質（A1，圖中藍色處），同時雙眼接收到的訊息（嘴唇變化、臉部表情與舌頭動作）則會傳遞到初級視覺皮質（V1，圖中紅色處），這兩個區域所接收到的訊息會進一步傳送到顳上溝（superior temporal sulcus，STS，圖中紫色處）進行整合^[3]。

因此，我們知覺到的語音就不是單一的視覺（「ga」）或聽覺（「ba」）訊息，而是整合後的「da」。顳上溝在視聽整合的過程中扮演非常關鍵的角色^[4]，後續研究也發現，麥格克效應較少出現在顳上溝功能異常的受試者，如自閉症兒童及失語症成人^{[5, 6, 7]}。

既然我們已經知道不存在的聲音是經大腦整合而產生，多聽多看幾次就會漸漸習慣而消失嗎？長期研究麥格克效應的美國心理學家勞倫斯．羅森布拉姆（Lawrence Rosenblum）曾提到：

「即便我已經研究此效應長達二十五年，既看又聽了成千上萬次，它依然會發生在我身上，無法自主地去控制它^[8]。」

由此可知，麥格克效應不同於一般的魔術表演，即使已經瞭解了原理，甚至感受到它正在發生，但那個不存在的聲音依舊會在我們腦中迴響。

從戴口罩到追劇，視聽整合的重要性

雖然口罩雖然能有效減少病毒的傳播，卻也增加了與他人對話上的困難，使溝通的品質大打折扣^[9]。在口罩會影響溝通的「聲音」與「視覺」線索，該如何為愛防疫無礙溝通？文中就有提到，影響溝通的兩大面向為^[10]：

• 聽覺：口罩會降低高頻語音（約 2000 – 7000 赫茲）的音量，影響高頻語音的清晰度，讓聲音聽起來悶悶的。如果聽不清楚，就可能會把「胡先生」聽成「吳先生」、「鞋子」聽成「茄子」等。
• 視覺：口罩會遮蔽臉部表情與唇形變化，因而缺少了視覺上的線索。像是在餐廳或會議等多人同時說話的吵雜環境，若看不見唇形會較難辨別每句話的來源。

麥格克效應顯示了大腦會整合聽覺與視覺訊息來理解當下的聲音，而佩戴口罩所帶來的不便，不僅影響了聽力正常者，對於聽力受損的族群更是一大挑戰，不僅無法接收到清楚的語音訊息，更不能透過讀唇來理解對話內容。所幸，透明口罩的問世^[11]，使我們得以看見對方的表情，感受到對方的情緒，更能清楚辨識唇形，兼顧防疫及溝通的需求！

另一方面，疫情的衝擊也帶動串流影音平台的崛起，宅在家收看喜愛的戲劇及電影已蔚為風潮，而追劇的過程其實也是種視聽整合的展現。我們對於劇情的理解，除了劇中角色對話的聲音，影片中的字幕也很關鍵。要知道怎樣追劇可以聽和看得更輕鬆嗎？別錯過追劇沒字幕就聽不到？電視聲音不清楚，你可以這樣做^[12]。

參考資料

1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature, 264(5588), 746–748. https://doi.org/10.1038/264746a0
2. Massaro, D. W., & Stork, D. G. (1998). Speech Recognition and Sensory Integration: A 240-year-old theorem helps explain how people and machines can integrate auditory and visual information to understand speech. American Scientist, 86(3), 236–244. http://www.jstor.org/stable/27857023
3. Lüttke, C. S. (2018). What you see is what you hear: Visual influences on auditory speech perception (Doctoral dissertation, [Sl: sn]).
4. Beauchamp, M. S., Nath, A. R., & Pasalar, S. (2010). fMRI-Guided transcranial magnetic stimulation reveals that the superior temporal sulcus is a cortical locus of the McGurk effect. Journal of Neuroscience, 30(7), 2414-2417. https://doi.org/10.1523/JNEUROSCI.4865-09.2010
5. Taylor, N., Isaac, C., & Milne, E. (2010). A comparison of the development of audiovisual integration in children with autism spectrum disorders and typically developing children. Journal of Autism and Developmental Disorders, 40(11), 1403–1411. https://doi.org/10.1007/s10803-010-1000-4
6. Redcay E. (2008). The superior temporal sulcus performs a common function for social and speech perception: implications for the emergence of autism. Neuroscience and Biobehavioral Reviews, 32(1), 123–142. https://doi.org/10.1016/j.neubiorev.2007.06.004 
7. Hickok, G., Rogalsky, C., Matchin, W., Basilakos, A., Cai, J., Pillay, S., … & Fridriksson, J. (2018). Neural networks supporting audiovisual integration for speech: A large-scale lesion study. Cortex, 103, 360-371.
8. BBC Two. (2010). Try this bizarre audio illusion! Retrieved August 12, 2022, from https://www.youtube.com/watch?v=G-lN8vWm3m0.
9. Chládková, K., Podlipský, V. J., Nudga, N., & Šimáčková, Š. (2021). The McGurk effect in the time of pandemic: Age-dependent adaptation to an environmental loss of visual speech cues. Psychonomic Bulletin & Review, 28(3), 992–1002. https://doi.org/10.3758/s13423-020-01852-2
10. 張逸屏（民109年8月11日）。口罩會影響溝通的「聲音」與「視覺」線索，該如何為愛防疫無礙溝通？PanSci泛科學。https://pansci.asia/archives/189531
11. Taylor-Coleman, J. (2020, May 26). Coronavirus: Call for clear face masks to be ‘the norm’. BBC News. Retrieved August 12, 2022, from https://www.bbc.com/news/world-52764355 。
12. 洪右真（民109年10月28日） 追劇沒字幕就聽不到？電視聲音不清楚，你可以這樣做。PanSci泛科學。https://pansci.asia/archives/192941

• 文／雅文基金會聽語科學研究中心研究員　詹益智

人類習得語言的順序：先學會聽才能學會讀

於 2016 年上映的電影「寒戰 II」中，由梁家輝飾演的李文彬有一句經典的台詞

「沒有學會走，先學跑，從來不是問題，但先問一問自己是不是天才。如果不是，就要一步步來^[1]。」

這就好似使用口語溝通者語言發展的歷程，除非你是天選之人，有過人的天份，否則通常會依聽、說、讀、寫的順序習得語言^[2]，這樣的順序透露了一個重要的訊息，即閱讀的學習應奠基於聽理解力。為何語言習得的順序是先聽再讀呢？從人類大腦的演化的足跡便可略知一二。除非特別說明，以下皆以使用口語者為主要談論對象。

人類大腦最初演化的目的是為了習得口說語言（後簡稱口語）^[3]，而聽是習得口語的最佳媒介。在幾十萬年前口語就已出現^[4]，而書面語則約在五千年前才誕生^[5]，因此人類祖先在開始透過文字溝通之前，早已有了數萬年的口語交流經驗。我們可以發現，使用口語溝通的兒童一出生便自然地開始聆聽口語，接著才是學會閱讀，這並非是巧合，而可能是大腦演化之下的產物。

閱讀不只是認字這麼簡單，還需要良好的聽理解力

談到閱讀，許多人的第一印象就只是閱讀文字，但僅只如此嗎？閱讀文字其實只是閱讀過程中最基本、最初階的的技能。兒童在學習閱讀的過程中，無不從識字開始，透過記憶字形、拼讀注音、部首或聲旁線索認讀文字，但即便能將文本所有的文字唸出，也不代表能理解文本背後的涵意，癥結在於是否能將唸出的文本賦予應有的意義，才可達到閱讀理解的目的^[6]。

兒童在早期學讀的過程中，所接觸文本的難度大多低於其口語理解的水準，因此其閱讀理解主要受到識字能力的限制^[7]，到了晚期透過閱讀來學習的階段，兒童的識字能力會因多次的練習而趨近自動化，也就是一眼便能提取文字的語音；此時，他們所接觸文本在內容與結構上也會變得更加困難與複雜，單憑識字能力，並不足以讓他們理解全文，而聽理解力，才是決定其閱讀成效的因素之一 ^[7]。

一般而言，聆聽口語可幫助一個人建構閱讀時所需的語言基礎，例如詞彙與句法^[8]，換言之，聽理解力可能會影響語言知識的習得，進而左右閱讀的表現。研究指出聽理解力對於閱讀理解的影響會隨著兒童年紀漸長而有所增加^[9]。最終，聽理解力甚至可以完全預測其閱讀理解^[10]。

語言知識是閱讀發展的關鍵

你可能會質疑聾人朋友沒有聽力也可閱讀，原因在於他們仍可透過手語或讀唇的方式獲取語言知識。沒錯，語言知識便是其中的關鍵！有許多具有殘存聽力的兒童，因聽經驗較為缺乏而需要花更多時間奠定語言根基，相對於典型聽力的兒童，也較易有閱讀發展遲緩的現象^[11]。有些研究甚至發現，聽損兒童的閱讀能力到了國小四年級時就停滯不前^[12]，顯見聽力對使用口語為主要溝通者閱讀發展的重要性。

聽理解力可用以區分不同類型的閱讀障礙

在臨床上，閱讀理解困難可分為三大類：失讀症（dyslexia），即有識字困難但保有完好的聽理解力；理解困難（poor comprehender），即有足夠的識字能力，但聽理解力有缺陷；廣泛性閱讀障礙（garden variety poor reader），即識字與聽理解力皆低落^[7]。由此可見，聽理解力在閱讀理解上扮演著決定性的角色。

聆聽和閱讀都會在內心產生感官意象

聽理解力不單只是透過聽去理解口語中的詞彙與句法，良好的聽理解力還牽涉到是否能將這些語言及背景知識整合成一個心理模型（Mental Model）^[13]，也就是能在內心中，將人、事、時、地、物具像化，以幫助理解。舉例來說，你將和朋友去參加一場美食盛宴，你可能會在腦海中勾勒出當天會場的樣貌、會出席的要角、即將發生的事、食物的滋味、美妙的音樂等。

在聆聽言談與閱讀文本時，皆會觸發這種感官意象的形成^[7]。因此聽理解力與閱讀理解其實同出一轍。換句話說，聽理解力和閱讀理解其實共用了相同的心理處理機制，只不過聽理解力並未涉及文字解碼的歷程。

閱讀時，內心也會聽到「聲音」

聽理解力對閱讀的影響也可從「默讀」（subvocalization or silent reading）的觀點來談。所謂「默讀」指的是在閱讀時，心中將文字唸出聲音，這是典型聽力者閱讀時的自然過程，它有助於大腦理解與記憶所讀過的內容，從而能夠減少認知負荷，並將剩餘的認知資源用在高層次的語言理解^[14]。

既是唸出「聲音」，自然就會牽涉到聽理解力，若是聽經驗不足，即便將文字唸出，對讀者而言只不過是一連串無意義的語音符號，因而也就無法達到閱讀理解的目的。

聆聽與閱讀同篇文章時，相同的大腦區塊都被激活了

一群加州大學柏克萊分校的腦神經學家 Deniz 等人^[15]，在《神經科學雜誌》（Journal of Neuroscience）上，發表了一篇有關大腦處理聽力與閱讀的論文，他們利用功能性磁振造影（Functional Magnetic Resonance Imaging, fMRI）技術，記錄一群成人受試者在閱讀和聆聽同一篇故事時，大腦活動的狀況，並根據結果繪製3D大腦互動式地圖（interactive map ，這個網頁可以讓你體驗 3D 大腦互動式地圖）。

這個地圖以不同的顏色標示大腦活動的區塊。研究人員不但發現聆聽和閱讀同一時詞彙時，相同的大腦區塊會被激活外，更發現不同類別的詞彙所激活的大腦區塊也有所不同。例如，與數字相關的單詞會激活一個區塊，而與時間​​相關的單詞則會激活另一個區塊。

也就是說，無論透過聆聽或是閱讀相同的文本，這兩種處理語意訊息的方式都是類似的，這也證實了聆聽與閱讀間緊密不可分割的關係。研究人員也提到了未來對於閱讀理解有障礙的兒童或許可以透過聆聽有聲書的方式來改善他們的閱讀理解力。

如何透過「聽」來提升閱讀理解？

既然聽與閱讀間的關係來自於語言理解，訓練聽力來提升語言理解進而促進閱讀能力應是可行的方法，那麼應該要怎麼透過聽來提升閱讀理解力呢？平時我們可以利用手機或電腦的 TEDxTaipei 平台聆聽不同主題的演說，並利用四種實證策略來聆聽^[16]：

1.預測（prediction）

在聆聽演講時，可試著預測講者後續要說的內容，因為對內容的理解有很大程度取決於我們所聽到的是否與預期的一樣，如與期待不符，則可能會產生誤解。相反地，如果我們能準確地預測接下來的內容，聆聽便會變得更有效率。

2.釐清（clarification）

除了預測外，釐清自己是否能理解所聽到的內容，也是聆聽中重要的一環。有時我們可能會發現講者使用了一些艱澀難懂的專有名詞或概念，此時不妨按下暫停鍵，稍微 Google 一下，找出相關的解釋，如此不但可豐富自己的背景知識，更有助內容的理解。若我們對不懂之處置之不理，就無法順利地理解演說的內容。

3.提問（questioning）

有目的的去聽一場演講比漫無目的聆更可使聽者對演說的內容產生共鳴，而自我提問便可以達到這樣的目的。自我提問的策略可在演講的任何時刻皆可使用，例如在演講前使用，便能將背景知識帶入自己的意識中，而有助內容的理解。在演講中使用，可以促使自己更專注的聆聽，因為在某種程度上，也是與內容作交流。若在演講後使用，則可訓練自己的批判性思維。

4.摘要（summary）

聽完一場演講後，試著用自己的話重述一遍講者的內容，但需將焦點放在講者主要闡述的想法是甚麼？有哪些細節可以支持這些想法？哪些訊息是不相關或非必要的？對演講的內容做摘要不但可幫助自己更積極且專注地聆聽，也可訓練自己整合訊息的能力，並對內容也會留下更深刻的印象。

閱讀若想要達到「讀你千遍也不厭倦」的境界，或許可從訓練自己的聽理解力開始，當建立起閱讀所需的語言與背景知識的基礎後，就不會產生「讀你一遍都感厭倦」的無奈感囉！

參考資料

1. 寒戰II
2. Pawarbrother21. (2022, February 11). Language skills- Listening, Speaking, Reading, Writing. 
3. Victor. (2021, March 15). Three reasons listening is the most important skill to tackle first. 
4. Scerri, E. M., Thomas, M. G., Manica, A., Gunz, P., Stock, J. T., Stringer, C., … & Chikhi, L. (2018). Did our species evolve in subdivided populations across Africa, and why does it matter?. Trends in Ecology & Evolution, 33(8), 582-594.
5. Gelb, I. J. (n.d.). Sumerian language. 
6. Hoover, W. A., & Gough, P. B. (1990). The simple view of reading. Reading and Writing, 2(2), 127-160.
7. Hogan, T. P., Adlof, S. M., & Alonzo, C. N. (2014). On the importance of listening comprehension. International Journal of Speech-Language Pathology, 16(3), 199-207.
8. Hogan, T. P., Bridges, M. S., Justice, L., M., & Cain, K. (2011). Increasing higher level language skills to improve reading comprehension. Focus on Exceptional Children, 44(3), 1-19.
9. Catts, H. W., Hogan, T. P., & Adlof, S. M. (2005). Developmental changes in reading and reading disabilities. In The connections between language and reading disabilities (pp. 38-51). Psychology Press.
10. Adlof, S. M., Catts, H. W., & Little, T. D. (2006). Should the simple view of reading include a fluency component?. Reading and Writing, 19(9), 933-958.
11. Harris, M., Terlektsi, E., & Kyle, F. E. (2017). Literacy outcomes for deaf and hard of hearing primary school children: A cohort comparison study. Journal of Speech, Language, and Hearing Research, 60, 701–711
12. Traxler, C. B. (2000). The Stanford Achievement Test, 9th edition: National norming and performance standards for deaf and hard-of-hearing students. Journal of Deaf Studies and Deaf Education, 5, 337–348.
13. Kintsch, W., & Kintsch, E. (2005). Comprehension. In S. G. Paris & S. A. Stahl (Eds.), Current issues in reading comprehension and assessment (pp. 71-92). Mahwah, NJ: Erlbaum.
14. Erickson, K. (2003). Reading comprehension in AAC. The ASHA Leader, 8(12), 6-9.
15. Deniz, F., Nunez-Elizalde, A. O., Huth, A. G., & Gallant, J. L. (2019). The representation of semantic information across human cerebral cortex during listening versus reading is invariant to stimulus modality. Journal of Neuroscience, 39(39), 7722-7736.
16. Aarnoutse, C., Brand-Gruwel, S., & Oduber, R. (1997). Improving reading comprehension strategies through listening. Educational Studies, 23(2), 209-227.