2

8
1

文字

分享

2
8
1

爸媽的話左耳進右耳出?其實都是噪音惹的禍!——如何找出最佳「訊噪比」?

雅文兒童聽語文教基金會_96
・2021/09/24 ・2843字 ・閱讀時間約 5 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

作者 / 林堂智|雅文基金會聽語科學研究中心 研究助理

從生理結構來看,我們可以利用眼瞼作為視覺訊息接收的開關,閉上眼睛就能眼不見為淨。對於聽覺而言,這樣的按鈕也貌似存在,畢竟當一個人發呆、做白日夢時,即使別人喊破喉嚨,他沒有反應就是沒有反應,這不就是關閉聽覺的表現嗎?這種「你有說,但我沒聽到」的現象,究竟是怎麼發生的?讓我們繼續看下去!

常常把我的話當耳邊風!真是夠了!圖/pixabay

耳朵是無辜的!訊息的選擇大腦說了算

耳朵的主要工作僅止於訊息傳遞,而後續的訊息處理工作其實是由大腦完成的,也就是說,當這個全年無休的聲音接收器孜孜不倦地傳遞訊息,最終在眾多雜訊中,該聚焦處理哪些訊息是由大腦決定。在雜訊中聚焦處理訊息的能力稱作「聽覺注意力」。然而,聽覺注意力卻也容易受到認知負荷量噪音的影響。

在處理訊息的過程中,大腦需要提供燃料(認知資源)給聽覺注意力進行運作,然而資源有限[1],若是接收過多或太複雜的訊息,大腦便有可能因為運轉「過熱」而呈現放空或呆滯的狀態。就好比每台電腦都會有特定進行資料運算的空間,一旦超過負荷就會運轉緩慢或甚至當機。同理,當我們處在一個訊息繁雜的環境下,我們的聽覺注意力便有可能會無所適從,讓訊息接收和判斷更困難。

聽你想聽的,是人之常情

還好就如《人海中注意你的聲音、喧鬧中聽見我的名字:認識雞尾酒會效應[2]一文中,筆者透過雞尾酒會效應[3](Cherry,1953)討論聽覺注意力的展現與運轉機制。當訊息繁雜時,我們的注意力能選擇目標訊號來優先處理,並抑制非目標訊息的干擾。不過,若非目標訊息達到可被察覺的門檻(Threshold)時,我們仍會因此分心而被影響。

好比說,下課時正起勁地和同學聊最新的手遊,即使走廊吵雜,一聽到暗戀女孩的笑聲,耳朵還是會立刻豎起,心裡小鹿亂撞地慌張轉頭尋找她的蹤影。不過,當非目標訊息(aka噪音)太大聲時,還是會讓你「充耳,卻沒辦法聞」,想聽也聽不到。

充耳,卻沒辦法聞 ,想聽也聽不到。圖/Pexels

還是充耳不聞?也許就是噪音惹的禍!

噪音是一種人們不想(需)要(unwanted/undesired)的聲音,它不但會干擾思考、工作與日常,也會為身心理健康帶來負面影響。[4]日常生活中,噪音無處不在,不論是捷運站、學校教室、甚至是家中客廳的噪音皆可能影響語音察覺能力。過去研究顯示,70 dBA 以上的環境噪音(相當於使用吸塵器的音量)對於聽覺注意力有顯著的負面影響。[5] Zhang 等人的研究指出,在學校的環境噪音下(如:操場遊戲聲、電風扇運轉聲、窗外車流聲等),孩子於視覺追蹤作業的反應速度、任務準確性與注意力表現皆較差。[6]尤其在達 75dB SPL 的高強度噪音下,孩子需要耗費更多的認知資源才能維持注意力來接收與處理訊息。Fernandes 等人也發現高強度噪音會讓孩子的閱讀與理解作業表現較差。[7]

找出最好「訊噪比」,讓我們和噪音共處

然而,環境噪音的問題並非無法解決,現今許多科技產品,像是很多老師會佩帶的小蜜蜂麥克風,就能在教學現場克服環境噪音。這類科技產品可以讓目標訊息(老師說話的內容)更大聲,用來蓋過環境噪音,讓學童聽得更清楚。

訊息和噪音音量的比值又稱為訊噪比(Signal-to-Noise Ratio),可用於反映訊號清晰度。訊噪比值越高越有利於聆聽;當訊噪比越低或為負數時,則代表噪音比訊號的音量來得大,不利聆聽,就算想聽也是聽不清楚的。若要有效傳遞聲音訊息,較為理想的狀態是提高目標音量或是降低噪音音量,讓訊噪比維持在利於聆聽的值。

訊噪比值的高低,決定訊號內容的清晰度,也許試著將聲音訊號再放大聲一點或降低噪音的音量,打造利於聆聽的環境。圖/雅文基金會

別一竿子打翻一船人!你懂低訊噪的好嗎? 

雖然訊噪比和聆聽品質有關,但噪音真的只能夠扮演反派角色嗎?其實訊噪比的機制主要圍繞著「遮蔽」(Masking)的概念。當我們感知到噪音多於目標訊息時,則表示噪音已遮蔽目標訊號,可能因此發生訊息缺漏或難以察覺目標訊號的情況。

噪音遮蔽可分為能量遮蔽(energetic masking)與訊息遮蔽(informational masking)。[7] 能量遮蔽指噪音在時間和頻率上與目標音重疊,主要發生在聽覺外周(auditory periphery),例如隔壁鄰居的狗吠聲被豪大雨聲蓋過去了。訊息遮蔽則是噪音與目標音訊息由於其在認知層次上的相似性而在處理的過程中所造成的遮蔽。好比台語使用者聽到「脫口罩」時,因週遭環境語音的干擾,而聽成「脫褲走」的訊息判斷錯誤。[8,9] 

我們也能善用噪音遮蔽的特性改善生活品質。比如說,在日本或誠品書店洗手間常見的「音姬(OTOHIME)」機台會在有人如廁時,自動發出涓涓流水聲,用來遮蔽解放的尷尬聲響。聽覺系統作為全年無休的勞工,即使我們在睡覺,他仍在運作;因此只要有突然的聲音(狗叫聲、汽車引擎聲、打鼾聲等),皆可讓大腦警覺而使你驚醒。此時,頻率平穩一致的白噪音(吹風機、電風扇)和粉紅噪音(下雨聲、營火聲)就十分好用,可以遮蔽影響睡眠的外界聲音變化,達到噪音消除的作用,讓你一夜好眠。

噪音用得恰,如廁不尷尬。圖/tohoint.co.jp

不論處在哪種生活情境,噪音無處不在,且難以殲滅,不過我們可以使用一些策略來改善生活品質。例如:尋找適當的位置(背對噪音源或移駕到安靜角落)讓聆聽更輕鬆,或使用科技產品來降低噪音或提升目標音量,以凸顯目標訊息內容。最後,善用遮蔽效應即可抵銷噪音,提升學習、工作,甚至是休息時的效率與品質[10]

參考資料

  1. Kahneman D. (1973). Attention and Effort. Englewood Cliffs, NJ: Prentice-Hall.
  2. 雅文兒童聽語文教基金會(2021)。人海中注意你的聲音、喧鬧中聽見我的名字:認識雞尾酒會效應。泛科學
  3. Cherry, E. C. (1953). Some experiments on the recognition of speech, with one and with two ears. The Journal of the Acoustical Society of America25(5), 975–979.
  4. Fink, D. (2019, December). A new definition of noise: noise is unwanted and/or harmful sound. Noise is the new ‘secondhand smoke’. In Proceedings of Meetings on Acoustics 178ASA (Vol. 39, No. 1, p. 050002). Acoustical Society of America.
  5. Schlittmeier, S. J., Feil, A., Liebl, A., & Hellbrück, J. (2015). The impact of road traffic noise on cognitive performance in attention-based tasks depends on noise level even within moderate-level ranges. Noise & Health, 17(76), 148-157.
  6. Zhang, Z., Zhang, Y., & Kang, J. (2018). An Experimental Study on the Influence of Environmental Noise on Students’ Attention. In The 11th EuroNoise Conference, Crete.
  7. Fernandes, R. A., Vidor, D. C. G. M., & Oliveira, A. A. D. (2019). The effect of noise on attention and performance in reading and writing tasks. In CoDAS 31(4). Sociedade Brasileira de Fonoaudiologia.
  8. Yang, Z.-G., Song, Y.-W., Zhang T.-T., Li, L. (2014). The subcomponents of informational masking: Evidence from behavioral and neural imaging studies. Advances in Psychological Science, 22(3), 400-408.
  9. 徐灿、杨小虎、汪玉霞、张辉、丁红卫、刘畅(2018)。 语音型噪音对二语者汉语元音声调感知的影响。心理與行為研究16(1):22-30。
  10. Lu, S. Y., Huang, Y. H., & Lin, K. Y. (2020). Spectral content (colour) of noise exposure affects work efficiency. Noise & Health22(104), 19-27.
文章難易度
所有討論 2
雅文兒童聽語文教基金會_96
40 篇文章 ・ 200 位粉絲
雅文基金會提供聽損兒早期療育服務,近年來更致力分享親子教養資訊、推動聽損兒童融合教育,並普及聽力保健知識,期盼在家庭、學校和社會埋下良善的種子,替聽損者營造更加友善的環境。

0

1
0

文字

分享

0
1
0
準備出國啦!Surfshark VPN 快趁黑五買起來,上網購物最安心
鳥苷三磷酸 (PanSci Promo)_96
・2022/11/01 ・2113字 ・閱讀時間約 4 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

本文由 Surfshark VPN 贊助。

兩、三年以來的防疫生活,終於迎來全面 0+7 的這一天啦!返國之後不再需要隔離的一天來了,冰友們,你是不是已經收拾好心情、收拾好行李,在進行機+酒的比價了呢?除了規劃好出國行程、找好景點與美食店家,想要讓自己不可或缺的網路生活也更加安全,一定要趁即將到來了感恩節黑五期間,把超優惠的 Surfshark VPN 服務買起來,為自己的網路生活加買最平安的保險!

Surfshark 黑五限時 18 折折扣,額外加送兩個月
專屬連結:https://lihi2.cc/8XwRN

在疫情下,網購成為了更多人的日常。不僅各樣的在地購物節為網友帶來眾多優惠,全球化的購物活動,台灣當然也不會缺席!美國感恩節(Thanksgiving)都是 11 月第四個星期四,但是感恩節後的週五,便是聖誕節前的購物佳期啟動日,這一天通常都會業績超標(在收支表上呈現正向收入(顯示為黑色字體,而非赤字的紅色字體),各家的瘋狂優惠都會在黑五祭出!相信許多精打細算的朋友,對黑五購物節絕對不陌生(很可能還搶過很多優惠!!)

網購怎能漏掉「亞馬遜」!

雅虎奇摩之於台灣,就像是亞馬遜(Amazon.com)之於美國那麼的有名!絕對也是什麼都賣、什麼都不奇怪的最佳代表。

如果你平常就很喜愛一些美國品牌,趁著黑五的日子到亞馬遜清空購物車,覺對優惠不會讓你失望。這時候,透過 Surfshark 連線到亞馬遜美國站,絕對會顯示的價格絕對讓你眼睛為之一亮,這時候最新搭載 M2 晶片的 iPad Pro,獨家支援動態島顯示的 iPhone 14 Pro,絕對是最好入手的時機。除此之外,亞馬遜平台經典的 Kindle 閱讀器,也是超合適的禮物,送禮自用兩相宜啊!另外要特別留意,購買時可以確認商品有沒有幫忙送到台灣,如果還沒有,可以先跟美國的朋友確認一下,邀請他們回國時幫你一起帶回來!

跨國追劇最爽快

對於喜愛追劇的朋友,品味可能相當豐富且多元,畢竟欣賞優秀影視作品,不現語言,更是不限地區啊!只不過,若是你訂閱 Netflix 等跨國 OTT 服務,都會有各地不同的上架影視作品,可能會讓你無法在第一時間就能夠立即「追」到劇,讓你等得心癢癢!還好這一切只要連上 Surfshark VPN 都能解決,Surfshark 支援超過 100 國的 VPN 連線,無論你想看韓國、日本還是哪一國的最新戲劇,通通讓你一秒追到最新進度!

Surfshark 黑五限時 18 折折扣,額外加送兩個月

專屬連結:https://lihi2.cc/8XwRN

出差大陸翻牆超方便

在過往出國、返國都需要隔離的階段,肯定讓不少工作上需要經常往返多國之間的朋友,感到生活驟變。所幸,在防疫政策解封之後,一切都可逐漸恢復正常。對於經常有需要到中國大陸出差的朋友,肯定都會感受到網路斷聯的不方便,因為無論是 LINE、Facebook Messenger、YouTube、Gmail 等你可很能天天都在使用的網路服務,大陸都無法使用。這還不打緊,連跟家人、朋友報平安也很不便。這時候 Surfshark 連上,就可以幫助你輕鬆「翻牆」,跟台灣親人網路無距離!

 

上網不留痕跡,不被追蹤最自由

對於一個人來說,最私密的資料之一,除了你的個資,就屬我們每天耗費大量時間逗留的網路。我們所在網路上留下的痕跡,絕對是超真實的自己,當然你不會期待這樣的自己被「搜尋引擎」、「網路廣告」公司了解得太透徹,好像你在網路上的一言一行,都被監視著。

..0000000\0;也可隱藏IP位置,避免被廣告商追蹤;更可以為你我阻擋惡意程式、釣魚軟體等,讓你防止被攻擊,以及被網路充斥的廣告打擾,好處多又多!

如果對於 Surfshark 還覺得不夠熟悉的話,不得不告訴大家,今年 Surfshark 榮獲第六屆 CyberSecurity Breakthrough 頒發的「VPN 年度最佳解決方案」(VPN Solution of the Year),也就是成為今年最推薦的 VPN 方案。CyberSecurity Breakthrough 是全球領先的獨立市場情報組織,致力於表揚當今全球資訊安全市場上的頂尖企業、技術和產品。有了他們「掛保證」,代表 Surfshark 絕對是品質、信譽都讓你安心的VPN 服務。

講了這麼多,是不是讓你感到很心動了。如果你原本就是網路重度使用者,用來上網的設備是樣樣都有,Surfshark 一個帳號就能支援所有設備,CP 值超高!趁著年度超狂黑五購物節的到來,送給你自己兩年安心無虞的網路生活,肯定是送自己的最好禮物!

Surfshark 黑五限時 18 折折扣,額外加送兩個月
專屬連結:https://lihi2.cc/8XwRN

文章難易度
鳥苷三磷酸 (PanSci Promo)_96
155 篇文章 ・ 268 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

4
3

文字

分享

0
4
3
口罩影響幼兒「讀」懂情緒?口罩新生代:幼兒情緒 3 大關鍵發現
雞湯來了
・2022/10/02 ・2250字 ・閱讀時間約 4 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

  • 文/雞湯來了特派員 林威廷
  • 校稿/雞湯來了 陳世芃
  • 製圖/雞湯來了 黃珮甄、雞湯來了實習生 翁欣容
  • 編輯/雞湯來了 蕭子喬
圖/雞湯來了

自從 COVID-19 疫情爆發,戴口罩已成為日常生活的新常態。口罩遮住了人們大部分的臉,讓彼此看不到完整長相,更看不到豐富的臉部表情。究竟,這是否對人與人之間的互動有深遠的影響?

更值得注意的是,臉部表情屬於肢體語言的一部份,是言語溝通之外,辨識與表達情緒相當重要的管道。各級學校教師和照護中心人員,為了避免傳播病毒,多會戴上口罩。

然而,在這種環境下成長,年紀還小且對於情緒辨識還在初步學習中的幼兒,是否會因此失去與人正常互動和判斷情緒的機會呢?對於他們情緒辨識的發展,又有什麼影響呢?

「口罩是否會影響幼兒判斷他人情緒」一題,雞湯來了綜整多篇研究,發現西方相關研究較多,而結果其實眾說紛紜。許多研究藉由不同實驗設計,不同切入視角、樣本對照,便得出了不同結果。不過,我們也因而從中歸納出幾個關於口罩新生代幼兒情緒發展的重要發現。

關鍵發現 1|年齡發展階段:3-5 歲最受口罩影響

2021 年 5 月一組研究團隊發表一篇研究,他們測試「3-5 歲幼兒」、「6-8 歲兒童」和「成人」三個群體判斷人臉情緒的正確率:他們準備了不同情緒的人臉,將人臉的照片後製放上口罩,讓這三群人判斷情緒。

圖/雞湯來了

結果發現:不同年齡層的群體中,「3-5 歲幼兒」面對戴或沒戴口罩的人,回答對方情緒的「答對與否」比例差距最大,可說上述三種對象中最受口罩遮臉影響的群體。研究也推論,因為「3-5 歲幼兒」判斷情緒的主要來源仍是臉部表情;6 到 8 歲兒童和成人,則較懂得運用其他情境線索來判斷情緒。

圖/雞湯來了

關鍵發現 2|容易被混淆的情緒:生氣與難過

另一篇 2021 年 11 月的研究,從 9 間照護中心招募 276 位 3-6 歲的幼兒, 讓他們判斷 15 個演員所拍的 90 張人臉照片的情緒。這些幼兒判斷「照片中沒戴口罩的人之情緒」正確率為 70.6%,若將照片換成戴上口罩的人,這些幼兒判斷的正確率仍為 66.9%!

特別的是,有約 25% 無法區分生氣和難過這兩種情緒,占了辨識情緒錯誤之中的多數,可見對於幼兒而言,「生氣」和「難過」在臉部表情上有許多相似的特徵,如何進一步區分情緒,是可以進一步討論的課題。

圖/雞湯來了

關鍵發現 3|表情之外的辨識來源:聲音的判斷力

其實在疫情之前,2019 年就有研究團隊關注過幼兒的情緒判斷能力。他們不只關心臉部表情,也關注聲音。他們讓 313 位就讀幼兒園的 3-6 歲幼兒:分別透過觀察「臉部表情」和「聽聲音」來判斷情緒。

結果發現:觀察「臉部表情」的視覺判斷正確率最高達 8 成,但以「聽聲音」聽覺判斷的正確率只有 5-6 成。由此可知,對於幼兒而言,視覺很可能比聽覺更容易判斷情緒。

研究也進一步分析,發現觀察「臉部表情」時,「開心」的情緒比起「生氣和難過」更容易透過視覺判斷出來;但若只有「聽聲音」的話,悲傷的情緒比較容易被察覺。

圖/雞湯來了

幼兒情緒教育可以怎麼做?疫情之下把握可控的 2 個安心實踐

由上述的幾項研究結果,我們可以發現兩個重點:

  1. 喜怒哀樂,判斷各種情緒的難易度不同
    幼兒判斷不同情緒的能力程度是有差異性的,差異性的原因可能來自於年齡,或者為情緒的不同性質,比如說幼兒最容易辨識開心,但容易混淆難過與生氣。
  2. 除了表情,還有多種判斷情緒的來源
    判斷情緒的依據不只有臉部表情,肢體、聲音語調、各種情境線索也能幫助我們判斷情緒。

或許,在口罩還是一種日常必須之時,我們可以多著眼於其他「可控」的因素,例如引導孩子判斷情緒的多元方法,從聲音、其他肢體語言等判斷;又或者更進一步和孩子透過故事或案例,討論生氣與難過的的差異,嘗試學習更多口罩日常的情緒辨識之道。

圖/雞湯來了

大人可以透過繪本共讀的方式,討論繪本中的角色在故事中的情境中「產生了什麼情緒」、「為什麼會產生這樣的情緒」。共讀討論時,不只從圖片中角色的表情,還可以從書中角色的肢體動作、其他角色的反應等多元脈絡,練習判斷角色的情緒類型和產生原因。

甚至,我們可以進一步在日常生活中,引導孩子正視自己的情緒、接納並以合適的方式表達情緒。同時引導幼兒觀察目前身處的情境,例如現在是什麼場合、現場的人們在做什麼、我應該如何表現等等。

相關推薦:繪本推薦與引導孩子情緒的方法

延伸閱讀:雞湯來了

參考資料

  1. Covic, A., von Steinbüchel, N., & Kiese-Himmel, C. (2020). Emotion Recognition in Kindergarten Children. Folia phoniatrica et logopaedica : official organ of the International Association of Logopedics and Phoniatrics (IALP), 72(4), 273–281.
  2. Gori, M., Schiatti, L., & Amadeo, M. B. (2021). Masking Emotions: Face Masks Impair How We Read Emotions. Frontiers in psychology, 12, 669432.
  3. Schneider J., Sandoz V., Equey L., Williams-Smith J., Horsch A., Bickle Graz M. (2022) The Role of Face Masks in the Recognition of Emotions by Preschool Children. JAMA Pediatr. 176(1): 96-98.
雞湯來了
49 篇文章 ・ 461 位粉絲
幸福,如何選擇?雞湯來了相信我們值得擁有更優質的家人關係。致力提供科學研究證實的家庭知識,讓您在家庭生活的日常、人生選擇的關卡,找到適合的方向。雞湯來了官網、雞湯來了FB

0

2
0

文字

分享

0
2
0
什麼!你怎麼用眼睛聽聲音:認識麥格克效應
雅文兒童聽語文教基金會_96
・2022/09/28 ・2905字 ・閱讀時間約 6 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

  • 文/李翊瑞|雅文基金會聽語科學研究中心助理研究員

早晨,鬧鐘聲不停地在耳邊響起,儘管心裡有再多的不甘願,你依然掀開棉被起身,輕揉著眼睛抬頭看了看時間。

在日常生活中,透過耳朵聽聲音、依靠眼睛看東西,兩者獨立運作,似乎是我們不曾懷疑過的事情。然而,人類的視覺及聽覺真的互不影響、毫無關聯嗎?

當朋友與我們說話時,對方的聲音和唇形如果有著明顯不同,又會發生什麼神奇的事呢?

究竟是「聽」別人說話,還是「看」別人說話呢?圖/Pexels

無心插柳柳成蔭:麥格克效應的發現

當一個人說話的聲音與唇形變化不一致時,所產生的聽錯覺現象稱為麥格克效應(McGurk effect)。

麥格克效應最早是由兩位英國心理學家——哈利.麥格克(Harry McGurk)約翰.麥克唐納(John MacDonald)於 1976 年提出[1],有趣的是,這個發現完全是場意料外的事。最初,他們正在進行一項語音知覺的研究,實驗中會讓嬰兒觀看一位母親說話的影片,同時搭配該位母親的配音,並記錄不同月齡的嬰兒對於語音的反應。

在一次實驗中,播放影片以及聲音時並未同步,使得影片中說話者唇形為「ga」,卻播放出「ba」的聲音。神奇的是,麥格克與麥克唐納不約而同聽到卻不是「ga」或「ba」,而是「da」的聲音[2]

說話者唇形為「ga」、播放聲音為「ba」,會聽到「da」的聲音。圖/雅文基金會

感到困惑的兩人,隨後重新設計了實驗,並招募更多受試者參與研究,發現高達 98% 的受試者在唇形為「ga」播放聲為「ba」的情況下都聽到了「da」的聲音。最終,他們將這個出乎意料的發現,發表在著名的科學期刊《Nature》[1],開啟了後續一系列有關聽錯覺以及視聽整合的研究。

聽到你懷疑人生,不存在的聲音從何而來?

麥格克效應的發生,顯示了視覺與聽覺訊息之間會相互作用,使我們得以一窺人類語音知覺系統的神秘面紗。與他人對話時,雙耳會將接收到的刺激(語音)傳遞至大腦的初級聽覺皮質(A1,圖中藍色處),同時雙眼接收到的訊息(嘴唇變化、臉部表情與舌頭動作)則會傳遞到初級視覺皮質(V1,圖中紅色處),這兩個區域所接收到的訊息會進一步傳送到顳上溝(superior temporal sulcus,STS,圖中紫色處)進行整合[3]

因此,我們知覺到的語音就不是單一的視覺(「ga」)或聽覺(「ba」)訊息,而是整合後的「da」。顳上溝在視聽整合的過程中扮演非常關鍵的角色[4],後續研究也發現,麥格克效應較少出現在顳上溝功能異常的受試者,如自閉症兒童及失語症成人[5, 6, 7]

視覺訊息(來自初級聽覺皮質 A1,圖中藍色處)和聽覺訊息(來自初級視覺皮質 V1,圖中紅色處)會在顳上溝(STS,圖中紫色處)進行整合。圖/Lüttke (2018)

既然我們已經知道不存在的聲音是經大腦整合而產生,多聽多看幾次就會漸漸習慣而消失嗎?長期研究麥格克效應的美國心理學家勞倫斯.羅森布拉姆(Lawrence Rosenblum)曾提到:

「即便我已經研究此效應長達二十五年,既看又聽了成千上萬次,它依然會發生在我身上,無法自主地去控制它[8]。」

由此可知,麥格克效應不同於一般的魔術表演,即使已經瞭解了原理,甚至感受到它正在發生,但那個不存在的聲音依舊會在我們腦中迴響。

從戴口罩到追劇,視聽整合的重要性

雖然口罩雖然能有效減少病毒的傳播,卻也增加了與他人對話上的困難,使溝通的品質大打折扣[9]。在口罩會影響溝通的「聲音」與「視覺」線索,該如何為愛防疫無礙溝通?文中就有提到,影響溝通的兩大面向為[10]

  • 聽覺:口罩會降低高頻語音(約 2000 – 7000 赫茲)的音量,影響高頻語音的清晰度,讓聲音聽起來悶悶的。如果聽不清楚,就可能會把「胡先生」聽成「吳先生」、「鞋子」聽成「茄子」等。
  • 視覺:口罩會遮蔽臉部表情與唇形變化,因而缺少了視覺上的線索。像是在餐廳或會議等多人同時說話的吵雜環境,若看不見唇形會較難辨別每句話的來源。

麥格克效應顯示了大腦會整合聽覺與視覺訊息來理解當下的聲音,而佩戴口罩所帶來的不便,不僅影響了聽力正常者,對於聽力受損的族群更是一大挑戰,不僅無法接收到清楚的語音訊息,更不能透過讀唇來理解對話內容。所幸,透明口罩的問世[11],使我們得以看見對方的表情,感受到對方的情緒,更能清楚辨識唇形,兼顧防疫及溝通的需求!

透明口罩幫助我們看見對方的唇形和表情,減少溝通上的阻礙。圖/BBC News

另一方面,疫情的衝擊也帶動串流影音平台的崛起,宅在家收看喜愛的戲劇及電影已蔚為風潮,而追劇的過程其實也是種視聽整合的展現。我們對於劇情的理解,除了劇中角色對話的聲音,影片中的字幕也很關鍵。要知道怎樣追劇可以聽和看得更輕鬆嗎?別錯過追劇沒字幕就聽不到?電視聲音不清楚,你可以這樣做[12]

字幕有助於理解影片的內容。圖/Pexels

參考資料

  1. McGurk, H., & MacDonald, J. (1976). Hearing lips and seeing voices. Nature264(5588), 746–748. https://doi.org/10.1038/264746a0
  2. Massaro, D. W., & Stork, D. G. (1998). Speech Recognition and Sensory Integration: A 240-year-old theorem helps explain how people and machines can integrate auditory and visual information to understand speech. American Scientist, 86(3), 236–244. http://www.jstor.org/stable/27857023
  3. Lüttke, C. S. (2018). What you see is what you hear: Visual influences on auditory speech perception (Doctoral dissertation, [Sl: sn]).
  4. Beauchamp, M. S., Nath, A. R., & Pasalar, S. (2010). fMRI-Guided transcranial magnetic stimulation reveals that the superior temporal sulcus is a cortical locus of the McGurk effect. Journal of Neuroscience30(7), 2414-2417. https://doi.org/10.1523/JNEUROSCI.4865-09.2010
  5. Taylor, N., Isaac, C., & Milne, E. (2010). A comparison of the development of audiovisual integration in children with autism spectrum disorders and typically developing children. Journal of Autism and Developmental Disorders40(11), 1403–1411. https://doi.org/10.1007/s10803-010-1000-4
  6. Redcay E. (2008). The superior temporal sulcus performs a common function for social and speech perception: implications for the emergence of autism. Neuroscience and Biobehavioral Reviews32(1), 123–142. https://doi.org/10.1016/j.neubiorev.2007.06.004 
  7. Hickok, G., Rogalsky, C., Matchin, W., Basilakos, A., Cai, J., Pillay, S., … & Fridriksson, J. (2018). Neural networks supporting audiovisual integration for speech: A large-scale lesion study. Cortex103, 360-371.
  8. BBC Two. (2010). Try this bizarre audio illusion! Retrieved August 12, 2022, from https://www.youtube.com/watch?v=G-lN8vWm3m0.
  9. Chládková, K., Podlipský, V. J., Nudga, N., & Šimáčková, Š. (2021). The McGurk effect in the time of pandemic: Age-dependent adaptation to an environmental loss of visual speech cues. Psychonomic Bulletin & Review28(3), 992–1002. https://doi.org/10.3758/s13423-020-01852-2
  10. 張逸屏(民109年8月11日)。口罩會影響溝通的「聲音」與「視覺」線索,該如何為愛防疫無礙溝通?PanSci泛科學。https://pansci.asia/archives/189531
  11. Taylor-Coleman, J. (2020, May 26). Coronavirus: Call for clear face masks to be ‘the norm’. BBC News. Retrieved August 12, 2022, from https://www.bbc.com/news/world-52764355 。
  12. 洪右真(民109年10月28日) 追劇沒字幕就聽不到?電視聲音不清楚,你可以這樣做。PanSci泛科學。https://pansci.asia/archives/192941
雅文兒童聽語文教基金會_96
40 篇文章 ・ 200 位粉絲
雅文基金會提供聽損兒早期療育服務,近年來更致力分享親子教養資訊、推動聽損兒童融合教育,並普及聽力保健知識,期盼在家庭、學校和社會埋下良善的種子,替聽損者營造更加友善的環境。