即興創意的大腦神經網路

• 作者／賴昭正｜前清大化學系教授、系主任、所長；合創科學月刊

我擔心人工智慧可能會完全取代人類。如果人們能設計電腦病毒，那麼就會有人設計出能夠自我改進和複製的人工智慧。 這將是一種超越人類的新生命形式。

——史蒂芬．霍金（Stephen Hawking）　英國理論物理學家

大約在八十年前，當第一台數位計算機出現時，一些電腦科學家便一直致力於讓機器具有像人類一樣的智慧；但七十年後，還是沒有機器能夠可靠地提供人類程度的語言或影像辨識功能。誰又想到「人工智慧」（Artificial Intelligent，簡稱 AI）的能力最近十年突然起飛，在許多（所有？）領域的測試中擊敗了人類，正在改變各個領域——包括假新聞的製造與散佈——的生態。

圖形處理單元（graphic process unit，簡稱 GPU）是這場「人工智慧」革命中的最大助手。它的興起使得九年前還是個小公司的 Nvidia（英偉達）股票從每股不到 $5，上升到今天（5 月 24 日）每股超過 $1000（註一）的全世界第三大公司，其創辦人（之一）兼首席執行官、出生於台南的黃仁勳（Jenson Huang）也一躍成為全世界排名 20 內的大富豪、台灣家喻戶曉的名人！可是多少人了解圖形處理單元是什麼嗎？到底是時勢造英雄，還是英雄造時勢？

在回答這問題之前，筆者得先聲明筆者不是學電腦的，因此在這裡所能談的只是與電腦設計細節無關的基本原理。筆者認為將原理轉成實用工具是專家的事，不是我們外行人需要了解的；但作為一位現在的知識分子或公民，了解基本原理則是必備的條件：例如了解「能量不滅定律」就可以不用仔細分析，即可判斷永動機是騙人的；又如現在可攜帶型冷氣機充斥市面上，它們不用往室外排廢熱氣，就可以提供屋內冷氣，讀者買嗎？

CPU 與 GPU

不管是大型電腦或個人電腦都需具有「中央處理單元」（central process unit，簡稱 CPU）。CPU 是電腦的「腦」，其電子電路負責處理所有軟體正確運作所需的所有任務，如算術、邏輯、控制、輸入和輸出操作等等。雖然早期的設計即可以讓一個指令同時做兩、三件不同的工作；但為了簡單化，我們在這裡所談的工作將只是執行算術和邏輯運算的工作（arithmetic and logic unit，簡稱 ALU），如將兩個數加在一起。在這一簡化的定義下，CPU 在任何一個時刻均只能執行一件工作而已。

在個人電腦剛出現只能用於一般事物的處理時，CPU 均能非常勝任地完成任務。但電腦圖形和動畫的出現帶來了第一批運算密集型工作負載後，CPU 開始顯示心有餘而力不足：例如電玩動畫需要應用程式處理數以萬計的像素（pixel），每個像素都有自己的顏色、光強度、和運動等, 使得 CPU 根本沒辦法在短時間內完成這些工作。於是出現了主機板上之「顯示插卡」來支援補助 CPU。

1999 年，英偉達將其一「具有集成變換、照明、三角形設定／裁剪、和透過應用程式從模型產生二維或三維影像的單晶片處理器」（註二）定位為「世界上第一款 GPU」，「GPU」這一名詞於焉誕生。不像 CPU，GPU 可以在同一個時刻執行許多算術和邏輯運算的工作，快速地完成圖形和動畫的變化。

依序計算和平行計算

一部電腦 CPU 如何計算 7×5+6/3 呢？因每一時刻只能做一件事，所以其步驟為：

• 計算 7×5；
• 計算 6/3；
• 將結果相加。

總共需要 3 個運算時間。但如果我們有兩個 CPU 呢？很多工作便可以同時（平行）進行：

• 同時計算 7×5 及 6/3；
• 將結果相加。

只需要 2 個運算時間,比單獨的 CPU 減少了一個。這看起來好像沒節省多少時間，但如果我們有 16 對 a×b 要相加呢？單獨的 CPU 需要 31 個運算的時間（16 個 × 的運算時間及 15 個 + 的運算時間），而有 16 個小 CPU 的 GPU 則只需要 5 個運算的時間（1 個 × 的運算時間及 4 個 + 的運算時間）！

現在就讓我們來看看為什麼稱 GPU 為「圖形」處理單元。圖一左圖《我愛科學》一書擺斜了，如何將它擺正成右圖呢？ 一句話：「將整個圖逆時針方向旋轉 θ 即可」。但因為左圖是由上百萬個像素點（座標 x, y）組成的，所以這句簡單的話可讓 CPU 忙得不亦樂乎了：每一點的座標都必須做如下的轉換

x’ = x cosθ + y sinθ

y’ = -x sinθ+ y cosθ

即每一點均需要做四個 × 及兩個 + 的運算！如果每一運算需要 10^-6 秒，那麼讓《我愛科學》一書做個簡單的角度旋轉，便需要 6 秒，這豈是電動玩具畫面變化所能接受的？

人類的許多發明都是基於需要的關係，因此電腦硬件設計家便開始思考：這些點轉換都是獨立的，為什麼我們不讓它們同時進行（平行運算，parallel processing）呢？於是專門用來處理「圖形」的處理單元出現了——就是我們現在所知的 GPU。如果一個 GPU 可以同時處理 10⁶ 運算，那上圖的轉換只需 10^-6 秒鐘！

GPU 的興起

GPU 可分成兩種：

• 整合式圖形「卡」（integrated graphics）是內建於 CPU 中的 GPU，所以不是插卡，它與 CPU 共享系統記憶體，沒有單獨的記憶體組來儲存圖形／視訊，主要用於大部分的個人電腦及筆記型電腦上；早期英特爾（Intel）因為不讓插卡 GPU 侵蝕主機的地盤，在這方面的研發佔領先的地位，約佔 68% 的市場。
• 獨立顯示卡（discrete graphics）有不與 CPU 共享的自己專用內存；由於與處理器晶片分離，它會消耗更多電量並產生大量熱量；然而，也正是因為有自己的記憶體來源和電源，它可以比整合式顯示卡提供更高的效能。

2007 年，英偉達發布了可以在獨立 GPU 上進行平行處理的軟體層後，科學家發現獨立 GPU 不但能夠快速處理圖形變化，在需要大量計算才能實現特定結果的任務上也非常有效，因此開啟了為計算密集型的實用題目編寫 GPU 程式的領域。如今獨立 GPU 的應用範圍已遠遠超出當初圖形處理，不但擴大到醫學影像和地震成像等之複雜圖像和影片編輯及視覺化，也應用於駕駛、導航、天氣預報、大資料庫分析、機器學習、人工智慧、加密貨幣挖礦、及分子動力學模擬（註三）等其它領域。獨立 GPU 已成為人工智慧生態系統中不可或缺的一部分，正在改變我們的生活方式及許多行業的遊戲規則。英特爾在這方面發展較遲，遠遠落在英偉達（80%）及超微半導體公司（Advance Micro Devices Inc.，19%，註四）之後，大約只有 1% 的市場。

事實上現在的中央處理單元也不再是真正的「單元」，而是如圖二可含有多個可以同時處理運算的核心（core）單元。GPU 犧牲大量快取和控制單元以獲得更多的處理核心，因此其核心功能不如 CPU 核心強大，但它們能同時高速執行大量相同的指令，在平行運算中發揮強大作用。現在電腦通常具有 2 到 64 個核心；GPU 則具有上千、甚至上萬的核心。

結論

我們一看到《我愛科學》這本書，不需要一點一點地從左上到右下慢慢掃描,即可瞬間知道它上面有書名、出版社等，也知道它擺斜了。這種「平行運作」的能力不僅限於視覺，它也延伸到其它感官和認知功能。例如筆者在清華大學授課時常犯的一個毛病是：嘴巴在講，腦筋思考已經不知往前跑了多少公里，常常為了追趕而越講越快，將不少學生拋到腦後！這不表示筆者聰明，因為研究人員發現我們的大腦具有同時處理和解釋大量感官輸入的能力。

人工智慧是一種讓電腦或機器能夠模擬人類智慧和解決問題能力的科技，因此必須如人腦一樣能同時並行地處理許多資料。學過矩陣（matrix）的讀者應該知道，如果用矩陣和向量（vector）表達，上面所談到之座標轉換將是非常簡潔的（註五）。而矩陣和向量計算正是機器學習（machine learning）演算法的基礎！也正是獨立圖形處理單元最強大的功能所在！因此我們可以了解為什麼 GPU 會成為人工智慧開發的基石：它們的架構就是充分利用並行處理，來快速執行多個操作，進行訓練電腦或機器以人腦之思考與學習的方式處理資料——稱為「深度學習」（deep learning）。

黃仁勳在 5 月 22 日的發布業績新聞上謂：「下一次工業革命已經開始了：企業界和各國正與英偉達合作，將價值數萬億美元的傳統資料中心轉變為加速運算及新型資料中心——人工智慧工廠——以生產新商品『人工智慧』。人工智慧將為每個產業帶來顯著的生產力提升，幫助企業降低成本和提高能源效率，同時擴大收入機會。」

附錄

人工智慧的實用例子：下面一段是微軟的「copilot」代書、谷歌的「translate」代譯之「one paragraph summary of GPU and AI」。讀完後，讀者是不是認為筆者該退休了？

GPU（圖形處理單元）和 AI（人工智慧）之間的協同作用徹底改變了高效能運算領域。GPU 具有平行處理能力，特別適合人工智慧和機器學習所需的複雜資料密集運算。這導致了影像和視訊處理等領域的重大進步，使自動駕駛和臉部辨識等技術變得更加高效和可靠。NVIDIA 開發的平行運算平台 CUDA 進一步提高了 GPU 的效率，使開發人員能夠透過將人工智慧問題分解為更小的、可管理的、可同時處理的任務來解決這些問題。這不僅加快了人工智慧研究的步伐，而且使其更具成本效益，因為 GPU 可以在很短的時間內執行與多個 CPU 相同的任務。隨著人工智慧的不斷發展，GPU 的角色可能會變得更加不可或缺，推動各產業的創新和新的可能性。大腦透過神經元網路實現這一目標，這些神經元網路可以獨立但有凝聚力地工作，使我們能夠執行複雜的任務，例如駕駛、導航、觀察交通信號、聽音樂並同時規劃我們的路線。此外，研究表明，與非人類動物相比，人類大腦具有更多平行通路，這表明我們的神經處理具有更高的複雜性。這個複雜的系統證明了我們認知功能的卓越適應性和效率。我們可以一邊和朋友聊天一邊走在街上，一邊聽音樂一邊做飯，或一邊聽講座一邊做筆記。人工智慧是模擬人類腦神經網路的科技，因此必須能同時並行地來處理許多資料。研究人員發現了人腦通訊網路具有一個在獼猴或小鼠中未觀察獨特特徵：透過多個並行路徑傳輸訊息,因此具有令人難以置信的多任務處理能力。

註解

（註一）當讀者看到此篇文章時，其股票已一股換十股，現在每一股約在 $100 左右。

（註二）組裝或升級過個人電腦的讀者或許還記得「英偉達精視 256」（GeForce 256）插卡吧?

（註三）筆者於 1984 年離開清華大學到 IBM 時，就是參加了被認為全世界使用電腦時間最多的量子化學家、IBM「院士（fellow）」Enrico Clementi 的團隊：因為當時英偉達還未有可以在 GPU 上進行平行處理的軟體層，我們只能自己寫軟體將 8 台中型電腦（非 IBM 品牌！）與一大型電腦連接來做平行運算，進行分子動力學模擬等的科學研究。如果晚生 30 年或許就不會那麼辛苦了?

（註四）補助個人電腦用的 GPU 品牌到 2000 年時只剩下兩大主導廠商：英偉達及 ATI（Array Technology Inc.）。後者是出生於香港之四位中國人於 1985 年在加拿大安大略省成立，2006 年被超微半導體公司收購，品牌於 2010 年被淘汰。超微半導體公司於 2014 年 10 月提升台南出生之蘇姿豐（Lisa Tzwu-Fang Su）博士為執行長後，股票從每股 $4 左右，上升到今天每股超過 $160，其市值已經是英特爾的兩倍，完全擺脫了在後者陰影下求生存的小眾玩家角色，正在挑戰英偉達的 GPU 市場。順便一題：超微半導體公司現任總裁（兼 AI 策略負責人）為出生於台北的彭明博（Victor Peng）；與黃仁勳及蘇姿豐一樣，也是小時候就隨父母親移居到美國。

（註五）或。

延伸閱讀

• 「熱力學與能源利用」，《科學月刊》，1982 年 3 月號；收集於《我愛科學》（華騰文化有限公司，2017 年 12 月出版），轉載於「嘉義市政府全球資訊網」。
• 「網路安全技術與比特幣」，《科學月刊》，2020 年 11 月號；轉載於「善科教育基金會」的《科技大補帖》專欄。

台灣的 COVID-19 疫情，在今（2022）年四月急遽升溫，許多公司行號也再度實行遠端上班、分流上班，減少接觸以及染疫風險，許多染疫者、接觸者也必須居家隔離。任何需要跟人接觸的活動，都改以線上的方式進行。因此，視訊會議就成為了一個相對安全、又便利的新選擇。多虧了現代電腦、網路，和通訊軟體的發達，我們不必非得要面對面才能「見面」。

這樣遠端工作、開不完的視訊會議所帶來的結果是，我們必須整天盯著螢幕看，造成眼睛、精神上的疲勞。國外有人甚至發明了「視訊會議疲勞」（Zoom fatigue，或作 videoconference fatigue）一詞^[註一]來形容這種過多視訊開會造成身心疲乏的現象。而且，這種現象，不但在職場中出現^[註二]，就連線上課程也都讓學生覺得更疲累、難以專注、學習困難、焦慮感提升^[註三]。

為何會產生「視訊會議疲勞」？

為什麼「視訊會議疲勞」那麼普遍呢？Bailenson（2021）解釋，我們之所以會在視訊會議中更容易感到疲倦，主要是以下四個原因：^[註四]

1. 過多的眼神交流：在一般的面對面互動中，我們很少會靠一個人的臉那麼近來跟他說話，視線也不需要持續聚焦在一個人的臉上。尤其對於會議主講人來說，一次有那麼多雙眼睛直勾勾地盯著你看，大腦很容易進入一種過度激發（hyper-aroused）的狀態。
2. 看到自己在說話的畫面，讓你時時刻刻都在審視、評價自己：同樣地，在一般的面對面互動中，幾乎沒有人會一邊拿鏡子照自己，一邊跟別人說話，但這種不自然的狀況卻會在視訊會議中出現。一旦我們看得到自己的影像，難免會注意自己在鏡頭前好不好看，臉上有沒有沾到東西，表情和談吐是不是夠優雅、自信。一邊說話，還要一邊持續自我審查的過程，對大腦來說非常耗能。
3. 視訊會議限制了我們身體的活動空間：視訊會議進行期間，尤其是自己的鏡頭必須開啟時，我們基本上只能端坐在電腦前，眼睛直視螢幕，免得被誤認為是在分心、做別的事。身體要僵直地維持在這種狀態一到兩小時，屁股坐麻、手腳痠痛不說，大腦要控制身體維持姿勢也會變得疲乏。
4. 透過視訊來進行社交互動更為困難、費力：面對面互動的時候，任何語言的、非語言的社交訊息（例如眨眼和微笑）都可以即時被互動者接收，但在視訊會議時，難免會遇到畫面卡卡的、網路不順的狀況，這都使得訊息傳達更為費力、耗時。

當然，這些容易讓我們疲勞的因素，並不是無法可解。Bailenson 也提到一些簡單的方法，像是把視窗從全螢幕調整成讓你沒有壓迫感的大小、關掉自己的個人畫面、在會議與會議之間安排休息等，都能有效降低疲勞。

疲勞的問題或許是解決了，但另一個可以探討的問題是，視訊會議的成效和面對面開會一樣嗎？尤其針對需要創意發想的行業，哪種討論方式更有助於人們想出新穎的好點子？

發想創意提案，到底是面對面還是視訊比較好？

為了探討這個問題，一篇 2022 年刊登於《自然》（Nature）的研究^[註五]邀請了 300 名受試者，隨機分成兩兩一對，進行腦力激盪的作業。內容是花 5 分鐘跟夥伴討論「飛盤」有哪些非典型的用法或功能，再花 1 分鐘選出最有創意的答案。

在這些兩兩一組的受試者中，一半的受試者（75 對）被分配到「面對面互動組」，而另外 75 對則被分到「視訊互動組」。研究人員想知道，哪種形式的討論方式可以產出更多有創意的點子，還有，每個小組花一分鐘討論出來的最終方案，是不是最有創意的點子（用以判斷小組的決策準確度）。

研究人員除了記錄每個小組所產出的創意總數（想出幾種飛盤的新用法）之外，還邀請了兩位事先不知道研究假設的「裁判」，依據創意性和實用性評分受試者的點子。研究團隊將「有創意的點子」定義為「創意分數高於整體平均創意分數的點子。」

為了減少實驗題目造成的偏誤，並增加受試者總數，團隊接著找了另外 302 位受試者參與類似的實驗流程，但是腦力激盪的題目改成：討論「泡泡紙」有哪些非典型的用法或功能。

根據這 602 位受試者的結果顯示，「面對面互動組」想出的平均點子總數是 16.77 個，不但在統計上顯著多於「視訊互動組」的 14.74 個，「面對面互動組」也產出更多被評定為有創意的點子，平均有 7.92 個創意點子，相較於「視訊互動組」平均只有 6.73 個創意點子。

在小組的決策準確度方面，研究人員發現，「視訊互動組」選出的最有創意點子，似乎比較符合裁判對其的創意性評分；也就是說，「視訊互動組」的決策準確度較「面對面互動組」高。可是，這樣的差距，在控制了每組所想出的點子數量後，就消失了。

以「實地實驗」驗證研究結果

上述的研究發現都是在實驗室情境下的結果，真實世界的互動也會有這樣的差異嗎？

為了驗證這一點，研究團隊在芬蘭、匈牙利、以色列、葡萄牙、印度等五個國家，都進行了實地實驗（field experiments）^[註六]。實驗最終邀請到 1490 位工程師，隨機分派成為兩兩一組，以 45 到 60 分鐘的時間討論出可以向公司提案的新點子，並在所有想到的點子中，選出一個他們自認最有創意的想法。

這些實地實驗的結果都驗證了一開始在實驗室的發現。在五個國家的研究數據均顯示面對面互動比視訊討論更有助於發想更多有創意的點子；而視訊討論則能提高決策準確度。

為什麼在面對面討論時，人們較能想到更多有創意的點子？

研究也針對這些現象的原因作出探討。首先，在實驗室進行實驗的過程中，「面對面互動組」和「視訊互動組」的受試者在腦力激盪時，手邊都有筆電或平板，提供他們紀錄或視訊。研究人員事先安裝了 OpenFace 眼動追蹤軟體在這些 3C 產品上，透過電腦或平板的前鏡頭，測量受試者的視線動態，目的是為了得知受試者在跟夥伴討論時，視線多常放在實驗夥伴、手邊作業和實驗室環境。

眼動追蹤的結果發現，「視訊互動組」的受試者在過程中，花更多時間注視螢幕上的實驗伙伴，而且比較不常環顧實驗室四周。至於視線關注手邊作業的時間，兩個組別間並沒有差異。事後的分析更發現，花越長時間環顧環境周遭的人，他們想到的點子越多！

另一方面，為了再次確認受試者到底放多少注意力在四周環境上，研究人員在做實驗室佈置時，也特地放置了五個常見於心理學實驗室的物品（抽屜櫃、文件夾、紙箱、音響喇叭、鉛筆盒）和五個不常見於實驗室的物品（人體骨架海報、巨大盆栽、一籃檸檬、藍色的碗、瑜珈球的盒子），目的是，受試者做完腦力激盪之後，要他們畫出實驗室的擺設。結果顯示，能夠記得越多「不常見物品」的受試者，想到的創意點子就越多！

所以，我們該怎麼用注視時間和對環境的記憶，去解釋「面對面討論的人有更多創意想法」這件事？研究團隊認為，在視訊面談的情境中，我們的注意力會聚焦在螢幕上，同時也限縮了我們認知處理的廣度，阻礙「創意發想」這種需要發散性思考的活動。

當然，疫情中，以視訊會議取代面對面接觸，主要是防疫考量。我們不得不以遠端的方式互動、開會。但如果未來疫情趨緩，我們有得選擇工作模式的時候，不妨優先把面對面開會的機會留給需要發揮創意的事情，或時不時提醒自己從電腦桌前站起來動動筋骨，幫大腦伸個懶腰！

註解與參考資料

• 註一：雖然叫 Zoom fatigue，但不限於使用 Zoom 平台進行的視訊會議。
• 註二：Riedl, R. (2021). On the stress potential of videoconferencing: definition and root causes of Zoom fatigue. Electronic Markets, 1-25.
• 註三：Peper, E., Wilson, V., Martin, M., Rosegard, E., & Harvey, R. (2021). Avoid Zoom fatigue, be present and learn. NeuroRegulation, 8(1), 47-47.
• 註四：Bailenson, J. N. (2021). Nonverbal Overload: A Theoretical Argument for the Causes of Zoom Fatigue. Technology, Mind, and Behavior, 2(1).
• 註五：Brucks, M. S., & Levav, J. (2022). Virtual communication curbs creative idea generation. Nature, 1-5.
• 註六：實地實驗（field experiments）是指在真實生活環境中，實驗者操控獨立變項，以測量其對依變項的因果關係。實地實驗雖然不能像實驗室實驗一樣嚴謹控制環境，但其研究發現的可類推性（generalizability）較高，也就是可以應用在現實生活的程度可能會較高。

• 作者 / 雅文基金會聽語科學研究中心研究員｜羅明

身體在運動一段時間之後，隨之而來的疲勞與酸痛，相信你我都曾體驗過。其實，聽簡報、聽故事或聽人說話等大大小小需要用上「聽」的活動，也像做運動一樣，有時需要身體投入額外的能量。只是「聽」對於一般人而言，時時刻刻都在進行，或許因為長久下來習慣了，而以為所有的「聽」都不用特別使力。

國際期刊 Ear and Hearing 在 2016 年發行一份增刊，由 17 位學者專家執筆，以 Effortful Listening（本文譯為「使力的聆聽」）為課題，探討「聽」是如何耗費一個人的氣力（Pichora-Fuller et al., 2016）。雖然「使力的聆聽」本身是一個看不見也摸不著的概念，但其實「聽」所使的力可以透過一些例子知道它的存在，甚至還能加以測量。

使力的聆聽指的是什麼？

「聽」所涉及的情境相當廣泛多樣，有的情況相對單純，例如只是有無聽到一個聲音；有些時候比較複雜，好比在聽一場演講，過程中不只需要理解，還要整合當下聽到的內容，而這通常也是聆聽讓人感到費力的情境。所謂的理解與整合，其實絕大部分倚賴人體中大腦的運作。從這個角度來說，「聆聽」本身可視為一種透過聽來進行的認知活動，而既然是一件用腦（甚至燒腦）的事情，自然需要多使上一些氣力才能夠順利又正確的完成它。

愈專心聽，愈要使力

根據多項跨領域研究的結果，Pichora-Fuller 等人（2016）提出了一個理論框架：聆聽的使力程度很可能取決於個人投入的心力，而心力投入的多寡又跟需要克服的阻礙與個人的動機意願等因素有關。

這是一個動態的過程，舉例來說，想像自己參加一場聚會，正與他人聊著有趣的話題。由於現場還沒有很多人，沒有太多其他的聲響或噪音，所以聽對方說話並不太花力氣。隨著現場有愈來愈多的人，此起彼落的聲響和噪音也隨之增加。這時為了能夠繼續話題，自己也加大了專心的力道，好聽清楚對方說話的內容。當話題即將告一段落，即使身處噪音圍繞的環境，投入的心力也因為談話來到尾聲而減少。以這個例子來說，噪音環境就像是聽者需要克服的阻礙，而維持談話互動則代表著聽者的動機意願。

聽力問題帶來的困境

來自周遭環境的聲音，在進入大腦之前，還須經過聽覺的感官系統（如：外耳、中耳、內耳，以及內耳之後通往大腦的神經路徑），而許多確診為聽力損失（Hearing Loss）的人，往往是感官系統有環節出現了異常，使得大腦接收到「不清楚」的聲音。「不清楚」的聲音就像是模糊的影像照片，因為缺乏細節，所以只能藉由自己的經驗與知識，來思考重建或想像猜測其中的內容究竟為何，也因此需要個人額外再使上一些氣力。

對於聽損人士而言，使力的聆聽很可能成為一種需要加以克服的困境，就像在相同的時間內要比一般人完成次數更多或強度更高的運動項目，因此更容易在心理上產生倦意而不願繼續，也就是感到聆聽疲勞（Listening Fatigue; Hornsby et al., 2016）。除此之外，使力的聆聽並不只出現在聲音不清楚的時候，即使在音量夠大且內容清晰的情況下，許多聽損者在診間也表示自己經常感到聆聽疲勞。

腦造影幫聆聽來張自拍

使力的聆聽和大腦的運作有著密切的關係，因此聆聽時的使力程度，理論上可反映在大腦活動的變化。事實上，已有許多研究者從這個觀念出發，運用了不同的腦造影技術，來測量與觀察人在進行聆聽活動時的費力程度。若從整體的趨勢來看，愈需要使力，大腦活動的指標會有較高的數值。

功能性核磁振造影（Functional Magnetic Resonance Imaging，簡稱 fMRI），是其中一種記錄受測者大腦活動的技術。有的研究者讓受測者聽辨字詞，結果發現在雜音環繞的情況下，名為 Cingulo-Opercular Network 的腦區會有較大的反應（Vaden et al., 2013, 2015）。也有研究者讓受測者用聽的方式記憶一些數字，結果在前額腦區（pre-frontal brain region）的範圍內，觀察到腦活動的程度在受測者運用記憶策略時會有所增加（Bor et al., 2004）。

腦電圖（Electroencephalography，簡稱 EEG）與事件關聯電位（Event-Related Potential，簡稱 ERP），則是另一類常用來觀察大腦活動的技術。以 ERP 為例，已有許多研究證實，一種名為 P3 的指標可反映個人專心注意的心理狀態（Polich, 2003），也因此有研究者藉由 P3 來觀察聆聽時費力程度的變化。研究者讓受測者判斷聲音是否不同，結果發現聲音不易區辨的情況下 P3 的強度會增大（Bertoli & Bodmer, 2014, 2016）。

聽的使力讓身體也很有感

除了大腦的活動，研究也發現身體的一些基本反應和聆聽的使力程度之間有著間接的關係。屬於這一類的生理反應主要反映著自律神經系統的交感神經與副交感神經的活動，它們包含了瞳孔反應（Pupil Responses）、心臟反應（Cardiac Responses），以及膚電反應（Skin Conductance Responses）。

瞳孔反應的研究顯示，聆聽的時候，瞳孔的大小隨著背景噪音的出現而增加（Keolewijn et al., 2012）。心臟反應方面，研究者常以心跳速率的變化當作觀察指標，也發現了心跳速率的變化會在聆聽活動的要求比較高的時候，有所減少（Mackersie & Calderon-Moultrie, 2016）。膚電反應的研究結果除了顯示反應的強度會隨著活動難度提高而增加，也指出膚電反應在受測者知道活動表現要被評比的時候，會再增強（Mackersie & Kearney, 2017）。

聆聽的足跡還有這裡！

還有其它研究，是觀察受測者外顯的行為表現，而依照研究資料的主觀程度可再分為兩種。一種是採用相對客觀的作法，其類似一個人在真實生活中需要同時做許多事情的狀況，研究者稱之為雙作業派典（Dual-Task Paradigm；Gagné et al., 2017）。一如其名，受測者會進行兩項活動，一項是主要活動，例如讓受測者在噪音中辨認語句，而另一種是次要活動，例如請受測者做單雙數判斷。對於同一位受測者，活動會有三次，一次是主要活動，一次是次要活動，再一次是主要活動與次要活動同時進行，而且會要求受測者在主要活動盡可能做出最佳的表現。

這種作法的背後有一個邏輯：就跟體力一樣，可運用的心力是有限的，如果心力足以負荷這兩項活動，則這些活動的表現會一樣的好，但如果這些活動耗費的心力超過了個人的負荷，則在主要活動需要盡可能做好的前提下，受測者在次要活動的表現將因為缺乏足夠的心力而變差（如：反應變慢、正確率下降），而兩項作業在表現上的落差反映著受測者需要再多付出的心力。

另一種是採用自陳報告（Self-Report），由受測者評估自己：在聆聽的時候是否需要特別使力或容易感到聆聽疲勞。例如，有些研究者會採用視覺類比量尺（visual analog scales）的方式（Kramer et al., 2016），讓受測者選擇 1 到 10 之間的數字，來表達自己在不同的聆聽環境下感到費力的程度。值得留意的是，有研究者指出，自陳報告的結果與行為上或生理上的客觀反應並不全然一致（McGarrigle et al., 2014），意謂著自陳報告的結果可能無法反映出全貌。

雖抽象，但有感

使力的聆聽雖然是一個抽象的概念，其實你我或多或少都能感受到它的存在，也拜科技進步之賜，已經有許多研究在大腦活動、神經系統及外顯行為等不同層面看到了它的蹤影。這些研究上的發現，未來能否實際廣泛的應用到大眾的生活、學習，甚至醫療，或許是值得觀察的方向。

參考文獻

1. Bertoli, S., & Bodmer, D. (2014). Novel sounds as a psychophysiological measure of listening effort in older listeners with and without hearing loss. Clinical Neurophysiology, 125, 1030–1041.
2. Bertoli, S., & Bodmer, D. (2016). Effects of age and task difficulty on ERP responses to novel sounds presented during a speech-perception-in-noise test. Clinical Neurophysiology, 127, 360–368.
3. Bor, D., Cumming, N., Scott, C. E. L., & Owen A. M. (2004). Prefrontal cortical involvement in verbal encoding strategies. European Journal of Neuroscience, 19, 3365–3370.
4. Gagné, J. P., Besser, J., & Lemke, U. (2017). Behavioral assessment of listening effort using a dual-task paradigm: A review. Trends in Hearing. 21, 1–25.
5. Hornsby, B. W. Y., Naylor, G., & Bess, F. H. (2016). A taxonomy of fatigue concepts and their relations to hearing loss. Ear and Hearing, 37, 136S–144S.
6. Koelewijn, T., Zekveld, A. A., Festen, J. M., & Kramer, S. E. (2012). Pupil dilation uncovers extra listening effort in the presence of a single-talker masker. Ear and Hearing, 33, 291–300.
7. Kramer, S. E., Teunissen, C., & Zekveld, A. A. (2016). Cortisol, chromogranin A, and pupillary responses evoked by speech recognition tasks in normally hearing and hard-of-hearing listeners : A pilot study. Ear and Hearing, 37, 126S–135S.
8. Mackersie, C. L., & Calderon-Moultrie, N. (2016). Autonomic nervous system reactivity during speech recognition tasks: Heart-rate variability and skin conductance. Ear and Hearing, 37, 118S–125S.
9. Mackersie, C. L., & Kearney, L. (2017). Autonomic nervous system responses to hearing-related demand and evaluative threat. American Journal of Audiology, 26, 373–377.
10. McGarrigle, R., Munro, K. J., Dawes, P., Stewart, A. J., Moore, D. R., Barry, J. G., & Amitay S. (2014). Listening effort and fatigue: What exactly are we measuring? International Journal of Audiology, 53(7), 433–445.
11. Pichora-Fuller, M. K., Kramer, S. E., Eckert, M. A., Edwards, B., Hornsby, B. W.Y., Humes, L. E., Lemke, U., Lunner, T., Matthen, M., Mackersie, C. L., Naylor, G., Phillips, N. A., Richter, M., Rudner, M., Sommers, M. S., Tremblay, K. L., Wingfield, A., & Wingfield, A. (2016). Hearing impairment and cognitive energy: The framework for understanding effortful listening (FUEL). Ear and Hearing, 37, 5S–27S.
12. Polich, J. (2003). Overview of P3a and P3b. In J. Polich (Ed.), Detection of Change: Event-Related Potential and fMRI Findings (pp. 83-98). Boston, MA: Kluwer Academic Press.
13. Vaden, K. I. Jr., Kuchinsky, S. E., Ahlstrom, J. B., Dubno, J. R., & Eckert, M. A. (2015). Cortical activity predicts which older adults recognize speech in noise and when. The Journal of Neuroscience, 35(9), 3929–3937.Vaden, K. I. Jr., Kuchinsky, S. E., Cute, S. L., Ahlstrom, J. B., Dubno, J. R., & Eckert, M. A. (2013). The cingulo-opercular network provides word-recognition benefit. The Journal of Neuroscience, 33(48), 18979–18986.

在美國國家衛生研究院（NIH）研究聲音、說話和語言的學者，用功能性核磁共振（fMRI）觀察饒舌歌手在即興創作時，大腦的活化情形，發現即興歌詞的過程在大腦的前額葉有比起一般表演活化的差異，並提出一個新的與即興創作和創意有關的神經網絡。

Siyuan Liu博士找來了12位至少有五年饒舌經驗的饒舌歌手，用一個相同的八小節節拍，做兩組實驗，第一組要進行自由即興創作，而第二組則是表演已經熟知的歌詞。

結果發現，在自由即興創作時，與激發想法有關的內側前額葉皮質（medial prefrontal cortex，MPFC）比起表演熟知的歌詞時活化增加，但扮演監督管理角色的背外側前額葉皮質層（dorsolateral prefrontal cortex，DLPFC）則活化減少。像是一位有經驗的父母，知道何時應該忽略規則，何時需要上緊發條。這些改變執行不同功能的大腦活化狀況，可能就是讓想法與文字自由闡述流洩的內在情形。

（原圖出自文獻[創用CC授權]，說明MPFC在在即興創作時比起背詞演出的左半腦活化增加[左下圖右側黃色]較多，DLPFC在右半腦活化減少[右上圖右側藍色]較多，且兩腦區呈負相關。）

即興創作也增加了大腦Perisylvian（與語言產生有關）、杏仁核（amygdala，與情緒有關），和扣帶迴動作區（cingulate motor areas）的活化情形，說明了即興創作連結了激發想法、語言、情緒與動作有關的腦區；而未來，透過不同的創意行為在這樣的神經網路上做更多研究，像是創新使用語言在詩詞或是說故事，也許能夠深入了解即興創意的認知歷程。

資料來源：This Is Your Brain On Freestyle Rap: Study Reveals Characteristic Brain Patterns of Lyrical Improvisation–Science Daily[Nov. 15, 201]

研究文獻：Neural Correlates of Lyrical Improvisation: An fMRI Study of Freestyle Rap