1

11
2

文字

分享

1
11
2

讓機器讀懂我們的心情!臺灣AI情緒辨識技術再突破

科技大觀園_96
・2021/08/16 ・3428字 ・閱讀時間約 7 分鐘

李祈均團隊開發的AI情緒辨識技術,可能在未來應用於「AI面試官」判讀面試者的情緒與個性。(圖/fatcat11繪)
李祈均團隊開發的AI情緒辨識技術,可能在未來應用於「AI面試官」判讀面試者的情緒與個性。(圖/fatcat11繪)

「只要知道多一項資訊,就有更多想像的可能性!」清大電機工程系副教授李祈均的團隊,今年發表了「個人特質整合語音互動之深度情緒辨識技術」,可以在情緒辨識時嵌入個人化的元素,是目前獲得最佳準確率的做法。這項技術除了在「情感運算」(affective computing)的頂尖國際學術研討會 ACII 2019 與全球最大的語音技術會議 INTERSPEECH 2019 發表,也在未來科技展獲得「未來科技突破獎」並入選為亮點技術。

AI 與情緒的結合,在一般人的腦海中串聯出科幻小說般的未來情節,經常給人陌生、不可測的印象,不過這在科學界其實已經有很長期的研究。情緒辨識的應用也受到各界高度關注,對此李祈均表示,情緒辨識目前可以應用在客服、廣告、人資、精神醫療等領域,「我覺得很多應用的價值是要創造的。譬如你是做醫療的,能夠多得到一點資訊,你就能進一步思考可不可以多做什麼事情:可以怎麼照顧?再做什麼治療?更早知道什麼事情來預防?每個人想的不一樣,價值就會不太一樣。」 

打開情緒辨識的黑盒子

回到情緒辨識的起點,「情感運算」這個詞從 1995 年就由 MIT 的教授羅莎琳.皮卡德(Rosalind Picard)提出。當情緒產生變化時,人類也會有生理上的反應,等到訊號量測、處理的技術發展得更成熟,人們自然就將這些技術連結起來思考:是不是可以透過偵測生理訊號的變化,來辨識情緒?

情緒辨識的處理架構,包括資料收集、資料標記、資料輸入、機器學習、辨識輸出等階段。「以前很多技術是功能性的,會產生明確的結果,例如打電話聲音轉文字,這是自動語音辨識的技術;文字裡面說了什麼,這是自然語言處理(Natural Language Processing,NLP)的技術。我們轉個彎去想,情緒跟這些東西有關,做完自動語音辨識、NLP 分析,是不是可以多分析一點內在的狀態?技術整合就會出現。」李祈均所投入的多模態情緒辨識,也就是透過整合語音(如說話的音高、語調)、文字、臉部表情等資訊,透過深度神經網絡分析,進行情緒的判讀。

-----廣告,請繼續往下閱讀-----

只不過,因為情緒這種東西抽象又主觀,標記上會更為複雜。李祈均說明,目前典型的標記方式有兩種,一種是使用「類別」,即直接標示喜、怒、哀、樂等情緒種類;有些研究者進一步採用「象限」的方式,同時衡量「激動程度」(arousal)與「正負向程度」(valence),做更為細膩的表達。像是「生悶氣」就是激動程度較低、負向程度高,可和「生氣」有所區隔。 正確的判讀情緒,在應用上有助於提供更準確的服務;而整個情緒辨識系統,可以把過去仰賴經驗累積的專業,更為系統化並留存下來。「客戶很生氣地打電話給客服,跟單純想要詢問功能性的問題,我們提供的服務會完全不一樣。現在我們很仰賴第一線跟人接觸的人,客服靠經驗感覺你是什麼情緒,跟著改變決策;有經驗的人資,就是可以在技能之外,同時看出應徵者的個性,像是合不合作、在壓力下會有什麼反應。很多經驗的累積可以用 AI 系統化,有經驗的人離開之後,這些經驗也不會跟著不見。」 

把個性「算」出來!

人類情緒複雜,性別、年齡、個性、生活背景、乃至不同的互動情境都會影響,但過去情緒辨識無法具體評估個體差異在其中所造成的影響,讓辨識結果不夠精確。

榮獲2019年未來科技突獎的李祈均副教授,發展出目前獲得最佳準確率的情緒辨識技術。(圖/林妤庭攝)
榮獲 2019 年未來科技突獎的李祈均副教授,發展出目前獲得最佳準確率的情緒辨識技術。(圖/林妤庭攝) 

李祈均新的做法,是以「遷移學習」(transfer learning)的角度,在原本的資料外,再導入一個由其他現有許多資料庫集結而成的「背景資料庫」。所謂的「遷移學習」,是當資料不足以訓練模型,將已有資料所得的參數遷移至新資料的方法。用在個人化的情緒辨識上,假設要分析的樣本為 A,演算法會比對背景資料庫中具有類似用字、語調等特徵的樣本 B,賦予一個 A 與 B 之間有多相似的權重,做為「個人特質」的參照點,再據此去修正情緒辨識的結果。 李祈均進一步解釋,「我們將這一組值稱作 A 在背景資料庫裡面『個人特質的空間位置』,相當於利用演算法在這個背景資料庫為 A 找一個位置,去代表 A 的個人特質。」傳統要進行個性的標記,需要讓每個人填寫相關量表,對於實務應用而言,這樣的做法難以規模化,也缺乏效率。「所以我不用量表找,我用行為找,」李祈均說。當我們難以取得個性的標記,卻又希望了解個體差異會為情緒辨識造成何種影響,就必須想辦法進行轉換。這個背景資料庫中累積的語音文字等人類行為產生的資料,就是探索個人特質的一道窗口。 

嵌入個人特質的情緒辨識技術示意圖解。(圖/沈佩泠繪,資料來源:李祈均)
嵌入個人特質的情緒辨識技術示意圖解。(圖/沈佩泠繪,資料來源:李祈均)

 而從機器學習的分析結果來看,加入了個人化過程後,的確發現模型會對一些情緒線索的權重進行修正。舉例而言,同樣是使用正向詞彙,但是權重被下降,表示有可能是個人特質造成的影響。如果是個性活潑、習慣使用正向詞彙的人,不一定代表他特別開心,模型透過背景資料庫推導出個性特徵後,後續進行情緒辨識便會適度下修正向詞彙的影響力。如此一來,便能提升情緒辨識的準確度。

-----廣告,請繼續往下閱讀-----

「以前想要知道個體差異會如何影響情緒表達,會需要將資料依照性別、年齡、種族等特徵分組,但資料分割地越細,訓練一組模型的資料就會越少,結果就變不準,這是一個很大的問題。」李祈均的個人化技術反向思考,以遷移學習繞過個性標記的瓶頸,利用機器學習一窺個體差異的端倪,為情緒辨識在缺乏個性標記的實際應用,開啟了新的可能。

懂得跨界整合,資料便無處不在

要進行情緒辨識的技術開發,需要的不只是工程方面的專業知識,其實還需要不斷摒除成見,並發揮敏銳的觀察力找到創意的突破點。以李祈均團隊 2017 年釋出的中文情緒互動多模態語料庫(NTHU-NTUA Chinese Interactive Multimodal Emotion Corpus,NNIME)為例,最特別的地方便在於和國立臺灣藝術大學合作,收集情緒資料。

「戲劇表演可以呈現很強的情緒張力,」李祈均表示,為了在鏡頭前捕捉最自然的情緒反應,同時擴大資料收集的效率,設計互動情境請專業演員演出,並進行錄影,是目前學界常見收集資料的方法。不過中間涉及許多專業的表演知識,導演如何訓練演員?要如何設計情境才能獲得最接近現實的情緒反應?「每多解一個小問題,就會有人提出更多的問題,也讓我多懂一點人,這個過程很有趣!」李祈均說。 

情緒辨識研究,還可以如何突破?「有經驗之後,有些工具會讓標記速度變快,收集資料反而最難。」李祈均驚訝地發現,其實有很多既有資料可以多加利用。例如企業管理研究的學者探討組織溝通的行為,過程中本來就會錄下大量 3 到 4 個人的即時互動過程,「國際上公開資料庫釋出 3 到 4 人的互動資料,大約是 28 組,不過接觸臺大企管系後發現,他們手上的資料,近兩年累積下來,已經有 90 幾組!」 

-----廣告,請繼續往下閱讀-----

這樣的速度與規模讓他非常驚豔,原本收集資料是情緒辨識研究最困難的一道關卡,李祈均認為,透過跨領域的整合,把其他學科對於人類行為的研究資料挖掘出來進行工程分析,有機會快步提升臺灣情緒辨識技術開發的腳步。

情緒辨識技術的開發若要突破,最終還是要仰賴對於「人」的理解,並將技術落實到日常生活,解決「人」的問題。無論是學界或企業,臺灣各個領域都有非常優秀的專家,研究過程潛藏著無數人類互動的資料,只要工程端加以規模化,就能創造出不同價值。李祈均期待未來能有更多跨領域人才願意投入這個領域,在跨域整合下碰撞出更多新的創意火花。  

-----廣告,請繼續往下閱讀-----
文章難易度
所有討論 1
科技大觀園_96
82 篇文章 ・ 1126 位粉絲
為妥善保存多年來此類科普活動產出的成果,並使一般大眾能透過網際網路分享科普資源,科技部於2007年完成「科技大觀園」科普網站的建置,並於2008年1月正式上線營運。 「科技大觀園」網站為一數位整合平台,累積了大量的科普影音、科技新知、科普文章、科普演講及各類科普活動訊息,期使科學能扎根於每個人的生活與文化中。

0

0
0

文字

分享

0
0
0
AI 可以設計散熱,但誰敢讓它出貨?林唯耕談算力背後的物理現實
鳥苷三磷酸 (PanSci Promo)_96
・2026/08/20 ・2819字 ・閱讀時間約 5 分鐘

本文由 高柏科技 合作,泛科學撰文

林唯耕剛回台灣任教時,曾在清華大學的實驗室裡用一立方公分的「氨」做實驗。沒想到氨氣意外洩漏,那股刺鼻的氣味瞬間瀰漫整棟大樓,引來眾多師生抗議。

「從此以後,我再也不敢在實驗室裡用氨了。」他在《思想實驗室》的訪談中,帶著笑意回憶這段往事。

這段插曲聽來像是一則工程師的寓言:在理論模型中,氨是太空熱控系統的理想介質;但在現實的辦公大樓裡,它首先是逼人逃竄的臭味。公式本身沒有錯,但現實世界永遠比公式更複雜——它包含了人、成本、風險,以及必須為後果負責的工程師。

-----廣告,請繼續往下閱讀-----

高柏科技技術專家、清華大學榮譽退休教授林唯耕 ,曾任職於美國 OAO 工程部熱流組,深耕電子構裝散熱與熱管技術多年。隨著 AI 浪潮席捲全球,他鑽研一輩子的老問題再次被推向科技產業的核心:當晶片運算速度無止境攀升,那股伴隨而生的熱,究竟該往哪裡去?

熱不會讀新品發表會

科技巨頭在發表會上熱衷於談論大型語言模型、GPU 規格與驚人的算力。這些詞彙在投影片上光鮮亮麗,彷彿進步毫無邊界。然而,每一次數位運算都紮實地發生在實體晶片上。晶片會發熱、材料會疲勞老化,一旦設備過熱,系統便會降頻保護。在物理現實面前,再動聽的發表會敘事也必須低頭。

晶片會發熱、材料會疲勞老化,一旦設備過熱,系統便會降頻保護 / 圖片:envato

回顧個人電腦發展早期,晶片幾乎不需專屬散熱元件。隨後,鋁製鰭片、風扇、熱管到均溫板逐一登場。這段歷程常被視為技術升級,其實更像是對空間的極限勒索:晶片功率翻倍,發熱源的面積卻沒變大,機箱空間也不可能無限擴張。

林唯耕指出,散熱設計的核心只有三要素:功率、熱源面積與空間限制。他舉例,在標準的 1U 機箱中,若發熱面積約為三十乘三十毫米,氣冷系統在達到八百瓦時就會面臨瓶頸。這並非固定的物理常數,而是取決於空間、面積與氣流的動態平衡。最現實的代價在於,風扇轉速提升的背後,是噪音、電力損耗與空間占用。

-----廣告,請繼續往下閱讀-----

因此,「液冷技術」的興起並非單純為了追求酷炫,而是算力密度提升後的必然選擇。它能更精準地帶走晶片廢熱,卻也將新的挑戰帶入機房:漏液風險、流道堵塞、材料相容性,以及維運時的難度。工程的進步,本質上鮮少是徹底消滅問題,更多時候是選擇一組「比較值得承擔」的新問題。

太空教他的,不是把答案搬回地面

太空熱控工程之所以迷人,是因為它剝奪了地球上最常見的散熱工具。在真空宇宙中,沒有空氣能讓風扇製造對流;受光面溫度破百度,陰影處卻極度嚴寒。工程師必須純粹仰賴熱傳導、熱輻射,以及熱管與環路型熱管(LHP)來搬移熱能。

熱管運作的關鍵在於「相變」——液體蒸發時吸收大量潛熱,冷凝後重回循環。林唯耕比較了銅與水的熱傳導能力:在他設定的特定條件下,實心銅塊約能傳導 120 瓦的熱能;但若每秒有一立方公分的水發生蒸發相變,移熱量可瞬間拉升至 2.4 千瓦(kW)。他強調「每秒」的觀念,因為散熱談的是動態流動速率,而非靜態的冷卻魔法。

儘管如此,太空科技並不能直接套用到地面。太空元件因考量重量、功耗與維修難度,偏好無馬達幫浦的被動式設計;但地面 AI 伺服器面臨更高的熱負載與環境溫度,往往仍需幫浦驅動流量。當年那場「氨氣洩漏」事故正是最好的提醒:技術是否「先進」,與它是否「適合」當下的場景,始終是兩回事。

-----廣告,請繼續往下閱讀-----
他強調「每秒」的觀念,因為散熱談的是動態流動速率,而非靜態的冷卻魔法。/圖片:envato

好論文,為什麼仍可能造不出好產品

學術研究致力於證明「可行性」,而工業現場則要求「可重複性」——不僅要能運作,還得確保每台出廠的設備都不漏水。林唯耕將此定義為「從 0 到 1」與「從 1 到 100」的差別。後者涉及良率、成本、公差與客戶信任。論文中那次最完美的實驗數據,在產線上往往未必管用。

他從不避談失敗。在高柏科技早期與學界合作時,也曾遇過實驗數據無法複製,或研究方向偏離產業需求。這未必是雙方努力不夠,而是彼此對「成功」的標準不同。為了解決這道鴻溝,高柏科技推動「柏苗啟航創新培育計畫」,每年投入逾千萬資金與成大、中山、台科大等校合作,並指派專業人才在過程中持續微調、校正,確保研發貼近產線現實。

他分享了近期一項液冷工質校正專案。團隊使用非侵入式的超音波流量計進行觀測,但由於儀器預設以「水」校正,換成其他化學流體後讀數便出現誤差。最初嘗試用幫浦壓差推算,卻發現缺乏重複性,數據甚至推導出不合理的蒸發率。最後團隊回歸基本面,改用秤重法搭配能量平衡進行交叉驗證,才讓數據成功收斂。

這個故事真正的價值不在於「產學雙贏」的口號,而在於那段不夠優雅的挫折:假設失效、數據混亂、方法砍掉重練。也正是在這種時刻,企業需要的不只是會算數的人才,而是能洞察研究何時「走鐘」,並有權力喊停、要求重來的關鍵決策者。

-----廣告,請繼續往下閱讀-----

林唯耕坦言,過去在校園裡總認為「技術第一、成本第二」,進入商界後才驚覺行銷與信任關係往往才是關鍵。這番話雖然不如科技突破那樣動聽,卻是產品能否進入市場的殘酷真相。再卓越的散熱設計,若無法穩定生產或贏得客戶信任,也僅止於一份精美的報告。

AI 會給答案,誰來負責出貨?

訪談尾聲,主持人國威提出了一個時代難題:假設 AI 能在彈指間生成散熱架構、材料配方與流道設計,企業該選擇全面擁抱 AI 的速度,還是保留緩慢但穩定的工程驗證,以規避潛在的失效風險?

林唯耕拒絕落入二選一的框架。他的觀點是:兩者並存。AI 擅長處理資訊、生成草案;但工程師仍須實作原型,進行嚴苛的性能與可靠度測試,最終由人決定是否出貨。這並非盲目崇拜人類直覺,而是基於一項事實:AI 的資料庫裡,通常沒記載下一次「意外洩漏」或「材料疲勞」的細節,且模型永遠無法為量產結果擔負法律與商業責任。

在 AI 時代,最稀缺的未必是熟練下指令(Prompt)的人,而是具備這種能力的人:能預判答案可能在哪裡出錯、能設計實驗將問題「逼」出來,並且願意為最終的量產品質負起責任。

-----廣告,請繼續往下閱讀-----

大眾習慣將雲端想像成輕盈、無重量的空間。但現實中,雲端是由龐大的機房架構而成,裡面裝滿了晶片、管線、泵浦與冷卻液。虛擬算力的每一次擴張,都會在實體世界留下發熱的足跡。散熱工程師的價值,就是不讓這筆物理帳單,被埋沒在光鮮亮麗的投影片背後。

-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
249 篇文章 ・ 320 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

2
0

文字

分享

0
2
0
拆解邊緣AI熱潮:伺服器如何提供穩固的運算基石?
鳥苷三磷酸 (PanSci Promo)_96
・2025/05/21 ・5071字 ・閱讀時間約 10 分鐘

本文與 研華科技 合作,泛科學企劃執行。

每次 NVIDIA 執行長黃仁勳公開發言,總能牽動整個 AI 產業的神經。然而,我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線,那如果哪天「網路斷了」,會發生什麼事?

想像你正在自駕車打個盹,系統突然警示:「網路連線中斷」,車輛開始偏離路線,而前方竟是萬丈深谷。又或者家庭機器人被駭,開始暴走跳舞,甚至舉起刀具向你走來。

這會是黃仁勳期待的未來嗎?當然不是!也因為如此,「邊緣 AI」成為業界關注重點。不靠雲端,AI 就能在現場即時反應,不只更安全、低延遲,還能讓數據當場變現,不再淪為沉沒成本。

什麼是邊緣 AI ?

邊緣 AI,乍聽之下,好像是「孤單站在角落的人工智慧」,但事實上,它正是我們身邊最可靠、最即時的親密數位夥伴呀。

當前,像是企業、醫院、學校內部的伺服器,個人電腦,甚至手機等裝置,都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。簡單來說,就是將原本集中在遠端資料中心的運算能力,「搬家」到更靠近數據源頭的地方。

-----廣告,請繼續往下閱讀-----

那麼,為什麼需要這樣做?資料放在雲端,集中管理不是更方便嗎?對,就是不好。

當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。/ 圖片來源:MotionArray

第一個不好是物理限制:「延遲」。
即使光速已經非常快,數據從你家旁邊的路口傳到幾千公里外的雲端機房,再把分析結果傳回來,中間還要經過各種網路節點轉來轉去…這樣一來一回,就算只是幾十毫秒的延遲,對於需要「即刻反應」的 AI 應用,比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時,每一毫秒都攸關安全與精度,這點延遲都是無法接受的!這是物理距離與網路架構先天上的限制,無法繞過去。

第二個挑戰,是資訊科學跟工程上的考量:「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送,湧入的資料數據量就像超級大的水流,一下子就把水管塞爆!要避免流量爆炸,你就要一直擴充水管,也就是擴增頻寬,然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理,把重要資訊「濃縮」過後再傳回雲端,是不是就能減輕頻寬負擔,也能節省大量費用呢?

第三個挑戰:系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時,一旦網路不穩、甚至斷線,那怎麼辦?很多關鍵應用,像是公共安全監控或是重要設備的預警系統,可不能這樣「看天吃飯」啊!邊緣處理讓系統更獨立,就算暫時斷線,本地的 AI 還是能繼續運作與即時反應,這在工程上是非常重要的考量。

所以你看,邊緣運算不是科學家們沒事找事做,它是順應數據特性和實際應用需求,一個非常合理的科學與工程上的最佳化選擇,是我們想要抓住即時數據價值,非走不可的一條路!

邊緣 AI 的實戰魅力:從工廠到倉儲,再到你的工作桌

知道要把 AI 算力搬到邊緣了,接下來的問題就是─邊緣 AI 究竟強在哪裡呢?它強就強在能夠做到「深度感知(Deep Perception)」!

-----廣告,請繼續往下閱讀-----

所謂深度感知,並非僅僅是對數據進行簡單的加加減減,而是透過如深度神經網路這類複雜的 AI 模型,從原始數據裡面,去「理解」出更高層次、更具意義的資訊。

研華科技為例,旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例,利用物件偵測模型,快速將工業產品中的瑕疵挑出來,而且由於 AI 模型可以使用同一套參數去檢測,因此品管上能達到一致性,減少人為疏漏。尤其在高產能工廠中,檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品,替工廠節省大量人力,同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。

這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。/ 圖片提供:研華科技

此外,在智慧倉儲場域,研華與威剛合作,研華與威剛聯手合作,在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台,打造倉儲系統的 AMR(Autonomous Mobile Robot) 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣,AMR 不需要事先規劃好路線,靠著感測器偵測,就能輕鬆避開障礙物,識別路線,並且將貨物載到指定地點存放。

當然,還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning ),除了可以做備忘錄跟排程規劃以外,還能將實務上碰到的問題記錄下來,等到之後碰到類似的問題時,就能詢問 AI 並得到解答。

你或許會問,那為什麼不直接使用 ChatGPT 就好了?其實,對許多企業來說,內部資料往往具有高度機密性與商業價值,有些場域甚至連手機都禁止員工帶入,自然無法將資料上傳雲端。對於重視資安,又希望運用 AI 提升效率的企業與工廠而言,自行部署大型語言模型(self-hosted LLM)才是理想選擇。而這樣的應用,並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。

但問題也接著浮現:要在這麼小的設備上跑大型 AI 模型,會不會太吃資源?這正是目前 AI 領域最前沿、最火熱的研究方向之一:如何幫 AI 模型進行「科學瘦身」,又不減智慧。接下來,我們就來看看科學家是怎麼幫 AI 減重的。

-----廣告,請繼續往下閱讀-----

語言模型瘦身術之一:量化(Quantization)—用更精簡的數位方式來表示知識

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像:有些畫面細節我們肉眼根本看不出來,刪掉也不影響整體感覺,卻能大幅減少檔案大小。

模型量化的原理也是如此,只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示,什麼是浮點數?其實就是你我都熟知的小數。舉例來說,圓周率是個無窮不循環小數,唸下去就會是3.141592653…但實際運算時,我們常常用 3.14 或甚至直接用 3,也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思! 

然而,量化並不是那麼容易的事情。而且實際上,降低精度多少還是會影響到模型表現的。因此在設計時,工程師會精密調整,確保效能在可接受範圍內,達成「瘦身不減智」的目標。

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。/ 圖片來源:MotionArray

模型剪枝(Model Pruning)—基於重要性的結構精簡

建立一個 AI 模型,其實就是在搭建一整套類神經網路系統,並訓練類神經元中彼此關聯的參數。然而,在這麼多參數中,總會有一些參數明明佔了一個位置,卻對整體模型沒有貢獻。既然如此,不如果斷將這些「冗餘」移除。

這就像種植作物的時候,總會雜草叢生,但這些雜草並不是我們想要的作物,這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在,而動手去清理這些不需要的連結參數或神經元的技術,就稱為 AI 模型的模型剪枝(Model Pruning)。

-----廣告,請繼續往下閱讀-----

模型剪枝的效果,大概能把100變成70這樣的程度,說多也不是太多。雖然這樣的縮減對於提升效率已具幫助,但若我們要的是一個更小幾個數量級的模型,僅靠剪枝仍不足以應對。最後還是需要從源頭著手,採取更治本的方法:一開始就打造一個很小的模型,並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」,是目前 AI 模型壓縮領域中最具潛力的方法之一。

知識蒸餾(Knowledge Distillation)—讓小模型學習大師的「精髓」

想像一下,一位經驗豐富、見多識廣的老師傅,就是那個龐大而強悍的 AI 模型。現在,他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案,老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」,例如「為什麼我會這樣想?」、「其他選項的可能性有多少?」。這樣一來,小小的學徒模型,用它有限的「腦容量」,也能學到老師傅的「智慧精髓」,表現就能大幅提升!這是一種很高級的訓練技巧,跟遷移學習有關。

舉個例子,當大型語言模型在收到「晚餐:鳳梨」這組輸入時,它下一個會接的詞語跟機率分別為「炒飯:50%,蝦球:30%,披薩:15%,汁:5%」。在知識蒸餾的過程中,它可以把這套機率表一起教給小語言模型,讓小語言模型不必透過自己訓練,也能輕鬆得到這個推理過程。如今,許多高效的小型語言模型正是透過這項技術訓練而成,讓我們得以在資源有限的邊緣設備上,也能部署愈來愈強大的小模型 AI。

但是!即使模型經過了這些科學方法的優化,變得比較「苗條」了,要真正在邊緣環境中處理如潮水般湧現的資料,並且高速、即時、穩定地運作,仍然需要一個夠強的「引擎」來驅動它們。也就是說,要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型,真正放到邊緣的現場去發揮作用,就需要一個強大的「硬體平台」來承載。

-----廣告,請繼續往下閱讀-----

邊緣 AI 的強心臟:SKY-602E3 的三大關鍵

像研華的 SKY-602E3 塔式 GPU 伺服器,就是扮演「邊緣 AI 引擎」的關鍵角色!那麼,它到底厲害在哪?

一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要?因為 GPU 的設計,天生就擅長做「平行計算」,這正好就是 AI 模型裡面那種海量數學運算最需要的!

你想想看,那麼多數據要同時處理,就像要請一大堆人同時算數學一樣,GPU 就是那個最有效率的工具人!而且,有多張 GPU,代表可以同時跑更多不同的 AI 任務,或者處理更大流量的數據。這是確保那些科學研究成果,在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎!

二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房,有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計,體積相對緊湊,散熱空間也比較好(這對高功耗的 GPU 很重要!),部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算,進行「工程化」,讓它能適應台灣多樣化的邊緣應用場景。

三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格,背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場,系統穩定壓倒一切!你總不希望 AI 分析跑到一半就掛掉吧?這些設計確保了部署在現場的 AI 系統,能夠長時間、穩定地運作,把實驗室裡的科學成果,可靠地轉化成實際的應用價值。

-----廣告,請繼續往下閱讀-----
研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。/ 圖片提供:研華科技

台灣製造 × 在地智慧:打造專屬的邊緣 AI 解決方案

研華科技攜手八維智能,能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署,及AI軟硬體整合。

無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析,還是其他 AI 相關的服務,都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務,讓企業在啟動 AI 專案前,大幅降低前期投入門檻,靈活又實用。

台灣有著獨特的產業結構,從精密製造、城市交通管理,到因應高齡化社會的智慧醫療與公共安全,都是邊緣 AI 的理想應用場域。更重要的是,這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示,這些都需要分秒必爭的即時回應。

如果我們還需要將數據送上雲端分析、再等待回傳結果,往往已經錯失最佳反應時機。這也是為什麼邊緣 AI,不只是一項技術創新,更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場,就能被有效的「理解」與「利用」,是將數據垃圾變成數據黃金的賢者之石!

👉 更多研華Edge AI解決方案
👉 立即申請Server租借

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
249 篇文章 ・ 320 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

1
0

文字

分享

0
1
0
數智驅動未來:從信任到執行,AI 為企業創新賦能
鳥苷三磷酸 (PanSci Promo)_96
・2025/01/13 ・4938字 ・閱讀時間約 10 分鐘

-----廣告,請繼續往下閱讀-----

本文由 鼎新數智 與 泛科學 共同規劃與製作

你有沒有想過,當 AI 根據病歷與 X 光片就能幫你診斷病症,或者決定是否批准貸款,甚至從無人機發射飛彈時,它的每一步「決策」是怎麼來的?如果我們不能知道 AI 的每一個想法步驟,對於那些 AI 輔助的診斷和判斷,要我們如何放心呢?

馬斯克與 OpenAI 的奧特曼鬧翻後,創立了新 AI 公司 xAI,並推出名為 Grok 的產品。他宣稱目標是以開源和可解釋性 AI 挑戰其他模型,而 xAI 另一個意思是 Explainable AI 也就是「可解釋性 AI」。

如今,AI 已滲透生活各處,而我們對待它的方式卻像求神問卜,缺乏科學精神。如何讓 AI 具備可解釋性,成為當前關鍵問題?

-----廣告,請繼續往下閱讀-----
AI 已滲透生活各處,而我們對待它的方式卻像求神問卜,缺乏科學精神。如何讓 AI 具備可解釋性,成為當前關鍵問題?圖/pexels

黑盒子模型背後的隱藏秘密

無法解釋的 AI 究竟會帶來多少問題?試想,現在許多銀行和貸款機構已經使用 AI 評估借貸申請者的信用風險,但這些模型往往如同黑箱操作。有人貸款被拒,卻完全不知原因,感覺就像被分手卻不告訴理由。更嚴重的是,AI 可能擅自根據你的住所位置或社會經濟背景給出負面評價,這些與信用風險真的相關嗎?這種不透明性只會讓弱勢群體更難融入金融體系,加劇貧富差距。這種不透明性,會讓原本就已經很難融入金融體系的弱勢群體,更加難以取得貸款,讓貧富差距越來越大,雪上加霜。

AI 不僅影響貸款,還可能影響司法公正性。美國部分法院自 2016 年起使用「替代性制裁犯罪矯正管理剖析軟體」 COMPAS 這款 AI 工具來協助量刑,試圖預測嫌犯再犯風險。然而,這些工具被發現對有色人種特別不友好,往往給出偏高的再犯風險評估,導致更重的刑罰和更嚴苛的保釋條件。更令人擔憂的是,這些決策缺乏透明度,AI 做出的決策根本沒法解釋,這讓嫌犯和律師無法查明問題根源,結果司法公正性就這麼被悄悄削弱了。

此外,AI 在醫療、社交媒體、自駕車等領域的應用,也充滿類似挑戰。例如,AI 協助診斷疾病,但若原因報告無法被解釋,醫生和患者又怎能放心?同樣地,社群媒體或是 YouTube 已經大量使用 AI 自動審查,以及智慧家居或工廠中的黑盒子問題,都像是一場越來越複雜的魔術秀——我們只看到結果,卻無法理解過程。這樣的情況下,對 AI 的信任感就成為了一個巨大的挑戰。

為什麼人類設計的 AI 工具,自己卻無法理解?

原因有二。首先,深度學習模型結構複雜,擁有數百萬參數,人類要追蹤每個輸入特徵如何影響最終決策結果,難度極高。例如,ChatGPT 中的 Transformer 模型,利用注意力機制(Attention Mechanism)根據不同詞之間的重要性進行特徵加權計算,因為機制本身涉及大量的矩陣運算和加權計算,這些數學操作使得整個模型更加抽象、不好理解。

-----廣告,請繼續往下閱讀-----

其次,深度學習模型會會從資料中學習某些「特徵」,你可以當作 AI 是用畫重點的方式在學習,人類劃重點目的是幫助我們加速理解。AI 的特徵雖然也能幫助 AI 學習,但這些特徵往往對人類來說過於抽象。例如在影像辨識中,人類習慣用眼睛、嘴巴的相對位置,或是手指數量等特徵來解讀一張圖。深度學習模型卻可能會學習到一些抽象的形狀或紋理特徵,而這些特徵難以用人類語言描述。

深度學習模型通常採用分佈式表示(Distributed Representation)來編碼特徵,意思是將一個特徵表示為一個高維向量,每個維度代表特徵的不同方面。假設你有一個特徵是「顏色」,在傳統的方式下,你可能用一個簡單的詞來表示這個特徵,例如「紅色」或「藍色」。但是在深度學習中,這個「顏色」特徵可能被表示為一個包含許多數字的高維向量,向量中的每個數字表示顏色的不同屬性,比如亮度、色調等多個數值。對 AI 而言,這是理解世界的方式,但對人類來說,卻如同墨跡測驗般難以解讀。

假設你有一個特徵是「顏色」,在傳統的方式下,你可能用一個簡單的詞來表示這個特徵,例如「紅色」或「藍色」。但是在深度學習中,這個「顏色」特徵可能被表示為一個包含許多數字的高維向量,向量中的每個數字表示顏色的不同屬性,比如亮度、色調等多個數值。圖/unsplash

試想,AI 協助診斷疾病時,若理由是基於醫生都無法理解的邏輯,患者即使獲得正確診斷,也會感到不安。畢竟,人們更相信能被理解的東西。

打開黑盒子:可解釋 AI 如何運作?我們要如何教育 AI?

首先,可以利用熱圖(heatmap)或注意力圖這類可視化技術,讓 AI 的「思維」有跡可循。這就像行銷中分析消費者的視線停留在哪裡,來推測他們的興趣一樣。在卷積神經網絡和 Diffusion Models 中 ,當 AI 判斷這張照片裡是「貓」還是「狗」時,我需要它向我們展示在哪些地方「盯得最緊」,像是耳朵的形狀還是毛色的分布。

-----廣告,請繼續往下閱讀-----

其次是局部解釋,LIME 和 SHAP 是兩個用來發展可解釋 AI 的局部解釋技術。

SHAP 的概念來自博弈,它將每個特徵看作「玩家」,而模型的預測結果則像「收益」。SHAP 會計算每個玩家對「收益」的貢獻,讓我們可以了解各個特徵如何影響最終結果。並且,SHAP 不僅能透過「局部解釋」了解單一個結果是怎麼來的,還能透過「全局解釋」理解模型整體的運作中,哪些特徵最重要。

以實際的情景來說,SHAP 可以讓 AI 診斷出你有某種疾病風險時,指出年齡、體重等各個特徵的影響。

LIME 的運作方式則有些不同,會針對單一個案建立一個簡單的模型,來近似原始複雜模型的行為,目的是為了快速了解「局部」範圍內的操作。比如當 AI 拒絕你的貸款申請時,LIME 可以解釋是「收入不穩定」還是「信用紀錄有問題」導致拒絕。這種解釋在 Transformer 和 NLP 應用中廣泛使用,一大優勢是靈活且計算速度快,適合臨時分析不同情境下的 AI 判斷。比方說在醫療場景,LIME 可以幫助醫生理解 AI 為何推薦某種治療方案,並說明幾個主要原因,這樣醫生不僅能更快做出決策,也能增加患者的信任感。

-----廣告,請繼續往下閱讀-----

第三是反事實解釋:如果改變一點點,會怎麼樣?

如果 AI 告訴你:「這家銀行不會貸款給你」,這時你可能會想知道:是收入不夠,還是年齡因素?這時你就可以問 AI:「如果我年輕五歲,或者多一份工作,結果會怎樣?」反事實解釋會模擬這些變化對結果的影響,讓我們可以了解模型究竟是如何「權衡利弊」。

最後則是模型內部特徵的重要性排序。這種方法能顯示哪些輸入特徵對最終結果影響最大,就像揭示一道菜中,哪些調味料是味道的關鍵。例如在金融風險預測中,模型可能指出「收入」影響了 40%,「消費習慣」占了 30%,「年齡」占了 20%。不過如果要應用在像是 Transformer 模型等複雜結構時,還需要搭配前面提到的 SHAP 或 LIME 以及可視化技術,才能達到更完整的解釋效果。

講到這裡,你可能會問:我們距離能完全信任 AI 還有多遠?又或者,我們真的應該完全相信它嗎?

-----廣告,請繼續往下閱讀-----

我們終究是想解決人與 AI 的信任問題

當未來你和 AI 同事深度共事,你自然希望它的決策與行動能讓你認可,幫你省心省力。因此,AI 既要「可解釋」,也要「能代理」。

當未來你和 AI 同事深度共事,你自然希望它的決策與行動能讓你認可,幫你省心省力。圖/unsplash

舉例來說,當一家公司要做一個看似「簡單」的決策時,背後的過程其實可能極為複雜。例如,快時尚品牌決定是否推出新一季服裝,不僅需要考慮過去的銷售數據,還得追蹤熱門設計趨勢、天氣預測,甚至觀察社群媒體上的流行話題。像是暖冬來臨,厚外套可能賣不動;或消費者是否因某位明星愛上一種顏色,這些細節都可能影響決策。

這些數據來自不同部門和來源,龐大的資料量與錯綜關聯使企業判斷變得困難。於是,企業常希望有個像經營大師的 AI 代理人,能吸收數據、快速分析,並在做決定時不僅給出答案,還能告訴你「為什麼要這麼做」。

傳統 AI 像個黑盒子,而可解釋 AI (XAI)則清楚解釋其判斷依據。例如,為什麼不建議推出厚外套?可能理由是:「根據天氣預測,今年暖冬概率 80%,過去三年數據顯示暖冬時厚外套銷量下降 20%。」這種透明解釋讓企業更信任 AI 的決策。

-----廣告,請繼續往下閱讀-----

但會解釋還不夠,AI 還需能真正執行。這時,就需要另一位「 AI 代理人」上場。想像這位 AI 代理人是一位「智慧產品經理」,大腦裝滿公司規則、條件與行動邏輯。當客戶要求變更產品設計時,這位產品經理不會手忙腳亂,而是按以下步驟行動:

  1. 檢查倉庫物料:庫存夠不夠?有沒有替代料可用?
  2. 評估交期影響:如果需要新物料,供應商多快能送到?
  3. 計算成本變化:用新料會不會超出成本預算?
  4. 做出最優判斷,並自動生成變更單、工單和採購單,通知各部門配合執行。

這位 AI 代理人不僅能自動處理每個環節,還會記錄每次決策結果,學習如何變得更高效。隨時間推移,這位「智慧產品經理」的判斷將更聰明、決策速度更快,幾乎不需人工干預。更重要的是,這些判斷是基於「以終為始」的原則,為企業成長目標(如 Q4 業績增長 10%)進行連續且動態地自我回饋,而非傳統系統僅月度檢核。

這兩位 AI 代理人的合作,讓企業決策流程不僅透明,還能自動執行。這正是數智驅動的核心,不僅依靠數據驅動決策,還要能解釋每一個選擇,並自動行動。這個過程可簡化為 SUPA,即「感知(Sensing)→ 理解(Understanding)→ 規劃(Planning)→ 行動(Acting)」的閉環流程,隨著數據的變化不斷進化。

偉勝乾燥工業為例,他們面臨高度客製化與訂單頻繁變更的挑戰。導入鼎新 METIS 平台後,偉勝成功將數智驅動融入業務與產品開發,專案準時率因此提升至 80%。他們更將烤箱技術與搬運機器人結合,開發出新形態智慧化設備,成功打入半導體產業,帶動業績大幅成長,創造下一個企業的增長曲線。

-----廣告,請繼續往下閱讀-----

值得一提的是,數智驅動不僅帶動業務增長,還讓員工擺脫繁瑣工作,讓工作更輕鬆高效。

數智驅動的成功不僅依賴技術,還要與企業的商業策略緊密結合。為了讓數智驅動真正發揮作用,企業首先要確保它服務於具體的業務需求,而不是為了技術而技術。

這種轉型需要有策略、文化和具體應用場景的支撐,才能讓數智驅動真正成為企業持續增長的動力。

還在猶豫數智驅動的威力?免費上手企業 AI 助理!👉 企業 AI 體驗
現在使用專屬邀請碼《 KP05 》註冊就享知:https://lihi.cc/EDUk4
訂閱泛科學獨家知識頻道,深入科技趨勢與議題內容。

👉立即免費加入

-----廣告,請繼續往下閱讀-----
鳥苷三磷酸 (PanSci Promo)_96
249 篇文章 ・ 320 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia