0

0
0

文字

分享

0
0
0

【Gene 思書齋】透視大數據的那些秘密

Gene Ng_96
・2019/01/05 ・2237字 ・閱讀時間約 4 分鐘 ・SR值 525 ・七年級

今天搭公車時,看到一個年輕男人以乎有些疲憊,勞基法愈修愈爆肝,他時而望著窗外,時而低頭沉思。

根據我多年的社會觀察和讀了心理學的書籍,我知道他一定是忘了帶手機或手機沒電了⋯⋯

好啦,這是網路上看來的一則笑話,我並沒有搭公車。可是如果有一天,手機不在身邊的話,我們什麼都不知道了,甚至會不會連我們喜歡什麼樣的人、喜歡吃什麼、喜歡聽什麼音樂、喜歡愛什麼電影,我們都要問問手機或社群網站,這會很令人意外嗎?

因為有了大數據和演算法,加上政府迫不及待要燒錢的 AI(人工智慧),有一天我們的手機或社群網站比我們自己還瞭解自己,並不是不可能。然而 AI 加大數據和演算法的三劍合璧,不只是讓我們選擇自己喜歡的東西,而是在找工作、買保險、看醫生時被挑選,會讓我們更幸福嗎?

有一天我們的手機或社群網站比我們自己還瞭解自己,並不是不可能。然而 AI 加大數據和演算法真的會讓我們更幸福嗎?
圖/pixabay

大數據亦正亦邪 一定要小心使用!

就像人類歷史上的最有工具一樣,大數據肯定是雙面刃,水可載舟、亦可覆舟。談大數據有多威的書籍可以汗牛充棟,可是人們畢竟是喜歡報喜不報憂的,如果要兼聽則明,我們能夠知道大數據有多可怕呢?《大數據的傲慢與偏見:一個「圈內數學家」對演算法霸權的警告與揭發》(Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy)是一本難得的好書。

不要以為大數據如何落入壞人手裡,才會有其破壞力,如果不懂得大數據,卻自以為地要用大數據,這樣即使落入良善的人手裡,也可能適得其反。不透明、不受管制的演算法,已經讓社會和個人付出慘痛的代價。

-----廣告,請繼續往下閱讀-----

作者歐尼爾大爆料你不知道的秘密

《大數據的傲慢與偏見》作者凱西.歐尼爾 (Cathy O’Neil) 就是位「圈內數學家」,這本書算是爆料吧,雖然沒啥腥羶色,可是讀起來還是令人膽戰心驚。她是哈佛大學數學博士,曾任教於巴納德學院,隨後投身金融業,任職於對沖基金公司德劭 (D.E. Shaw)。離開金融業後曾於多家新創企業擔任數據科學家,負責建立預測人們購買和點擊行為的模型。

熱愛數學的歐尼爾卻稱那些被濫用的演算法為「數學毀滅性武器」。她過去在金融業中待過,很清楚華爾街的投資銀行如何籍由演算法就不勞而獲。姑且不論這公不公平,演算法的濫用好幾次釀成大禍,這已不是啥新鮮事了。裡頭的黑箱甚至連評級的公司都搞不清楚真正的風險,讓一堆 AAA 級的衍生性金融商品成了一個個不訂定炸彈。

《大數據的傲慢與偏見》裡,她著眼之處遍及我們想得到或想不到的地方,列舉出許多被大數據綁架而落入囚徒困境的例子,她指出這些都增加了不公平甚至還破壞了民主。身處在高教工作中,就非常能感受全世界大學莫名其妙受到營利機構不透明、自以為是的排名給綁架,迫使政府和大學高層被趕鴨子上架地隨波逐流,甚至踐踏學術尊嚴和專業來逢迎討好用黑箱作業搞排名的公司。

《大數據的傲慢與偏見》中提到一位教學認真優異深受學生、同事和家長喜愛的教師,在完全不知道數學模型哪裡錯得離譜的情況下,被解了僱,申訴無門;保險公司為了獲得更高的盈利使用了大數據,成為了一種勢劫貧濟富,讓窮人付出更昂貴的價格;因為性格測驗不公開的評分而無法找到工作;信用卡用在某些商店就被降低額度;專門欺騙窮人的不實廣告等等等。

-----廣告,請繼續往下閱讀-----

這其中的錯誤可能永遠都無法被找到,使用大數據的人就可能像信仰宗教典籍一樣盲從。我們來做個想像,假設有個人被大數據誤判成犯罪機會高的人,這個大數據分析的標籤會跟著他一輩子,那麼他不時會被警察騷擾,或者也找不到正常的工作,所以他走頭無路乾脆作奸犯科,大數據好棒棒地準確預測了,所以大數據就永遠是對的?

使用大數據的人就可能像信仰宗教典籍一樣盲從,但大數據永遠是對的嗎?
圖/pixabay

使用大數據要慎而思之

我們很多人相信數學是「中性的」,一加一等於二不是件好事也不是件壞事。可是數學模型畢竟是人建出來的,是人決定要放什麼參數進去,要放在分子還是分母,以及如何估計出參數。只要是人,就有犯錯及無知的可能。何甭提就算不是犯錯,大數據也非完全不能操作的,尤其是在競爭激烈的選戰中。

對於操縱我們人生各階段的各種黑箱數學模型,歐尼爾認為那些建立模型的人應該為他們所創造出來的演算法負起更多責任,而政策制定者更應該負起監督管理的責任。然而要如何監管以免大數據破壞我們珍視的價值,這又是另一個大哉問了。

雖然身為數學家,但《大數據的傲慢與偏見》裡一條公式也沒有,只有一個又一個令人嘖嘖稱奇的真實案例,叫人觸目驚心,卻又不斷有精闢的分析,讓人忍不住要一口氣讀完,這是一本可讀性極高而且也很重要的一本書,值得所有公民一讀!

-----廣告,請繼續往下閱讀-----

本文原刊登於 The Sky of Gene

-----廣告,請繼續往下閱讀-----
文章難易度
Gene Ng_96
295 篇文章 ・ 32 位粉絲
來自馬來西亞,畢業於台灣國立清華大學生命科學系學士暨碩士班,以及美國加州大學戴維斯分校(University of California at Davis)遺傳學博士班,從事果蠅演化遺傳學研究。曾於台灣中央研究院生物多樣性研究中心擔任博士後研究員,現任教於國立清華大學分子與細胞生物學研究所,從事鳥類的演化遺傳學、基因體學及演化發育生物學研究。過去曾長期擔任中文科學新聞網站「科景」(Sciscape.org)總編輯,現任台大科教中心CASE特約寫手Readmoo部落格【GENE思書軒】關鍵評論網專欄作家;個人部落格:The Sky of Gene;臉書粉絲頁:GENE思書齋

0

1
0

文字

分享

0
1
0
ECU: 汽車大腦的演化與挑戰
鳥苷三磷酸 (PanSci Promo)_96
・2025/07/02 ・3793字 ・閱讀時間約 7 分鐘

本文與 威力暘電子 合作,泛科學企劃執行。

想像一下,當你每天啟動汽車時,啟動的不再只是一台車,而是一百台電腦同步運作。但如果這些「電腦」突然集體當機,後果會有多嚴重?方向盤可能瞬間失靈,安全氣囊無法啟動,整台車就像失控的高科技廢鐵。這樣的「系統崩潰」風險並非誇張劇情,而是真實存在於你我日常的駕駛過程中。

今天,我們將深入探討汽車電子系統「逆天改運」的科學奧秘。究竟,汽車的「大腦」—電子控制單元(ECU),是如何從單一功能,暴增至上百個獨立系統?而全球頂尖的工程師們,又為何正傾盡全力,試圖將這些複雜的系統「砍掉重練」、整合優化?

第一顆「汽車大腦」的誕生

時間回到 1980 年代,當時的汽車工程師們面臨一項重要任務:如何把汽油引擎的每一滴燃油都壓榨出最大動力?「省油即省錢」是放諸四海皆準的道理。他們發現,關鍵其實潛藏在一個微小到幾乎難以察覺的瞬間:火星塞的點火時機,也就是「點火正時」。

如果能把點火的精準度控制在「兩毫秒」以內,這大約是你眨眼時間的百分之一到千分之一!引擎效率就能提升整整一成!這不僅意味著車子開起來更順暢,還能直接省下一成的油耗。那麼,要如何跨過這道門檻?答案就是:「電腦」的加入!

-----廣告,請繼續往下閱讀-----

工程師們引入了「微控制器」(Microcontroller),你可以把它想像成一顆專注於特定任務的迷你電腦晶片。它能即時讀取引擎轉速、進氣壓力、油門深度、甚至異常爆震等各種感測器的訊號。透過內建的演算法,在千分之一秒、甚至微秒等級的時間內,精準計算出最佳的點火角度,並立刻執行。

從此,引擎的性能表現大躍進,油耗也更漂亮。這正是汽車電子控制單元(ECU)的始祖—專門負責點火的「引擎控制單元」(Engine Control Unit)。

汽車電子控制單元的始祖—專門負責點火的「引擎控制單元」(Engine Control Unit)/ 圖片來源:shutterstock

ECU 的失控暴增與甜蜜的負荷

第一顆 ECU 的成功,在 1980 年代後期點燃了工程師們的想像:「這 ECU 這麼好用,其他地方是不是也能用?」於是,ECU 的應用範圍不再僅限於點火,燃油噴射量、怠速穩定性、變速箱換檔平順度、ABS 防鎖死煞車,甚至安全氣囊的引爆時機……各種功能都交給專屬的 ECU 負責 。

然而,問題來了:這麼多「小電腦」,它們之間該如何有效溝通?

-----廣告,請繼續往下閱讀-----

為了解決這個問題,1986 年,德國的博世(Bosch)公司推出了一項劃時代的發明:控制器區域網路(CAN Bus)。你可以將它想像成一條專為 ECU 打造的「神經網路」。各個 ECU 只需連接到這條共用的線路上,就能將訊息「廣播」給其他單元。

更重要的是,CAN Bus 還具備「優先通行」機制。例如,煞車指令或安全氣囊引爆訊號這類攸關人命的重要訊息,絕對能搶先通過,避免因資訊堵塞而延誤。儘管 CAN Bus 解決了 ECU 之間的溝通問題,但每顆 ECU 依然需要獨立的電源線、接地線,並連接各種感測器和致動器。結果就是,一輛汽車的電線總長度可能達到 2 到 4 公里,總重量更高達 50 到 60 公斤,等同於憑空多載了一位乘客的重量。

另一方面,大量的 ECU 與錯綜複雜的線路,也讓「電子故障」開始頻繁登上汽車召回原因的榜首。更別提這些密密麻麻的線束,簡直是設計師和維修技師的惡夢。要檢修這些電子故障,無疑讓人一個頭兩個大。

大量的 ECU 與錯綜複雜的線路,也讓「電子故障」開始頻繁登上汽車召回原因的榜首。/圖片來源:shutterstock

汽車電子革命:從「百腦亂舞」到集中治理

到了2010年代,汽車電子架構迎來一場大改革,「分區架構(Zonal Architecture)」搭配「中央高效能運算(HPC)」逐漸成為主流。簡單來說,這就像在車內建立「地方政府+中央政府」的管理系統。

-----廣告,請繼續往下閱讀-----

可以想像,整輛車被劃分為幾個大型區域,像是車頭、車尾、車身兩側與駕駛艙,就像數個「大都會」。每個區域控制單元(ZCU)就像「市政府」,負責收集該區所有的感測器訊號、初步處理與整合,並直接驅動該區的馬達、燈光等致動器。區域先自理,就不必大小事都等中央拍板。

而「中央政府」則由車用高效能運算平台(HPC)擔任,統籌負責更複雜的運算任務,例如先進駕駛輔助系統(ADAS)所需的環境感知、物體辨識,或是車載娛樂系統、導航功能,甚至是未來自動駕駛的決策,通通交由車輛正中央的這顆「超級大腦」執行。

乘著這波汽車電子架構的轉型浪潮中, 2008 年成立的台灣本土企業威力暘電子,便精準地切入了這個趨勢,致力於開發整合 ECU 與區域控制器(Domain Controller)功能的模組化平台。他們專精於開發電子排檔、多功能方向盤等各式汽車電子控制模組。為了確保各部件之間的溝通順暢,威力暘提供的解決方案,就像是將好幾個「分區管理員」的職責,甚至一部分「超級大腦」的功能,都整合到一個更強大的硬體平台上。

這些模組不僅擁有強大的晶片運算能力,可同時支援 ADAS 與車載娛樂,還能兼容多種通訊協定,大幅簡化車內網路架構。如此一來,車廠在追求輕量化和高效率的同時,也能顧及穩定性與安全性。

-----廣告,請繼續往下閱讀-----
2008 年威力暘電子致力於開發整合 ECU 與區域控制器(Domain Controller)功能的模組化平台 /圖片來源:shutterstock

萬無一失的「汽車大腦」:威力暘的四大策略

然而,「做出來」與「做好」之間,還是有差別。要如何確保這顆集結所有功能的「汽車大腦」不出錯?具體來說,威力暘電子憑藉以下四大策略,築起其產品的可靠性與安全性:

  1. AUTOSAR : 導入開放且標準化的汽車軟體架構 AUTOSAR。分為應用層、運行環境層(RTE)和基礎軟體層(BSW)。就像在玩「樂高積木」,ECU 開發者能靈活組合模組,專注在核心功能開發,從根本上提升軟體的穩定性和可靠性。
  2. V-Model 開發流程:這是一種強調嚴謹、能在早期發現錯誤的軟體開發流程。就像打勾 V 字形般,左側從上而下逐步執行,右側則由下而上層層檢驗,確保每個階段的安全要求都確實落實。
  3. 基於模型的設計 MBD(Model-Based Design) 威力暘的工程師們會利用 MatLab®/Simulink® 等工具,把整個 ECU 要控制的系統(如煞車),用數學模型搭建起來,然後在虛擬環境中進行大量的模擬和測試。這等於在實體 ECU 誕生前,就能在「數位雙生」世界中反覆演練、預先排除設計缺陷,,並驗證安全機制是否有效。
  4. Automotive SPICE (ASPICE) : ASPICE 是國際公認的汽車軟體「品質管理系統」,它不直接評估最終 ECU 產品本身的安全性,而是深入檢視團隊在軟體開發的「整個過程」,也就是「方法論」和「管理紀律」是否夠成熟、夠系統化,並只根據數據來評估品質。

既然 ECU 掌管了整輛車的運作,其能否正常運作,自然被視為最優先項目。為此,威力暘嚴格遵循汽車業中一本堪稱「安全聖經」的國際標準:ISO 26262。這套國際標準可視為一本針對汽車電子電氣系統(特別是 ECU)的「超嚴格品管手冊」和「開發流程指南」,從概念、設計、測試到生產和報廢,都詳細規範了每個安全要求和驗證方法,唯一目標就是把任何潛在風險降到最低

有了上述這四項策略,威力暘確保其產品從設計、生產到交付都符合嚴苛的安全標準,才能通過 ISO 26262 的嚴格檢驗。

然而,ECU 的演進並未就此停下腳步。當ECU 的數量開始精簡,「大腦」變得更集中、更強大後,汽車產業又迎來了新一波革命:「軟體定義汽車」(Software-Defined Vehicle, SDV)。

-----廣告,請繼續往下閱讀-----

軟體定義汽車 SDV:你的愛車也能「升級」!

未來的汽車,會越來越像你手中的智慧型手機。過去,車輛功能在出廠時幾乎就「定終身」,想升級?多半只能換車。但在軟體定義汽車(SDV)時代,汽車將搖身一變成為具備強大運算能力與高速網路連線的「行動伺服器」,能夠「二次覺醒」、不斷升級。透過 OTA(Over-the-Air)技術,車廠能像推送 App 更新一樣,遠端傳送新功能、性能優化或安全修補包到你的車上。

不過,這種美好願景也將帶來全新的挑戰:資安風險。當汽車連上網路,就等於向駭客敞開潛在的攻擊入口。如果車上的 ECU 或雲端伺服器被駭,輕則個資外洩,重則車輛被遠端鎖定或惡意操控。為了打造安全的 SDV,業界必須遵循像 ISO 21434 這樣的車用資安標準。

威力暘電子運用前面提到的四大核心策略,確保自家產品能符合從 ISO 26262 到 ISO 21434 的國際認證。從品質管理、軟體開發流程,到安全認證,這些努力,讓威力暘的模組擁有最高的網路與功能安全。他們的產品不僅展現「台灣智造」的彈性與創新,也擁有與國際大廠比肩的「車規級可靠度」。憑藉這些實力,威力暘已成功打進日本 YAMAHA、Toyota,以及歐美 ZF、Autoliv 等全球一線供應鏈,更成為 DENSO 在台灣少數核准的控制模組夥伴,以商用車熱系統專案成功打入日系核心供應鏈,並自 2025 年起與 DENSO 共同展開平台化量產,驗證其流程與品質。

毫無疑問,未來車輛將有更多運作交由電腦與 AI 判斷,交由電腦判斷,比交由人類駕駛還要安全的那一天,離我們不遠了。而人類的角色,將從操作者轉為監督者,負責在故障或斷網時擔任最後的保險。透過科技讓車子更聰明、更安全,人類甘願當一個「最弱兵器」,其實也不錯!

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

0

2
0

文字

分享

0
2
0
拆解邊緣AI熱潮:伺服器如何提供穩固的運算基石?
鳥苷三磷酸 (PanSci Promo)_96
・2025/05/21 ・5071字 ・閱讀時間約 10 分鐘

本文與 研華科技 合作,泛科學企劃執行。

每次 NVIDIA 執行長黃仁勳公開發言,總能牽動整個 AI 產業的神經。然而,我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線,那如果哪天「網路斷了」,會發生什麼事?

想像你正在自駕車打個盹,系統突然警示:「網路連線中斷」,車輛開始偏離路線,而前方竟是萬丈深谷。又或者家庭機器人被駭,開始暴走跳舞,甚至舉起刀具向你走來。

這會是黃仁勳期待的未來嗎?當然不是!也因為如此,「邊緣 AI」成為業界關注重點。不靠雲端,AI 就能在現場即時反應,不只更安全、低延遲,還能讓數據當場變現,不再淪為沉沒成本。

什麼是邊緣 AI ?

邊緣 AI,乍聽之下,好像是「孤單站在角落的人工智慧」,但事實上,它正是我們身邊最可靠、最即時的親密數位夥伴呀。

當前,像是企業、醫院、學校內部的伺服器,個人電腦,甚至手機等裝置,都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。簡單來說,就是將原本集中在遠端資料中心的運算能力,「搬家」到更靠近數據源頭的地方。

-----廣告,請繼續往下閱讀-----

那麼,為什麼需要這樣做?資料放在雲端,集中管理不是更方便嗎?對,就是不好。

當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。/ 圖片來源:MotionArray

第一個不好是物理限制:「延遲」。
即使光速已經非常快,數據從你家旁邊的路口傳到幾千公里外的雲端機房,再把分析結果傳回來,中間還要經過各種網路節點轉來轉去…這樣一來一回,就算只是幾十毫秒的延遲,對於需要「即刻反應」的 AI 應用,比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時,每一毫秒都攸關安全與精度,這點延遲都是無法接受的!這是物理距離與網路架構先天上的限制,無法繞過去。

第二個挑戰,是資訊科學跟工程上的考量:「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送,湧入的資料數據量就像超級大的水流,一下子就把水管塞爆!要避免流量爆炸,你就要一直擴充水管,也就是擴增頻寬,然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理,把重要資訊「濃縮」過後再傳回雲端,是不是就能減輕頻寬負擔,也能節省大量費用呢?

第三個挑戰:系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時,一旦網路不穩、甚至斷線,那怎麼辦?很多關鍵應用,像是公共安全監控或是重要設備的預警系統,可不能這樣「看天吃飯」啊!邊緣處理讓系統更獨立,就算暫時斷線,本地的 AI 還是能繼續運作與即時反應,這在工程上是非常重要的考量。

所以你看,邊緣運算不是科學家們沒事找事做,它是順應數據特性和實際應用需求,一個非常合理的科學與工程上的最佳化選擇,是我們想要抓住即時數據價值,非走不可的一條路!

邊緣 AI 的實戰魅力:從工廠到倉儲,再到你的工作桌

知道要把 AI 算力搬到邊緣了,接下來的問題就是─邊緣 AI 究竟強在哪裡呢?它強就強在能夠做到「深度感知(Deep Perception)」!

-----廣告,請繼續往下閱讀-----

所謂深度感知,並非僅僅是對數據進行簡單的加加減減,而是透過如深度神經網路這類複雜的 AI 模型,從原始數據裡面,去「理解」出更高層次、更具意義的資訊。

研華科技為例,旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例,利用物件偵測模型,快速將工業產品中的瑕疵挑出來,而且由於 AI 模型可以使用同一套參數去檢測,因此品管上能達到一致性,減少人為疏漏。尤其在高產能工廠中,檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品,替工廠節省大量人力,同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。

這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。/ 圖片提供:研華科技

此外,在智慧倉儲場域,研華與威剛合作,研華與威剛聯手合作,在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台,打造倉儲系統的 AMR(Autonomous Mobile Robot) 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣,AMR 不需要事先規劃好路線,靠著感測器偵測,就能輕鬆避開障礙物,識別路線,並且將貨物載到指定地點存放。

當然,還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning ),除了可以做備忘錄跟排程規劃以外,還能將實務上碰到的問題記錄下來,等到之後碰到類似的問題時,就能詢問 AI 並得到解答。

你或許會問,那為什麼不直接使用 ChatGPT 就好了?其實,對許多企業來說,內部資料往往具有高度機密性與商業價值,有些場域甚至連手機都禁止員工帶入,自然無法將資料上傳雲端。對於重視資安,又希望運用 AI 提升效率的企業與工廠而言,自行部署大型語言模型(self-hosted LLM)才是理想選擇。而這樣的應用,並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。

但問題也接著浮現:要在這麼小的設備上跑大型 AI 模型,會不會太吃資源?這正是目前 AI 領域最前沿、最火熱的研究方向之一:如何幫 AI 模型進行「科學瘦身」,又不減智慧。接下來,我們就來看看科學家是怎麼幫 AI 減重的。

-----廣告,請繼續往下閱讀-----

語言模型瘦身術之一:量化(Quantization)—用更精簡的數位方式來表示知識

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像:有些畫面細節我們肉眼根本看不出來,刪掉也不影響整體感覺,卻能大幅減少檔案大小。

模型量化的原理也是如此,只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示,什麼是浮點數?其實就是你我都熟知的小數。舉例來說,圓周率是個無窮不循環小數,唸下去就會是3.141592653…但實際運算時,我們常常用 3.14 或甚至直接用 3,也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思! 

然而,量化並不是那麼容易的事情。而且實際上,降低精度多少還是會影響到模型表現的。因此在設計時,工程師會精密調整,確保效能在可接受範圍內,達成「瘦身不減智」的目標。

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。/ 圖片來源:MotionArray

模型剪枝(Model Pruning)—基於重要性的結構精簡

建立一個 AI 模型,其實就是在搭建一整套類神經網路系統,並訓練類神經元中彼此關聯的參數。然而,在這麼多參數中,總會有一些參數明明佔了一個位置,卻對整體模型沒有貢獻。既然如此,不如果斷將這些「冗餘」移除。

這就像種植作物的時候,總會雜草叢生,但這些雜草並不是我們想要的作物,這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在,而動手去清理這些不需要的連結參數或神經元的技術,就稱為 AI 模型的模型剪枝(Model Pruning)。

-----廣告,請繼續往下閱讀-----

模型剪枝的效果,大概能把100變成70這樣的程度,說多也不是太多。雖然這樣的縮減對於提升效率已具幫助,但若我們要的是一個更小幾個數量級的模型,僅靠剪枝仍不足以應對。最後還是需要從源頭著手,採取更治本的方法:一開始就打造一個很小的模型,並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」,是目前 AI 模型壓縮領域中最具潛力的方法之一。

知識蒸餾(Knowledge Distillation)—讓小模型學習大師的「精髓」

想像一下,一位經驗豐富、見多識廣的老師傅,就是那個龐大而強悍的 AI 模型。現在,他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案,老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」,例如「為什麼我會這樣想?」、「其他選項的可能性有多少?」。這樣一來,小小的學徒模型,用它有限的「腦容量」,也能學到老師傅的「智慧精髓」,表現就能大幅提升!這是一種很高級的訓練技巧,跟遷移學習有關。

舉個例子,當大型語言模型在收到「晚餐:鳳梨」這組輸入時,它下一個會接的詞語跟機率分別為「炒飯:50%,蝦球:30%,披薩:15%,汁:5%」。在知識蒸餾的過程中,它可以把這套機率表一起教給小語言模型,讓小語言模型不必透過自己訓練,也能輕鬆得到這個推理過程。如今,許多高效的小型語言模型正是透過這項技術訓練而成,讓我們得以在資源有限的邊緣設備上,也能部署愈來愈強大的小模型 AI。

但是!即使模型經過了這些科學方法的優化,變得比較「苗條」了,要真正在邊緣環境中處理如潮水般湧現的資料,並且高速、即時、穩定地運作,仍然需要一個夠強的「引擎」來驅動它們。也就是說,要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型,真正放到邊緣的現場去發揮作用,就需要一個強大的「硬體平台」來承載。

-----廣告,請繼續往下閱讀-----

邊緣 AI 的強心臟:SKY-602E3 的三大關鍵

像研華的 SKY-602E3 塔式 GPU 伺服器,就是扮演「邊緣 AI 引擎」的關鍵角色!那麼,它到底厲害在哪?

一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要?因為 GPU 的設計,天生就擅長做「平行計算」,這正好就是 AI 模型裡面那種海量數學運算最需要的!

你想想看,那麼多數據要同時處理,就像要請一大堆人同時算數學一樣,GPU 就是那個最有效率的工具人!而且,有多張 GPU,代表可以同時跑更多不同的 AI 任務,或者處理更大流量的數據。這是確保那些科學研究成果,在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎!

二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房,有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計,體積相對緊湊,散熱空間也比較好(這對高功耗的 GPU 很重要!),部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算,進行「工程化」,讓它能適應台灣多樣化的邊緣應用場景。

三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格,背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場,系統穩定壓倒一切!你總不希望 AI 分析跑到一半就掛掉吧?這些設計確保了部署在現場的 AI 系統,能夠長時間、穩定地運作,把實驗室裡的科學成果,可靠地轉化成實際的應用價值。

-----廣告,請繼續往下閱讀-----
研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。/ 圖片提供:研華科技

台灣製造 × 在地智慧:打造專屬的邊緣 AI 解決方案

研華科技攜手八維智能,能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署,及AI軟硬體整合。

無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析,還是其他 AI 相關的服務,都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務,讓企業在啟動 AI 專案前,大幅降低前期投入門檻,靈活又實用。

台灣有著獨特的產業結構,從精密製造、城市交通管理,到因應高齡化社會的智慧醫療與公共安全,都是邊緣 AI 的理想應用場域。更重要的是,這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示,這些都需要分秒必爭的即時回應。

如果我們還需要將數據送上雲端分析、再等待回傳結果,往往已經錯失最佳反應時機。這也是為什麼邊緣 AI,不只是一項技術創新,更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場,就能被有效的「理解」與「利用」,是將數據垃圾變成數據黃金的賢者之石!

👉 更多研華Edge AI解決方案
👉 立即申請Server租借

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----

討論功能關閉中。

0

1
0

文字

分享

0
1
0
數智驅動未來:從信任到執行,AI 為企業創新賦能
鳥苷三磷酸 (PanSci Promo)_96
・2025/01/13 ・4938字 ・閱讀時間約 10 分鐘

本文由 鼎新數智 與 泛科學 共同規劃與製作

你有沒有想過,當 AI 根據病歷與 X 光片就能幫你診斷病症,或者決定是否批准貸款,甚至從無人機發射飛彈時,它的每一步「決策」是怎麼來的?如果我們不能知道 AI 的每一個想法步驟,對於那些 AI 輔助的診斷和判斷,要我們如何放心呢?

馬斯克與 OpenAI 的奧特曼鬧翻後,創立了新 AI 公司 xAI,並推出名為 Grok 的產品。他宣稱目標是以開源和可解釋性 AI 挑戰其他模型,而 xAI 另一個意思是 Explainable AI 也就是「可解釋性 AI」。

如今,AI 已滲透生活各處,而我們對待它的方式卻像求神問卜,缺乏科學精神。如何讓 AI 具備可解釋性,成為當前關鍵問題?

-----廣告,請繼續往下閱讀-----
AI 已滲透生活各處,而我們對待它的方式卻像求神問卜,缺乏科學精神。如何讓 AI 具備可解釋性,成為當前關鍵問題?圖/pexels

黑盒子模型背後的隱藏秘密

無法解釋的 AI 究竟會帶來多少問題?試想,現在許多銀行和貸款機構已經使用 AI 評估借貸申請者的信用風險,但這些模型往往如同黑箱操作。有人貸款被拒,卻完全不知原因,感覺就像被分手卻不告訴理由。更嚴重的是,AI 可能擅自根據你的住所位置或社會經濟背景給出負面評價,這些與信用風險真的相關嗎?這種不透明性只會讓弱勢群體更難融入金融體系,加劇貧富差距。這種不透明性,會讓原本就已經很難融入金融體系的弱勢群體,更加難以取得貸款,讓貧富差距越來越大,雪上加霜。

AI 不僅影響貸款,還可能影響司法公正性。美國部分法院自 2016 年起使用「替代性制裁犯罪矯正管理剖析軟體」 COMPAS 這款 AI 工具來協助量刑,試圖預測嫌犯再犯風險。然而,這些工具被發現對有色人種特別不友好,往往給出偏高的再犯風險評估,導致更重的刑罰和更嚴苛的保釋條件。更令人擔憂的是,這些決策缺乏透明度,AI 做出的決策根本沒法解釋,這讓嫌犯和律師無法查明問題根源,結果司法公正性就這麼被悄悄削弱了。

此外,AI 在醫療、社交媒體、自駕車等領域的應用,也充滿類似挑戰。例如,AI 協助診斷疾病,但若原因報告無法被解釋,醫生和患者又怎能放心?同樣地,社群媒體或是 YouTube 已經大量使用 AI 自動審查,以及智慧家居或工廠中的黑盒子問題,都像是一場越來越複雜的魔術秀——我們只看到結果,卻無法理解過程。這樣的情況下,對 AI 的信任感就成為了一個巨大的挑戰。

為什麼人類設計的 AI 工具,自己卻無法理解?

原因有二。首先,深度學習模型結構複雜,擁有數百萬參數,人類要追蹤每個輸入特徵如何影響最終決策結果,難度極高。例如,ChatGPT 中的 Transformer 模型,利用注意力機制(Attention Mechanism)根據不同詞之間的重要性進行特徵加權計算,因為機制本身涉及大量的矩陣運算和加權計算,這些數學操作使得整個模型更加抽象、不好理解。

-----廣告,請繼續往下閱讀-----

其次,深度學習模型會會從資料中學習某些「特徵」,你可以當作 AI 是用畫重點的方式在學習,人類劃重點目的是幫助我們加速理解。AI 的特徵雖然也能幫助 AI 學習,但這些特徵往往對人類來說過於抽象。例如在影像辨識中,人類習慣用眼睛、嘴巴的相對位置,或是手指數量等特徵來解讀一張圖。深度學習模型卻可能會學習到一些抽象的形狀或紋理特徵,而這些特徵難以用人類語言描述。

深度學習模型通常採用分佈式表示(Distributed Representation)來編碼特徵,意思是將一個特徵表示為一個高維向量,每個維度代表特徵的不同方面。假設你有一個特徵是「顏色」,在傳統的方式下,你可能用一個簡單的詞來表示這個特徵,例如「紅色」或「藍色」。但是在深度學習中,這個「顏色」特徵可能被表示為一個包含許多數字的高維向量,向量中的每個數字表示顏色的不同屬性,比如亮度、色調等多個數值。對 AI 而言,這是理解世界的方式,但對人類來說,卻如同墨跡測驗般難以解讀。

假設你有一個特徵是「顏色」,在傳統的方式下,你可能用一個簡單的詞來表示這個特徵,例如「紅色」或「藍色」。但是在深度學習中,這個「顏色」特徵可能被表示為一個包含許多數字的高維向量,向量中的每個數字表示顏色的不同屬性,比如亮度、色調等多個數值。圖/unsplash

試想,AI 協助診斷疾病時,若理由是基於醫生都無法理解的邏輯,患者即使獲得正確診斷,也會感到不安。畢竟,人們更相信能被理解的東西。

打開黑盒子:可解釋 AI 如何運作?我們要如何教育 AI?

首先,可以利用熱圖(heatmap)或注意力圖這類可視化技術,讓 AI 的「思維」有跡可循。這就像行銷中分析消費者的視線停留在哪裡,來推測他們的興趣一樣。在卷積神經網絡和 Diffusion Models 中 ,當 AI 判斷這張照片裡是「貓」還是「狗」時,我需要它向我們展示在哪些地方「盯得最緊」,像是耳朵的形狀還是毛色的分布。

-----廣告,請繼續往下閱讀-----

其次是局部解釋,LIME 和 SHAP 是兩個用來發展可解釋 AI 的局部解釋技術。

SHAP 的概念來自博弈,它將每個特徵看作「玩家」,而模型的預測結果則像「收益」。SHAP 會計算每個玩家對「收益」的貢獻,讓我們可以了解各個特徵如何影響最終結果。並且,SHAP 不僅能透過「局部解釋」了解單一個結果是怎麼來的,還能透過「全局解釋」理解模型整體的運作中,哪些特徵最重要。

以實際的情景來說,SHAP 可以讓 AI 診斷出你有某種疾病風險時,指出年齡、體重等各個特徵的影響。

LIME 的運作方式則有些不同,會針對單一個案建立一個簡單的模型,來近似原始複雜模型的行為,目的是為了快速了解「局部」範圍內的操作。比如當 AI 拒絕你的貸款申請時,LIME 可以解釋是「收入不穩定」還是「信用紀錄有問題」導致拒絕。這種解釋在 Transformer 和 NLP 應用中廣泛使用,一大優勢是靈活且計算速度快,適合臨時分析不同情境下的 AI 判斷。比方說在醫療場景,LIME 可以幫助醫生理解 AI 為何推薦某種治療方案,並說明幾個主要原因,這樣醫生不僅能更快做出決策,也能增加患者的信任感。

-----廣告,請繼續往下閱讀-----

第三是反事實解釋:如果改變一點點,會怎麼樣?

如果 AI 告訴你:「這家銀行不會貸款給你」,這時你可能會想知道:是收入不夠,還是年齡因素?這時你就可以問 AI:「如果我年輕五歲,或者多一份工作,結果會怎樣?」反事實解釋會模擬這些變化對結果的影響,讓我們可以了解模型究竟是如何「權衡利弊」。

最後則是模型內部特徵的重要性排序。這種方法能顯示哪些輸入特徵對最終結果影響最大,就像揭示一道菜中,哪些調味料是味道的關鍵。例如在金融風險預測中,模型可能指出「收入」影響了 40%,「消費習慣」占了 30%,「年齡」占了 20%。不過如果要應用在像是 Transformer 模型等複雜結構時,還需要搭配前面提到的 SHAP 或 LIME 以及可視化技術,才能達到更完整的解釋效果。

講到這裡,你可能會問:我們距離能完全信任 AI 還有多遠?又或者,我們真的應該完全相信它嗎?

-----廣告,請繼續往下閱讀-----

我們終究是想解決人與 AI 的信任問題

當未來你和 AI 同事深度共事,你自然希望它的決策與行動能讓你認可,幫你省心省力。因此,AI 既要「可解釋」,也要「能代理」。

當未來你和 AI 同事深度共事,你自然希望它的決策與行動能讓你認可,幫你省心省力。圖/unsplash

舉例來說,當一家公司要做一個看似「簡單」的決策時,背後的過程其實可能極為複雜。例如,快時尚品牌決定是否推出新一季服裝,不僅需要考慮過去的銷售數據,還得追蹤熱門設計趨勢、天氣預測,甚至觀察社群媒體上的流行話題。像是暖冬來臨,厚外套可能賣不動;或消費者是否因某位明星愛上一種顏色,這些細節都可能影響決策。

這些數據來自不同部門和來源,龐大的資料量與錯綜關聯使企業判斷變得困難。於是,企業常希望有個像經營大師的 AI 代理人,能吸收數據、快速分析,並在做決定時不僅給出答案,還能告訴你「為什麼要這麼做」。

傳統 AI 像個黑盒子,而可解釋 AI (XAI)則清楚解釋其判斷依據。例如,為什麼不建議推出厚外套?可能理由是:「根據天氣預測,今年暖冬概率 80%,過去三年數據顯示暖冬時厚外套銷量下降 20%。」這種透明解釋讓企業更信任 AI 的決策。

-----廣告,請繼續往下閱讀-----

但會解釋還不夠,AI 還需能真正執行。這時,就需要另一位「 AI 代理人」上場。想像這位 AI 代理人是一位「智慧產品經理」,大腦裝滿公司規則、條件與行動邏輯。當客戶要求變更產品設計時,這位產品經理不會手忙腳亂,而是按以下步驟行動:

  1. 檢查倉庫物料:庫存夠不夠?有沒有替代料可用?
  2. 評估交期影響:如果需要新物料,供應商多快能送到?
  3. 計算成本變化:用新料會不會超出成本預算?
  4. 做出最優判斷,並自動生成變更單、工單和採購單,通知各部門配合執行。

這位 AI 代理人不僅能自動處理每個環節,還會記錄每次決策結果,學習如何變得更高效。隨時間推移,這位「智慧產品經理」的判斷將更聰明、決策速度更快,幾乎不需人工干預。更重要的是,這些判斷是基於「以終為始」的原則,為企業成長目標(如 Q4 業績增長 10%)進行連續且動態地自我回饋,而非傳統系統僅月度檢核。

這兩位 AI 代理人的合作,讓企業決策流程不僅透明,還能自動執行。這正是數智驅動的核心,不僅依靠數據驅動決策,還要能解釋每一個選擇,並自動行動。這個過程可簡化為 SUPA,即「感知(Sensing)→ 理解(Understanding)→ 規劃(Planning)→ 行動(Acting)」的閉環流程,隨著數據的變化不斷進化。

偉勝乾燥工業為例,他們面臨高度客製化與訂單頻繁變更的挑戰。導入鼎新 METIS 平台後,偉勝成功將數智驅動融入業務與產品開發,專案準時率因此提升至 80%。他們更將烤箱技術與搬運機器人結合,開發出新形態智慧化設備,成功打入半導體產業,帶動業績大幅成長,創造下一個企業的增長曲線。

-----廣告,請繼續往下閱讀-----

值得一提的是,數智驅動不僅帶動業務增長,還讓員工擺脫繁瑣工作,讓工作更輕鬆高效。

數智驅動的成功不僅依賴技術,還要與企業的商業策略緊密結合。為了讓數智驅動真正發揮作用,企業首先要確保它服務於具體的業務需求,而不是為了技術而技術。

這種轉型需要有策略、文化和具體應用場景的支撐,才能讓數智驅動真正成為企業持續增長的動力。

還在猶豫數智驅動的威力?免費上手企業 AI 助理!👉 企業 AI 體驗
現在使用專屬邀請碼《 KP05 》註冊就享知:https://lihi.cc/EDUk4
訂閱泛科學獨家知識頻道,深入科技趨勢與議題內容。

👉立即免費加入

-----廣告,請繼續往下閱讀-----