Loading [MathJax]/extensions/tex2jax.js

0

0
0

文字

分享

0
0
0

想要擁有一台 AI PC,有必要嗎?NPU 是什麼?超詳盡 AI PC 選購指南來啦!

泛科學院_96
・2024/05/18 ・1080字 ・閱讀時間約 2 分鐘

-----廣告,請繼續往下閱讀-----

2023 年 3 月 intel 跟微軟共同發布了 AI PC 定義。

定義需要用 intel 的 Core Ultra 處理器,要有微軟系統內建 的Copilot AI,鍵盤上還需要有一個實體 copilot 按鍵,才算是一台 AI PC。

這個 AJ 看到後,發現案情並不單純,定義 AI PC 這件事情,遠比你想得還要重要!

所以今天呢,我們就來回答三個問題:

-----廣告,請繼續往下閱讀-----
  1. AI PC 是什麼?
  2. AI PC 強在哪?
  3. 有哪些公司跟 AI PC 有關?

最後再跟大家分享是否要買 AI PC 的建議。

好啦,本集我們整理了整個 AI PC 的脈絡,我把懶人包放在這裡,有需要的可以暫停看一下。

最後來給買 AI PC 的建議吧,如果你主要用桌上型電腦,4090 獨立顯卡直接給他買下去,因為桌上型的處理器至少到目前為止,都還沒看到內建 NPU 的規劃,所以所有的平行運算都還是靠顯示卡 GPU 來處理。

筆記型電腦方面,各家網購平台都已經推出 AI 筆電專區,最低三萬元左右就可以買到最新的 AI PC。

-----廣告,請繼續往下閱讀-----

或許你還沒體驗到 AI 工具帶來的工作流程改變,不過潮流已經出現,據說到 2025 年,將出貨超過一億台AI PC,各家軟硬體廠商在這個全新的賽道上,只會不斷推出各種基於 AI PC 架構的應用與服務,畢竟,你如果不做,你的競爭對手可是不會等你。

有點離題了,在可遇見的未來,我們勢必會發現自己的電腦擁有更多基於 AI 技術的功能,

也許,你可以再等一會,等桌上型電腦也內建 NPU 之後,再來買真正的 AI 「PC」,不過要問我的話,如果是購買筆電的需求,選擇適合 Intel Evo 認證的筆電是值得推薦的選擇。

最後,你覺得 AI PC 會如微軟和 intel 預想的發展下去嗎?

  1. 會,終究要讓自己電腦分擔伺服器工作。
  2. 不會,AI PC 就只是宣傳話術。
  3. 我是果粉我驕傲,AI PC 如浮雲。

如果有其他想看的 AI 工具測試或相關問題,也可以留言發問,如果喜歡這支影片的話,也別忘了按讚、訂閱,加入會員,我們下集再見~掰!

-----廣告,請繼續往下閱讀-----

更多、更完整的內容,歡迎上泛科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得更多有趣的資訊!

-----廣告,請繼續往下閱讀-----
文章難易度
泛科學院_96
44 篇文章 ・ 54 位粉絲
我是泛科學院的AJ,有15年的軟體測試與電腦教育經驗,善於協助偏鄉NPO提升資訊能力,以Maker角度用發明解決身邊大小問題。與你分享人工智慧相關應用,每週更新兩集,讓我們帶你進入科技與創新的奇妙世界,為未來開啟無限可能!

0

0
0

文字

分享

0
0
0
從PD-L1到CD47:癌症免疫療法進入3.5代時代
鳥苷三磷酸 (PanSci Promo)_96
・2025/07/25 ・4544字 ・閱讀時間約 9 分鐘

本文與 TRPMA 台灣研發型生技新藥發展協會合作,泛科學企劃執行

如果把癌細胞比喻成身體裡的頭號通緝犯,那誰來負責逮捕?

許多人第一時間想到的,可能是化療、放療這些外來的「賞金獵人」。但其實,我們體內早就駐紮著一支最強的警察部隊「免疫系統」。

既然「免疫系統」的警力這麼堅強,為什麼癌症還是屢屢得逞?關鍵就在於:癌細胞是偽裝高手。有的會偽造「良民證」,騙過免疫系統的菁英部隊;更厲害的,甚至能直接掛上「免查通行證」,讓負責巡邏的免疫細胞直接視而不見,大搖大擺地溜過。

-----廣告,請繼續往下閱讀-----

過去,免疫檢查點抑制劑的問世,為癌症治療帶來突破性的進展,成功撕下癌細胞的偽裝,也讓不少患者重燃希望。不過,目前在某些癌症中,反應率仍只有兩到三成,顯示這條路還有優化的空間。

今天,我們要來聊的,就是科學家如何另闢蹊徑,找出那些連「通緝令」都發不出去的癌細胞。這個全新的免疫策略,會是破解癌症偽裝的新關鍵嗎?

科學家如何另闢蹊徑,找出那些連「通緝令」都發不出去的癌細胞。這個全新的免疫策略,會是破解癌症偽裝的新關鍵嗎?/ 圖片來源:shutterstock

免疫療法登場:從殺敵一千到精準出擊

在回答問題之前,我們先從人類對抗癌症的「治療演變」說起。

最早的「傳統化療」,就像威力強大的「七傷拳」,殺傷力高,但不分敵我,往往是殺敵一千、自損八百,副作用極大。接著出現的「標靶藥物」,則像能精準出招的「一陽指」,能直接點中癌細胞的「穴位」,大幅減少對健康細胞的傷害,副作用也小多了。但麻煩的是,癌細胞很會突變,用藥一段時間就容易產生抗藥性,這套點穴功夫也就漸漸失靈。

直到這個世紀,人類才終於領悟到:最強的武功,是驅動體內的「原力」,也就是「重新喚醒免疫系統」來對付癌症。這場關鍵轉折,也開啟了「癌症免疫療法」的新時代。

-----廣告,請繼續往下閱讀-----

你可能不知道,就算在健康狀態下,平均每天還是會產生數千個癌細胞。而我們之所以安然無恙,全靠體內那套日夜巡邏的「免疫監測 (immunosurveillance)」機制,看到癌細胞就立刻清除。但,癌細胞之所以難纏,就在於它會發展出各種「免疫逃脫」策略。

免疫系統中,有一批受過嚴格訓練的菁英,叫做「T細胞」,他們是執行最終擊殺任務的霹靂小組。狡猾的癌細胞為了躲過追殺,會在自己身上掛出一張「偽良民證」,這個偽裝的學名,「程序性細胞死亡蛋白配體-1 (programmed death-ligand 1, PD-L1) 」,縮寫PD-L1。

當T細胞來盤查時,T細胞身上帶有一個具備煞車功能的「讀卡機」,叫做「程序性細胞死亡蛋白受體-1 (programmed cell death protein 1, PD-1) 」,簡稱 PD-1。當癌細胞的 PD-L1 跟 T細胞的 PD-1 對上時,就等於是在說:「嘿,自己人啦!別查我」,也就是腫瘤癌細胞會表現很多可抑制免疫 T 細胞活性的分子,這些分子能通過免疫 T 細胞的檢查哨,等於是通知免疫系統無需攻擊的訊號,因此 T 細胞就真的會被唬住,轉身離開且放棄攻擊。

這種免疫系統控制的樞紐機制就稱為「免疫檢查點 (immune checkpoints)」。而我們熟知的「免疫檢查點抑制劑」,作用就像是把那張「偽良民證」直接撕掉的藥物。良民證一失效,T細胞就能識破騙局、發現這是大壞蛋,重新發動攻擊!

-----廣告,請繼續往下閱讀-----
狡猾的癌細胞為了躲過追殺,會在自己身上掛出一張「偽良民證」,也就是「程序性細胞死亡蛋白配體-1 (programmed death-ligand 1, 縮寫PD-L1) 」/ 圖片來源:shutterstock

目前免疫療法已成為晚期癌症患者心目中最後一根救命稻草,理由是他們的體能可能無法負荷化療帶來的副作用;標靶藥物雖然有效,不過在用藥一段期間後,終究會出現抗藥性;而「免疫檢查點抑制劑」卻有機會讓癌症獲得長期的控制。

由於免疫檢查點抑制劑是借著免疫系統的刀來殺死腫瘤,所以有著毒性較低並且治療耐受性較佳的優勢。對免疫檢查點抑制劑有治療反應的患者,也能獲得比起化療更長的存活期,以及較好的生活品質。

不過,儘管免疫檢查點抑制劑改寫了治癌戰局,這些年下來,卻仍有些問題。

CD47來救?揭開癌細胞的「免死金牌」機制

「免疫檢查點抑制劑」雖然帶來治療突破,但還是有不少挑戰。

-----廣告,請繼續往下閱讀-----

首先,是藥費昂貴。 雖然在台灣,健保於 2019 年後已有條件給付,但對多數人仍是沉重負擔。 第二,也是最關鍵的,單獨使用時,它的治療反應率並不高。在許多情況下,大約只有 2成到3成的患者有效。

換句話說,仍有七到八成的患者可能看不到預期的效果,而且治療反應又比較慢,必須等 2 至 3 個月才能看出端倪。對患者來說,這種「沒把握、又得等」的療程,心理壓力自然不小。

為什麼會這樣?很簡單,因為這個方法的前提是,癌細胞得用「偽良民證」這一招才有效。但如果癌細胞根本不屑玩這一套呢?

想像一下,整套免疫系統抓壞人的流程,其實是這樣運作的:當癌細胞自然死亡,或被初步攻擊後,會留下些許「屍塊渣渣」——也就是抗原。這時,體內負責巡邏兼清理的「巨噬細胞」就會出動,把這些渣渣撿起來、分析特徵。比方說,它發現犯人都戴著一頂「大草帽」。

-----廣告,請繼續往下閱讀-----

接著,巨噬細胞會把這個特徵,發布成「通緝令」,交給其他免疫細胞,並進一步訓練剛剛提到的菁英霹靂小組─T細胞。T細胞學會辨認「大草帽」,就能出發去精準獵殺所有戴著草帽的癌細胞。

當癌細胞死亡後,會留下「抗原」。體內的「巨噬細胞」會採集並分析這些特徵,並發布「通緝令」給其它免疫細胞,T細胞一旦學會辨識特徵,就能精準出擊,獵殺所有癌細胞。/ 圖片來源:shutterstock

而PD-1/PD-L1 的偽裝術,是發生在最後一步:T 細胞正準備動手時,癌細胞突然高喊:「我是好人啊!」,來騙過 T 細胞。

但問題若出在第一步呢?如果第一關,巡邏的警察「巨噬細胞」就完全沒有察覺這些屍塊有問題,根本沒發通緝令呢?

這正是更高竿的癌細胞採用的策略:它們在細胞表面大量表現一種叫做「 CD47 」的蛋白質。這個 CD47 分子,就像一張寫著「自己人,別吃我!」的免死金牌,它會跟巨噬細胞上的接收器─訊號調節蛋白α (Signal regulatory protein α,SIRPα) 結合。當巨噬細胞一看到這訊號,大腦就會自動判斷:「喔,這是正常細胞,跳過。」

結果會怎樣?巨噬細胞從頭到尾毫無動作,癌細胞就大搖大擺地走過警察面前,連罪犯「戴草帽」的通緝令都沒被發布,T 細胞自然也就毫無頭緒要出動!

這就是為什麼只阻斷 PD-L1 的藥物反應率有限。因為在許多案例中,癌細胞連進到「被追殺」的階段都沒有!

為了解決這個問題,科學家把目標轉向了這面「免死金牌」,開始開發能阻斷 CD47 的生物藥。但開發 CD47 藥物的這條路,可說是一波三折。

-----廣告,請繼續往下閱讀-----

不只精準殺敵,更不能誤傷友軍

研發抗癌新藥,就像打造一把神兵利器,太強、太弱都不行!

第一代 CD47 藥物,就是威力太強的例子。第一代藥物是強效的「單株抗體」,你可以想像是超強力膠帶,直接把癌細胞表面的「免死金牌」CD47 封死。同時,這個膠帶尾端還有一段蛋白質IgG-Fc,這段蛋白質可以和免疫細胞上的Fc受體結合。就像插上一面「快來吃我」的小旗子,吸引巨噬細胞前來吞噬。

問題來了!CD47 不只存在於癌細胞,全身上下的正常細胞,尤其是紅血球,也有 CD47 作為自我保護的訊號。結果,第一代藥物這種「見 CD47 就封」的策略,完全不分敵我,導致巨噬細胞連紅血球也一起攻擊,造成嚴重的貧血問題。

這問題影響可不小,導致一些備受矚目的藥物,例如美國製藥公司吉立亞醫藥(Gilead)的明星藥物 magrolimab,在2024年2月宣布停止開發。它原本是預期用來治療急性骨髓性白血病(AML)的單株抗體藥物。

太猛不行,那第二代藥物就改弱一點。科學家不再用強效抗體,而是改用「融合蛋白」,也就是巨噬細胞身上接收器 SIRPα 的一部分。它一樣會去佔住 CD47 的位置,但結合力比較弱,特別是跟紅血球的 CD47 結合力,只有 1% 左右,安全性明顯提升。

像是輝瑞在 2021 年就砸下 22.6 億美元,收購生技公司 Trillium Therapeutics 來開發這類藥物。Trillium 使用的是名為 TTI-621 和 TTI-622 的兩種融合蛋白,可以阻斷 CD47 的反應位置。但在輝瑞2025年4月29號公布最新的研發進度報告上,TTI-621 已經悄悄消失。已經進到二期研究的TTI-622,則是在6月29號,研究狀態被改為「已終止」。原因是「無法招募到計畫數量的受試者」。

-----廣告,請繼續往下閱讀-----

但第二代也有個弱點:為了安全,它對癌細胞 CD47 的結合力,也跟著變弱了,導致藥效不如預期。

於是,第三代藥物的目標誕生了:能不能打造一個只對癌細胞有超強結合力,但對紅血球幾乎沒反應的「完美武器」?

為了找出這種神兵利器,科學家們搬出了超炫的篩選工具:噬菌體(Phage),一種專門感染細菌的病毒。別緊張,不是要把病毒打進體內!而是把它當成一個龐大的「鑰匙資料庫」。

科學家可以透過基因改造,再加上AI的協助,就可以快速製造出數億、數十億種表面蛋白質結構都略有不同的噬菌體模型。然後,就開始配對流程:

  1. 先把這些長像各異的「鑰匙」全部拿去試開「紅血球」這把鎖,能打開的通通淘汰!
  2. 剩下的再去試開「癌細胞」的鎖,從中挑出結合最強、最精準的那一把「神鑰」!

接著,就是把這把「神鑰」的結構複製下來,大量生產。可能會從噬菌體上切下來,或是定序入選噬菌體的基因,找出最佳序列。再將這段序列,放入其他表達載體中,例如細菌或是哺乳動物細胞中來生產蛋白質。最後再接上一段能號召免疫系統來攻擊的「標籤蛋白 IgG-Fc」,就大功告成了!

目前這領域的領頭羊之一,是美國的 ALX Oncology,他們的產品 Evorpacept 已完成二期臨床試驗。但他們的標籤蛋白使用的是 IgG1,對巨噬細胞的吸引力較弱,需要搭配其他藥物聯合使用。

而另一個值得關注的,是總部在台北的漢康生技。他們利用噬菌體平台,從上億個可能性中,篩選出了理想的融合蛋白 HCB101。同時,他們選擇的標籤蛋白 IgG4,是巨噬細胞比較「感興趣」的類型,理論上能更有效地觸發吞噬作用。在臨床一期試驗中,就展現了單獨用藥也能讓腫瘤顯著縮小的效果以及高劑量對腫瘤產生腫瘤顯著部分縮小效果。因為它結合了前幾代藥物的優點,有人稱之為「第 3.5 代」藥物。

除此之外,還有漢康生技的FBDB平台技術,這項技術可以將多個融合蛋白「串」在一起。例如,把能攻擊 CD47、PD-L1、甚至能調整腫瘤微環境、活化巨噬細胞與T細胞的融合蛋白接在一起。讓這些武器達成 1+1+1 遠大於 3 的超倍攻擊效果,多管齊下攻擊腫瘤細胞。

結語

從撕掉「偽良民證」的 PD-L1 抑制劑,到破解「免死金牌」的 CD47 藥物,再到利用 AI 和噬菌體平台,設計出越來越精準的千里追魂香。 

對我們來說,最棒的好消息,莫過於這些免疫療法,從沒有停下改進的腳步。科學家們正一步步克服反應率不足、副作用等等的缺點。這些努力,都為癌症的「長期控制」甚至「治癒」,帶來了更多的希望。

-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
228 篇文章 ・ 316 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

2
0

文字

分享

0
2
0
拆解邊緣AI熱潮:伺服器如何提供穩固的運算基石?
鳥苷三磷酸 (PanSci Promo)_96
・2025/05/21 ・5071字 ・閱讀時間約 10 分鐘

-----廣告,請繼續往下閱讀-----

本文與 研華科技 合作,泛科學企劃執行。

每次 NVIDIA 執行長黃仁勳公開發言,總能牽動整個 AI 產業的神經。然而,我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線,那如果哪天「網路斷了」,會發生什麼事?

想像你正在自駕車打個盹,系統突然警示:「網路連線中斷」,車輛開始偏離路線,而前方竟是萬丈深谷。又或者家庭機器人被駭,開始暴走跳舞,甚至舉起刀具向你走來。

這會是黃仁勳期待的未來嗎?當然不是!也因為如此,「邊緣 AI」成為業界關注重點。不靠雲端,AI 就能在現場即時反應,不只更安全、低延遲,還能讓數據當場變現,不再淪為沉沒成本。

什麼是邊緣 AI ?

邊緣 AI,乍聽之下,好像是「孤單站在角落的人工智慧」,但事實上,它正是我們身邊最可靠、最即時的親密數位夥伴呀。

當前,像是企業、醫院、學校內部的伺服器,個人電腦,甚至手機等裝置,都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。簡單來說,就是將原本集中在遠端資料中心的運算能力,「搬家」到更靠近數據源頭的地方。

-----廣告,請繼續往下閱讀-----

那麼,為什麼需要這樣做?資料放在雲端,集中管理不是更方便嗎?對,就是不好。

當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。/ 圖片來源:MotionArray

第一個不好是物理限制:「延遲」。
即使光速已經非常快,數據從你家旁邊的路口傳到幾千公里外的雲端機房,再把分析結果傳回來,中間還要經過各種網路節點轉來轉去…這樣一來一回,就算只是幾十毫秒的延遲,對於需要「即刻反應」的 AI 應用,比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時,每一毫秒都攸關安全與精度,這點延遲都是無法接受的!這是物理距離與網路架構先天上的限制,無法繞過去。

第二個挑戰,是資訊科學跟工程上的考量:「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送,湧入的資料數據量就像超級大的水流,一下子就把水管塞爆!要避免流量爆炸,你就要一直擴充水管,也就是擴增頻寬,然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理,把重要資訊「濃縮」過後再傳回雲端,是不是就能減輕頻寬負擔,也能節省大量費用呢?

第三個挑戰:系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時,一旦網路不穩、甚至斷線,那怎麼辦?很多關鍵應用,像是公共安全監控或是重要設備的預警系統,可不能這樣「看天吃飯」啊!邊緣處理讓系統更獨立,就算暫時斷線,本地的 AI 還是能繼續運作與即時反應,這在工程上是非常重要的考量。

所以你看,邊緣運算不是科學家們沒事找事做,它是順應數據特性和實際應用需求,一個非常合理的科學與工程上的最佳化選擇,是我們想要抓住即時數據價值,非走不可的一條路!

邊緣 AI 的實戰魅力:從工廠到倉儲,再到你的工作桌

知道要把 AI 算力搬到邊緣了,接下來的問題就是─邊緣 AI 究竟強在哪裡呢?它強就強在能夠做到「深度感知(Deep Perception)」!

-----廣告,請繼續往下閱讀-----

所謂深度感知,並非僅僅是對數據進行簡單的加加減減,而是透過如深度神經網路這類複雜的 AI 模型,從原始數據裡面,去「理解」出更高層次、更具意義的資訊。

研華科技為例,旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例,利用物件偵測模型,快速將工業產品中的瑕疵挑出來,而且由於 AI 模型可以使用同一套參數去檢測,因此品管上能達到一致性,減少人為疏漏。尤其在高產能工廠中,檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品,替工廠節省大量人力,同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。

這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。/ 圖片提供:研華科技

此外,在智慧倉儲場域,研華與威剛合作,研華與威剛聯手合作,在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台,打造倉儲系統的 AMR(Autonomous Mobile Robot) 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣,AMR 不需要事先規劃好路線,靠著感測器偵測,就能輕鬆避開障礙物,識別路線,並且將貨物載到指定地點存放。

當然,還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning ),除了可以做備忘錄跟排程規劃以外,還能將實務上碰到的問題記錄下來,等到之後碰到類似的問題時,就能詢問 AI 並得到解答。

你或許會問,那為什麼不直接使用 ChatGPT 就好了?其實,對許多企業來說,內部資料往往具有高度機密性與商業價值,有些場域甚至連手機都禁止員工帶入,自然無法將資料上傳雲端。對於重視資安,又希望運用 AI 提升效率的企業與工廠而言,自行部署大型語言模型(self-hosted LLM)才是理想選擇。而這樣的應用,並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。

但問題也接著浮現:要在這麼小的設備上跑大型 AI 模型,會不會太吃資源?這正是目前 AI 領域最前沿、最火熱的研究方向之一:如何幫 AI 模型進行「科學瘦身」,又不減智慧。接下來,我們就來看看科學家是怎麼幫 AI 減重的。

-----廣告,請繼續往下閱讀-----

語言模型瘦身術之一:量化(Quantization)—用更精簡的數位方式來表示知識

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像:有些畫面細節我們肉眼根本看不出來,刪掉也不影響整體感覺,卻能大幅減少檔案大小。

模型量化的原理也是如此,只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示,什麼是浮點數?其實就是你我都熟知的小數。舉例來說,圓周率是個無窮不循環小數,唸下去就會是3.141592653…但實際運算時,我們常常用 3.14 或甚至直接用 3,也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思! 

然而,量化並不是那麼容易的事情。而且實際上,降低精度多少還是會影響到模型表現的。因此在設計時,工程師會精密調整,確保效能在可接受範圍內,達成「瘦身不減智」的目標。

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。/ 圖片來源:MotionArray

模型剪枝(Model Pruning)—基於重要性的結構精簡

建立一個 AI 模型,其實就是在搭建一整套類神經網路系統,並訓練類神經元中彼此關聯的參數。然而,在這麼多參數中,總會有一些參數明明佔了一個位置,卻對整體模型沒有貢獻。既然如此,不如果斷將這些「冗餘」移除。

這就像種植作物的時候,總會雜草叢生,但這些雜草並不是我們想要的作物,這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在,而動手去清理這些不需要的連結參數或神經元的技術,就稱為 AI 模型的模型剪枝(Model Pruning)。

-----廣告,請繼續往下閱讀-----

模型剪枝的效果,大概能把100變成70這樣的程度,說多也不是太多。雖然這樣的縮減對於提升效率已具幫助,但若我們要的是一個更小幾個數量級的模型,僅靠剪枝仍不足以應對。最後還是需要從源頭著手,採取更治本的方法:一開始就打造一個很小的模型,並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」,是目前 AI 模型壓縮領域中最具潛力的方法之一。

知識蒸餾(Knowledge Distillation)—讓小模型學習大師的「精髓」

想像一下,一位經驗豐富、見多識廣的老師傅,就是那個龐大而強悍的 AI 模型。現在,他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案,老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」,例如「為什麼我會這樣想?」、「其他選項的可能性有多少?」。這樣一來,小小的學徒模型,用它有限的「腦容量」,也能學到老師傅的「智慧精髓」,表現就能大幅提升!這是一種很高級的訓練技巧,跟遷移學習有關。

舉個例子,當大型語言模型在收到「晚餐:鳳梨」這組輸入時,它下一個會接的詞語跟機率分別為「炒飯:50%,蝦球:30%,披薩:15%,汁:5%」。在知識蒸餾的過程中,它可以把這套機率表一起教給小語言模型,讓小語言模型不必透過自己訓練,也能輕鬆得到這個推理過程。如今,許多高效的小型語言模型正是透過這項技術訓練而成,讓我們得以在資源有限的邊緣設備上,也能部署愈來愈強大的小模型 AI。

但是!即使模型經過了這些科學方法的優化,變得比較「苗條」了,要真正在邊緣環境中處理如潮水般湧現的資料,並且高速、即時、穩定地運作,仍然需要一個夠強的「引擎」來驅動它們。也就是說,要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型,真正放到邊緣的現場去發揮作用,就需要一個強大的「硬體平台」來承載。

-----廣告,請繼續往下閱讀-----

邊緣 AI 的強心臟:SKY-602E3 的三大關鍵

像研華的 SKY-602E3 塔式 GPU 伺服器,就是扮演「邊緣 AI 引擎」的關鍵角色!那麼,它到底厲害在哪?

一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要?因為 GPU 的設計,天生就擅長做「平行計算」,這正好就是 AI 模型裡面那種海量數學運算最需要的!

你想想看,那麼多數據要同時處理,就像要請一大堆人同時算數學一樣,GPU 就是那個最有效率的工具人!而且,有多張 GPU,代表可以同時跑更多不同的 AI 任務,或者處理更大流量的數據。這是確保那些科學研究成果,在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎!

二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房,有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計,體積相對緊湊,散熱空間也比較好(這對高功耗的 GPU 很重要!),部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算,進行「工程化」,讓它能適應台灣多樣化的邊緣應用場景。

三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格,背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場,系統穩定壓倒一切!你總不希望 AI 分析跑到一半就掛掉吧?這些設計確保了部署在現場的 AI 系統,能夠長時間、穩定地運作,把實驗室裡的科學成果,可靠地轉化成實際的應用價值。

-----廣告,請繼續往下閱讀-----
研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。/ 圖片提供:研華科技

台灣製造 × 在地智慧:打造專屬的邊緣 AI 解決方案

研華科技攜手八維智能,能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署,及AI軟硬體整合。

無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析,還是其他 AI 相關的服務,都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務,讓企業在啟動 AI 專案前,大幅降低前期投入門檻,靈活又實用。

台灣有著獨特的產業結構,從精密製造、城市交通管理,到因應高齡化社會的智慧醫療與公共安全,都是邊緣 AI 的理想應用場域。更重要的是,這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示,這些都需要分秒必爭的即時回應。

如果我們還需要將數據送上雲端分析、再等待回傳結果,往往已經錯失最佳反應時機。這也是為什麼邊緣 AI,不只是一項技術創新,更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場,就能被有效的「理解」與「利用」,是將數據垃圾變成數據黃金的賢者之石!

👉 更多研華Edge AI解決方案
👉 立即申請Server租借

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----

討論功能關閉中。

0

5
1

文字

分享

0
5
1
一顆科技巨星的隕落(上)—英特爾的興起
賴昭正_96
・2025/02/22 ・5335字 ・閱讀時間約 11 分鐘

我當時負責管理一條用於生產記憶體晶片的裝配線。我認為微處理器是個非常大的麻煩。
-Andrew Grove(英特爾首席執行官)

蕭克利(William Shockley Jr.)1910 年 2 月 13 日出生於英國倫敦,父母是美國人,1913 年返回美國,在加州帕洛阿爾托(Palo Alto)接受教育,1932 年加州理工學院畢業,1936 年取得麻省理工學院物理學博士學位後,到貝爾電話實驗室工作。第二次世界大戰爆發後,研究中斷,1942 年 5 月離職,擔任哥倫比亞大學雷達研究、反潛戰作戰小組的研究主任。

1945 年戰爭結束後不久,回到貝爾電話實驗室與化學家摩根(Stanley Morgan)領導新成立的固態物理小組; 1956 年與同事巴丁(John Bardeen)和布拉頓(Walter Brattain)因「在半導體和電晶體效應方面的工作」而榮獲諾貝爾物理學獎。1954 年蕭克利離開貝爾實驗室,到加州理工學院任國防部武器系統評估小組副主任兼研究主任。因想嘗試將新型電晶體設計商業化,於 1956 年回到故鄉附近的山景城(Mountain View),在 Beckman Instruments, Inc. 的資助下,建立了自己的公司「蕭克利半導體實驗室」(Shockley Semiconductor Laboratory),專注於開發矽基半導體裝置。

蕭克利半導體實驗室原址紀念牌。圖/wikimedia

「蕭克利半導體實驗室」為現在被稱為「矽谷」(Silicon Valley)的第一家致力於開發半導體裝置的高科技公司。蕭克利跑遍全美國招募了許多優秀員工,但因其傲慢;粗魯、專制、不穩定的管理、和研究方向不同而造成許多人才不久便紛紛離開,在附近創立新公司,將原本主要產業為種植李子、到處都是杏樹和櫻桃樹果園的舊金山灣區南部發展成為今天全世界科技中心的「矽谷」。在後來被稱為「叛徒八人」(traitorous eight)於 1957 年辭職後,「蕭克利半導體公司」就再也沒有從中恢復過來;在幾次轉賣後,終於在 1969 年壽終正寢。幾經曲折,當初引發半導體革命的建築物現在已經完全消失,為新建築及一些紀念蕭克利對矽谷開端所做之貢獻的噴泉、雕塑和幾塊牌匾等取代。

蕭克利雖然被《時代》雜誌評為「本世紀最重要的科學家之一」,但創業的目的完全失敗,只能眼睜睜地看著財富和權力落入他人手中。1963-1974 年蕭克利擔任史丹佛大學電機工程教授;在生命的最後二十年裡,他力倡種族主義和優生學,毀了其名譽;除了忠實的第二任妻子之外,他與大多數朋友和家人都疏遠了,非常孤獨。蕭克利於 1989 年 8 月 12 日死於攝護腺癌,享年 79 歲。

-----廣告,請繼續往下閱讀-----

誰是那被蕭克利稱為「背叛」(betrayal)的八位頂尖科學家呢?因為編幅的關係,我們在這裡只提將要出現在本文的四位:諾伊斯(Robert Noyce)、摩爾(Gordon Moore)、赫爾尼(Jean Hoerni)、與拉斯特(Jay Last)。

仙童半導體公司

諾伊斯 1953 年獲得麻省理工學院物理學博士學位,於 1956 年加入蕭克利半導體實驗室團隊。一年後,諾伊斯因對蕭克利的管理風格產生疑問與其他七人一起離開。諾伊斯說服了商人和投資家費爾柴爾德 ( Sherman Fairchild ),八人共同創立了仙童半導體公司(Fairchild Semiconductor)。新成立的仙童半導體很快就成長為半導體產業的領導者及「矽谷」的孵化器,直接或間接地促成了包括英特爾(Intel)和超微半導體公司(Advanced Micro Devices, Inc.,簡稱 AMD)在內的數十家「仙童小孩」(Fairchildren)公司的創建。

50 年代前,電路都是用手將許多離散零件(電阻器、電晶體、和電容器等)用電線連接在一起來控制內部電流的。1959 年德州儀器(Texas Instruments)的基爾比(Jack Kilby,註一)和諾伊斯分別同時發展出將所有零件放在矽(鍺)晶片上,再用銅線將它們連接起來。同年,赫爾尼開發出透過二氧化矽層保護的平坦表面來製造電晶體的平面製程(planar process),隨後諾伊斯提出在晶圓頂部沉積鋁「線」來互連晶圓上的電晶體;拉斯特的團隊於 1960 年製造出第一塊平面「積體電路」(integrated circuit,簡稱 IC )。這種製程不但使得電路更穩定,還可以完全避開緩慢手工接線的需求,使得大規模生產電路成為可能,催生了現代電腦晶片(chip)產業,開創了前所未有的電子設備小型化,徹底改變了我們的日常生活範式

1968 年,諾伊斯因未能晉升到公司的領導職位,及想尋求更多的自主權和建立具有新願景的新公司,與摩爾離開仙童半導體公司,共同創立英特爾;不久開發助理總監格羅夫(Andrew Grove)也離開仙童半導體公司,於英特爾成立之日加入,成為第三號員工。

-----廣告,請繼續往下閱讀-----
格羅夫、諾伊絲、摩爾三人合照(1978)。

英特爾成立

英特爾成立的初衷是做半導體記憶體。1970 年 10 月英特爾開發和製造第一款商用動態隨機存取記憶體 ( DRAM ) 積體電路;相對於當時廣泛使用的磁芯記憶體,因其較小的物理尺寸和較低的價格,它在許多應用中取代了後者,為 1981 年前英特爾的主要業務。

1971 年 10 月 13 日英特爾首次公開募股,為首批在當時新成立的全國證券交易商協會自動報價(納斯達克,NASDAQ)證券交易所上市的公司之一。

雖然英特爾解決了不少內部基本技術問題,但他們認為也應該進行一些根據客戶的特定規格製造晶片的客製化工作。因此於 1969 年 4 月與一家日本計算器公簽訂了一份晶片製造合約,為其一系列不同的計算器型號構建不同的顯示器、印表機、內存量等等的晶片。沒想到這決定竟然使英特爾能即時在日本以品質更優越、成本更低的記憶體晶片侵食其主要產品市場時,脫胎換骨成為今天我們所知道的英特爾,不再是記憶體的大供應商。  

霍夫 ( Ted Hoff ) 於 1962 年獲得是史丹佛大學電機博士,在史丹佛大學工作一段時間後,於1968年9月被諾伊斯挖角成為英特爾第 12 號員工。當他在塔希提島(Tahiti)裸露上身的海灘上時,不知道看到什麼(美女?),突然悟出了一種解決日本計算器製造商專案的革命性方法:類似於諾伊斯和基爾比的想法,將處理器的所有基本元件組合到一個小晶片上。在當時,處理器是由一個實際處理資料的核心晶片、一些準備資料供核心晶片使用的邏輯晶片、及一些記憶體等不同元件組成的,因此體積很大,為大型主機中的巨大部件。當時唯一存在的微型處理器是計算器內部的處理器,它們僅針對一些數學函數而設計,無法重新編程來處理文字、圖形或其它事物。

-----廣告,請繼續往下閱讀-----

1971 年 11 月 15 日英特爾推出首款霍夫的微處理器(microprocessor, 註二)4004。半年後發表第一款8位元微處理器 8008。1974 年 4 月,英特爾推出具有 4,500 個電晶體的第一款通用 8080 微處理器,啟動了個人電腦(PC)的開發。1978 年 6 月英特爾推出成為個人電腦業界標準(x86 指令集)的 16 位元微處理器 8086。

綽號「矽谷市長」的諾伊斯被認為是英特爾早期願景及其大部分企業文化的製定者,而摩爾則是一位技術奇才,以 1975 年預測未來 10 年積體電路上的電晶體數將每年翻倍的「摩爾定律」(Moore’s law)聞名;在他和格羅夫的領導下,英特爾在矽存儲器及微處理器領域取得早期領先地位,並成功地將公司從 80 年代中期的記憶體轉型到微處理器。英特爾雖然開創了電腦記憶體、積體電路、和微處理器設計的新技術,但它真正成為一顆科技巨星則是運氣加上豪賭的結果━且聽筆者道來。

IBM 的個人電腦

早在蘋果公司的小鬼們在車庫裡建造個人電腦之前數年,雄霸商用電腦、目中無人的 IBM(國際商業機器公司)就已看出了個人電腦的發展前途與機會。但十幾年過去了,卻只聞樓梯響,不見人下來;因此在 1980 美國國慶的前一個禮拜,舉行了最高階全權管理委員會會議。會中董事長卡里(Frank Cary)生氣地問:「我的蘋果電腦在哪裡?」當通用產品部負責人羅傑斯(John Rogers)回答說他的部門手頭緊,無法資助個人電腦研發時,卡里立刻說:「好,不用操心,我來資助它。」他轉問曾做過有關開發個人電腦演示的羅傑斯下屬洛比爾(Bill Lowe):「你是否有任何場外土地可以放置一個與他人隔離的開發團隊?」洛比爾回說:「有,佛羅裡達州的博卡拉頓(Boca Raton)。」卡里: 「你帶四十個人到那裡,然後挑選一位直接向我匯報的菁英來管理。我給你一個月的時間去組織起來向我匯報。」

事實上不是金錢,而是 IBM 的官僚及各部門之明爭暗鬥扼殺了其個人電腦的發展。因此洛比爾挑選了一位謙虛、穿牛仔靴、完全不符合 IBM 形象、幾乎被 IBM 踢出大門的 43 歲中階管理「菁英」伊斯基(Philip Donald Estridge)。既然有太上皇令箭,伊斯基就大膽地、毫無顧忌地違反所有 IBM 的規則去推進洛比爾的項目。基於過去失敗的經驗,為了避免內部不停的干擾,及像他人在個人電腦市場上花費兩三年的時間,伊斯基決定選擇開放式架構和現成元件,在 IBM 外部購買操作系统軟體和幾乎所有的硬體零件。當 IBM 個人電腦於 1981 年問世,1982 年和 1983 年真正開始流行時,IBM的收入開始起飛:從 1981 年的 290 億美元增加到 1984 年的 460 億美元;股票市值在 1984 年底達到約 720 億美元,為當時全球最值錢及最賺錢的公司。在《財星》雜誌的美國企業年度調查中,IBM 成為最受敬佩的公司。

-----廣告,請繼續往下閱讀-----
IBM 個人電腦。

當初領導一個只有 14 人的「臭鼬工廠」團隊,竟然開發出了 IBM PC 產業,伊斯基「瞬間」成為個人電腦界名人,被稱為「IBM PC 之父」,出現在各主流雜誌和報紙上,好像他就是 IBM;儘管外界不停地挖角,他都以「在 IBM 工作」為榮拒絕(註三)。但在 IBM 內部,伊斯基則成為高階主管既羨慕、又嫉妒、又恨的對象,於 1985 年年初表面上將他「提升」為製造副總,負責監督全球所有製造業務,但實際上是沒大權責的貶職;伊斯基私下向親友表示不懂為什麼會被打下來,也因此曾經想離開 IBM(註四)。正方興未艾的個人電腦事業則不再獨立、被歸入稱為「入門級系統」的公司部門編制,由伊斯基以前的老闆、IBM 官僚體系內的洛比爾接管。

英特爾興起

相信大部分讀者都已經知道,伊斯基決定在 IBM 外部購買操作系统軟體和幾乎所有的硬體零件的最大幸運受惠者是:前者是微軟公司(Microsoft Corp.),後者就是本文的主角英特爾。但如果僅此,英特爾可能將永遠只是活在 IBM 陰影下的零件供應商而已。

改變IBM主導個人電腦市場的英特爾 80286 微處理器。圖/英特爾歷史網站

話說 IBM 的大佬們都想控制小型系統團隊,因此將伊斯基提升為公司製造副總,將他所帶領的獨立團隊併入母公司體系,依照官僚體制製定了一項基於英特爾 1982 年 2 月推出之 80286 微處理器的「個人系統二號」(PS/2)十年計劃。1985 年 10 月,英特爾推出一款可更快地同時運行多個軟體程式的 32 位元 80386 微處理器晶片時,IBM 還是圍繞著 80286 開會又開會、討論又討論、…。英特爾不能眼看這項先進技術擱置在哪裡等待別人來追趕,因此決定進行一豪賭:尋找新客戶。英特爾很清楚這項決定可能會摧毀它,因為 IBM不但是銷售最多個人電腦的大客戶,還擁有世界一流的製造處理器技術,惹惱了可以隨時推出更強大的英特爾晶片變體來取代 80386。

英特爾公司總部。圖/wikimedia

最後決定還是賭了:英特爾轉向1982年成立的康柏電腦公司(Compaq Computer Corp.)。1986 年 9 月,康柏電腦非常成功地在紐約市展示一系列首次能與 IBM 個人電腦相容、採用英特爾 80386 微處理器的個人電腦。這是 IBM 個人電腦主要元件由非 IBM 公司進行更新之首例:從 80286 處理器升級到 80386。《紐約時報》謂 Deskpro 386 的發布確立了康柏作為個人電腦行業領導者的地位,「在聲譽和金錢方面,沒有任何一家公司比 IBM 受到更大的傷害」。《資訊世界》(InfoWorld)在其 1986 年 9 月 15 日刊的封面上刊登了標題:「康柏推出 386PC,挑戰 IBM 與之匹敵」。IBM 終於在 1987 年 7 月發布了他們的第一台基於 386 的個人電腦 PS/2  Model 80,但為時已晚,IBM 標誌已經開始失去其商標價值,個人電腦的未來已經改由英特爾和微軟主導了!微軟創辦人蓋茨(Bill Gates)謂:

-----廣告,請繼續往下閱讀-----

個人電腦產業歷史上的一個重要里程碑是 IBM 的員工不信任 386。因此我們鼓勵康柏繼續生產 386 機器。那是人們第一次意識到不僅僅是 IBM 在製定標準,這個行業(已)有自己的生命力,而像康柏和英特爾這樣的公司正在做新的事情,人們應該關注。

英特爾這場賭博得到了回報:康柏的成功加速客戶轉向新的英特爾80386晶片後,英特爾在某些年份的獲利超過了 IBM,其股票市值在 90 年代初期也超過了 IBM,於 1999 年成為代表美國 30 主要工業的道瓊指數之一。

備註

  • (註一)基爾比獲 2000 年諾貝爾物理學獎;在他的「諾貝爾演講」中,三次提到了已經過世(1990年)的諾伊斯對積體電路的貢獻。
  • (註二)英特爾的微處理器事實上是一「中央處理器」(Central Processor Unit,CPU)。微處理器和 CPU 的相似之處多於不同之處。事實上,所有 CPU 都是微處理器,但並非所有微處理器都是 CPU。兩者之間的主要區別在於它們在電腦系統中的功能和用途。CPU 是一種具有多種角色的處理器;而微處理器通常僅負責一項特定任務,能夠非常出色地完成該任務。CPU 向微處理器發出指令,微處理器依令將資料傳送到 CPU 或 CPU 指定的其它元件。微處理器的任務是執行特定且可重複的操作,而 CPU 的任務則是執行廣泛且多樣化的任務。如果將 CPU 比喻成電腦中的大腦,那麼身體的腿和手將成為微處理器的區域。
  • (註三)蘋果電腦創辦人賈伯斯(Steve Jobs)曾提供一份身價數百萬美元的蘋果電腦總裁職引誘。
  • (註四)1985 年 8 月攜妻度假,飛機失事雙亡。

延伸閱讀 :日常生活範式的轉變:從紙筆到 AI

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

賴昭正_96
47 篇文章 ・ 59 位粉絲
成功大學化學工程系學士,芝加哥大學化學物理博士。在芝大時與一群留學生合創「科學月刊」。一直想回國貢獻所學,因此畢業後不久即回清大化學系任教。自認平易近人,但教學嚴謹,因此獲有「賴大刀」之惡名!於1982年時當選爲 清大化學系新一代的年青首任系主任兼所長;但壯志難酬,兩年後即辭職到美留浪,IBM顧問研究化學家退休 。晚期曾回台蓋工廠及創業,均應「水土不服」而鎩羽而歸。正式退休後,除了開始又爲科學月刊寫文章外,全職帶小孫女(半歲起);現已成七歲之小孫女的BFF(2015)。首先接觸到泛科學是因爲它轉載我的科學月刊上的一篇文章「愛因斯坦的最大的錯誤一宇宙論常數」。