0

2
2

文字

分享

0
2
2

從 MIT(台灣製造)到 MIT(麻省理工)──我的留學與求職之路

活躍星系核_96
・2018/04/22 ・7027字 ・閱讀時間約 14 分鐘 ・SR值 540 ・八年級

  • 文/游子揚 │ 美國麻省理工學院工學博士,現任美國麻州大學洛爾校區土木與環境工程學系副教授/副系主任。寫這篇短文的目的,在於分享個人的留學與工作經歷,某些經驗對未來想出國留學與從事教職的人可供參考之用。

一、出國之前

台灣早期傳統的教育:念好書、找工作、安分守己。圖/ken19991210 @Pixabay

我從小生長在一個傳統的家庭,父親是公務員,母親在私人企業上班。在家中被教導最重要的美德是孝順,在國小時期被教導最重要的是服從。那是一段台灣仍在蔣家獨裁統治之下的威權時期;也是每個小學生每天進校園之際,必須在教官的監督之下,向校門口的蔣介石銅像鞠躬敬禮的時期。在國中之前對人生並沒有太多想法,家長給的人生教訓,簡言之,就是:

把書唸好,找份工作,成家立業,安分守己。

國中畢業之後,在沒有太多自由空氣的環境之下,面對了升學聯考。高中聯考沒考上前三志願, 而五專聯考卻考上台北工專。在祖母的鼓勵之下,以及對於機械、化工、材料等科系的不暸解,選擇進入了土木工程科就讀。在北工唸書的五年,反而因為自由開放的學風,重拾了對書本的興趣。

圖書館漫遊開啟了對於新知的學習精神。圖/jarmoluk@pixabay

長期在光華商場(現已拆除改建)透過自己動手組裝以及維修電腦的課餘活動,變得喜歡親自動手解決問題 。同時也因為北工圖書館的豐富外文館藏,課餘之際,開始對於外國文獻(英文,日文,德文)的內容感到興趣。不知不覺中,常常在圖書館裡待到關門之後才回到宿舍,卻也因此培養了對數學、物理、哲學以及文學的廣泛興趣。這段圖書館內漫遊的經歷,讓我認識到不是所有的知識都能在課堂上學到,能在課堂上學到的只是極少部分,更多的新知要靠自己持續不斷的學習才能獲得。

另外,也為了瞭解圖書館內的外文書籍內容,在學時選修了三年的日文以及一年的德文。然而,即使覺得自己有個很豐富的五年求學經驗,在升學考試中,卻沒有得到相對應的結果。在畢業時的二年制技術學院聯招當中,僅考上第三志願雲林科技大學,必須南下雲林開始兩年的學業。

-----廣告,請繼續往下閱讀-----

這個經驗給了我很大的啟示,在一個以考試成績決定前途的制度中,知識被價值化,進而區分成有用與沒用的知識。學生學習的範圍,則被決定考試題目的老師所決定。 在這種制度中,只有考卷上的知識能決定自己的前途。兩年的雲林求學讓我遇到了鼓勵我做研究的好老師(吳文華教授),也開始嘗試到做研究(土壤結構互質)的樂趣。

直到技術學校開始發現做研究的樂趣。圖/Thought Catalog@flickr

技術學院畢業後,透過保送甄試進入了中央大學土木工程研究所碩士班,在張瑞宏教授的門下撰寫碩士論文,研究複合地盤的土壤極限承載力。這段正規的研究所教育,讓我對做研究有了更全面性的瞭解。研究所畢業之後,沒有時間想太多,就入伍服一年十個月的預官役。

服役期間,開始認真思考自己的下一步,考量留在國內或出國唸書的幾種可能性。退伍之後, 在中央研究院擔任九個月的研究助理,同時準備留學考試。在申請到學校之後,便在家人的期盼之下,赴美留學。我非常的幸運,有在背後充分支持我的雙親與其他家人,即使他們當初沒有主動鼓勵我出國唸書,卻也沒有阻止我出國。

回顧這段早期的求學時期,感受到在台灣的教育制度之下,文憑主義在各行各業的重要性。也感受到台灣社會對於「萬般皆下品,唯有讀書高」的扭曲,演變成大多數台灣民眾重視傳統大學體系,輕視技職教育的心態。在過去的教育制度之下,學生只要會念書,就是好學生、好小孩。

-----廣告,請繼續往下閱讀-----

反之亦然。這種「動腦優於動手」的心態,只會造就產業空洞化,並導致學生追逐文憑而低估了解決問題的動手能力。假使一個國家的教育制度存在的目的,是為了培養社會上需要的各式各樣人力,那麼這個教育制度就應該提供各種需要的學校,以健全國家人力訓練的需要。將各級學校都升格成大學,顯然是沒有以國家整體需要為考量所作的短視決定。

二、來到波士頓

波士頓的天際線。圖/ ahundt @Pixabay

在沒有想太多的情況之下,就從台灣飛到地球另一端的美國麻省理工,開始自己另一階段的研究生涯。剛到麻省理工的第一個學期,很難一言以蔽之地形容在心態上以及文化上的衝擊。只覺得以前自己知道與拿手的事物,忽然間在新同學之間變得非常普通。留學考試成績單上的漂亮數字,並不能立刻轉化成在課堂上的表現。更發覺自己有太多地方不夠好,態度也不夠認真。

在土木系裡,還記得教結構動力學的卡索(Eduardo Kausel)教授飛快的板書,濃厚的智利口音,以及天外飛來一筆的課間問題,讓自己覺得課前準備的重要性。康納(Jerome J. Connor)教授的結構力學與分析課上,用簡潔的數學描述複雜的結構行為,以及大量使用電腦程式建立工程結構物的數值模型,以便於預測結構行為。

吳(Shi-Chang Wooh)教授的非破壞性檢測課上,使用超音波來界定工程材料的損害程度。歐康納(Ruaidhri M. O’Connor)教授的智慧型結構系統與感測器課上,利用壓電材料設計一套裝置在橋樑上的能源採收器。烏姆(Franz Ulm)教授的理論力學課上,用抽象代數分析力學系統的行為。同樣來自台灣的梅強中(Chiang C. Mei)教授,在系上是我極為敬畏的老師。在三樓走廊盡頭的教室外,聽到他跟學生開會討論的聲音,是許多土木系上博士生共同的回憶。

-----廣告,請繼續往下閱讀-----
圖/Thought Catalog@pixabay

布由柯茲特克(Oral Buyukozturk)教授的鋼筋混凝土學中,學到從實驗結果建立解析式的理論模型,並且將之應用在結構設計上。因為布由柯茲特教授對於結構物老化與損壞行為的興趣,我決定跟隨他進行博士論文的研究。另一個原因是,布由柯茲特教授長期投注大量心力在研究提案書(research proposal)的撰寫上,我想從他身上學習如何撰寫好的研究提案書。

經過我們一段時間的討論,決定嘗試以電磁波作為探測混凝土結構物的工具,於是我必須去電機系補修這方面的相關課程,跟隨孔金甌(Jin Au Kong)教授以及史達林(David Staelin)教授學習電磁波散射理論以及在遙感測量方面的應用。並因為從事雷達量測方面的研究,常常要坐巴士到麻省理工的林肯實驗室,與那邊的工程師討論實驗細節與研究問題。

在教學現場討論中,由左至右:Christopher Ingemi (undergraduate)、本文作者、 Jones Owusu-Twumasi (PhD student) 圖/作者提供

稍後,孔教授更加入了我的博士論文委員會,對我的研究提供更深入的建議。我從孔教授身上學到的不僅僅是電磁學方面的知識,還有他追求研究問題的答案之熱情,以及他難以置信的博學多聞。孔老師上課只帶一兩張紙,就可以從問題的控制方程式一路推導到最後的解答,顯見他在理論方面的扎實訓練。

他不但對電磁學有透徹的了解,還對歷史上相關學者的生平與彼此之間的關係暸若指掌。常常,他在課堂上推導了好幾頁的積分方程之後,有機會就會開始說一些學者的生平逸事。孔老師在私底下跟在課堂上一樣地平易近人,他的治學態度可以從他在研究討論中所提出的問題看出,他對於基本理論的掌握有嚴格的要求。非常可惜的是,孔老師在我博士論文答辯前兩個月,就因為急性肺炎而突然在醫院中辭世。

-----廣告,請繼續往下閱讀-----
圖/Tomo Saito@flickr

在麻省理工求學的七年期間,能有機會在課堂上從機械系,物理系, 數學系,還有航太系的其他教授身上,學習到不同領域知識,以及他們的治學態度。也有機會看到來自各國的學生孜孜不倦,日以繼夜地投入他們的研究。認真的態度,不是只有一兩年的付出就能造成,而是要數年乃至於數十年的訓練,方能夠達到的境界。

當一個組織(大學或公司)有夠多認真做事的人,認真的文化就可以開始紮根。在台灣有許多人喜歡在各種場合使用漂亮的詞彙,即使是在高等教育以及科學研究的領域,也常聽到一堆漂亮卻空泛無比的計畫與口號。

這些現象反映了主事者只想要用膚淺的標題,而非實際的成果來說服國民的短視心態,還有被無用的形式主義(做做樣子)所綁架的可悲心理。個人以為,要達到頂尖的境界,其實就是每個人把自己的本分做到最好;並且不斷追求進步,突破自己既有的程度,最後持之以恆。

三、畢業之後:如何找工作?

圖/ Sayurta@wikimedia

拿到博士學位之前,就得先想畢業之後的工作。除了工作之外,外國學生在美國還有簽證的問題要考慮。沒有工作,外國學生在美國就無法長期居留。如同在其他國家,博士畢業生在美國有幾種職業選擇:

-----廣告,請繼續往下閱讀-----

學術界,業界,政府機構,或是自己創業。

若想待在學術界,可以申請博士後研究員,或是大學講師,或是大學助理教授的職缺。申請博士後研究員的職位通常需要完整的學術履歷,研究計劃書,以及三個推薦人的聯絡方式。申請大學講師的職位通常需要完整的學術履歷,教學計畫,以及三個推薦人的聯絡方式。

source:pxhere

申請大學助理教授的職位通常需要完整的學術履歷,研究計劃書,教學計畫,以及三封推薦信。通常申請資料寄出一段時間(通常是一到三個月)後,如果獲選進入電話面試(phone interview)的階段,就會接到電郵或電話約定時間談話。電話面試可能是三十分鐘,或是一個小時。如果獲選進入來校面試(on-campus interview)的階段,會在幾天之內約定時間。在來校面試的當天,會有將近一整天的面談,從學校的管理階層(例如學務長,學院院長),到系上教授。應徵者需要發表一個正式的學術演講,通常是一個小時左右。

有時候,應徵者也需要針對一個題目試教三十分鐘到一個小時。來校面試結束之後,甄選委員會的成員會開會投票,一旦學校的管理階層(通常是學院院長)同意,就會正式對甄選第一名的應徵者發出職缺的通知。收到通知的應徵者必須在短時間(一天到三天)之內接受或拒絕。倘若第一名的應徵者拒絕這份工作,甄選委員會會立刻向第二名的應徵者發出通知,做為下一輪的甄選結果,直到兩方都共同同意為止。

在目前競爭激烈的美國學界,通常一個助理教授的職缺很快就會被填補,很少進入第二輪。在工程的領域,大部分的博士畢業生可能要先從事幾年的博士後研究,才有機會爭取到大學助理教授的職缺。少部份的優秀(就學術成就而言)博士畢業生,卻可能有數個職缺來選擇。現實的情況是,每一個大學職缺的甄選結果,都要有幾百個博士要失望,只有一個會滿意。 en.malinaescort.com

-----廣告,請繼續往下閱讀-----

四、站上講台的第一天

圖/Alexas_Fotos @Pixabay

大學教授,顧名思義就是在大學傳達知識的學者。傳達知識的最傳統方式,就是在課堂上教書。大部分的博士生在攻讀學位的過程中,應該都是擔任研究助理(research assistant)的工作居多,少數會擔任教學助理(teaching assistant)。擔任研究助理固然對研究的進展較有幫助,但是一旦畢業之後開始教書,在教學上剛開始的適應期會比較長。若是擔任過教學助理,有協助過授課教授準備課綱與教材,一旦自己開始教書,會比較快進入狀況。

無論是哪種情況,教學不該是每年一成不變地覆誦同樣的教材,因為每年的學生都不會相同,而學生的學術訓練與背景更是每年都會改變。倘若如此,教授們怎能用同樣的方法來持續達到最佳的教學效果?

還記得上第一門課的時候,對象是大四學生與研究生。站上講台的第一天,一直在想該如何準備一個完整的開場白,該如何面對學生的問題,該如何將事理解釋到清楚的程度等等。為了準備教材,自己重寫了一份講義。主要操心之處在于,擔心準備的材料不足以應付每週三小時的課程,所以加入了學科內近期的發展與新的理論,結果學期結束時,發覺還有一些課題來不及教到,才暸解掌握上課進度是很重要的事。

另外,因為每門課的學生程度都不儘相同,如何教到讓大部分學生瞭解的程度,對我來說純粹是一門經驗科學。上課講解方式如果是為了班上程度最好的學生,那麼大部分學生就會因為跟不上而迷失。如果是為了程度最差的學生,那麼大部分學生就會因為無聊而失去興趣。如何掌握到班上大部分學生的程度,並且即時調整教學的方式,需要經驗來達成。

-----廣告,請繼續往下閱讀-----

五、如何爭取研究計劃的經費?

圖/StartupStockPhotos @Pixabay

大學教授除了教書之外,還需要做研究。在美國,研究經費的來源主要是聯邦政府的各部門(例如國家科學基金會,能源部,交通部,國防部等等),州政府,業界,以及私人基金會。教授們向政府爭取經費的方式,通常是撰寫研究提案書(research proposal),提交給政府各部門內掌管研究經費的官員審核。

各單位審核的方式不盡相同,通常的做法是,主管官員先召集一個由外部人士組成的評選委員會,然後委員會成員再經由評選審核,推薦應被核准的研究計劃書,而主管官員通常也仍保有最後的決策權。換言之,倘若該主管官員主觀認為,經由委員會推薦的研究計劃書仍不夠水準,該官員還是可以決定不批准經費。同時,即使研究計劃書被核准,但是申請的經費最後被打折扣的情況也常發生。

此外,有些研究單位(例如聯邦交通部)也會要求計劃申請人(教授),親自到政府單位做個研究報告,再決定是否批准申請的計劃。各個單位的做法都不盡相同,美國政府在科研核獎機制方面,並無對聯邦各部門有統一的規範,更遑論各州級單位科研核獎機制的各行其政了。

圖/Akshay93@pixabay

由於美國學術界與政府部門的規模,客觀審核的目標較容易達成,因為計劃申請人(教授)不可能認識所有的官員,反之亦然。因為不認識人,所以只能客觀地從研究計劃書當中的內容來作決定。這種制度適用于像美國這樣規模的國家,卻不適用於像台灣這樣的國家,因為台灣的學術圈太小,相互熟識的學者之間很可能互相審核研究計劃,最後就容易落入利益交換(這次我幫助你的計劃書通過,下次換你幫我)的結果。

一旦利益交換的情況發生,最後獲選的一定不是就內容而言最優秀計劃書,而會是有最多人情包袱的計劃書。如此一來,整個科研核獎機制就失去功用,而納稅人的稅金就變成一群有關係的學者之間,彼此私相收授的囊中物。

當然,常此以往,一個國家的科研水準就永遠不會進步,也永遠無法跟其他先進國家競爭。這也是為何香港的科研核獎機制,是採用委託外國學者來審核的方式,而不是由香港本地的學者彼此互相審核。如果人都會有私心,就需要用制度來制衡。

從幾個學術界的弊案看來,在當今的社會中,「具有博士學位」這個條件再也無法當作高尚人格的完全保證,這是從事學術工作的學者們應該深刻謹惕的警訊。我們當然不能用以偏概全的心態來看待整個學術界,但是學術界在一個國家與社會中的獨特角色(創造科技新知,培育技術人力,養成合格國民),可以讓一個不法學者的負面影響力遠遠超越個人。同樣身為教育工作者的教授們,更應該在培養人才的專業訓練之外,用自身的行為彰顯人格教育的重要性。

六、總結

圖/fietzfotos @Pixabay

回顧自己從台灣製造到麻省理工的這段旅程,自己走的是一段與許多出國留學的人較為不同的路。從技職體系到大學體系的轉換,看見了兩個體系的不同訓練,也看見兩個體系共同需要面對的挑戰。到另一個國家求學,能讓自己看見過去想法的盲點,藉由不同的思考方式與做法,比較兩者之間的差異。技職體系強調與特定職業結合的訓練,大學體系著重在相對全面性的教育。

然而,出了社會之後,不論是技職或是大學背景,在工作職務上的要求同樣沒有藉口。技職畢業生不能說自己不懂得理論,而大學畢業生不能說自己不善於實務。在麻省理工的校徽裡,有一個工程師與一個學者並肩而立,象徵理論與實務的同等重要性。在任何一個領域,所謂的專業,其實就是解決問題的能力,不論是動腦或動手。

麻省理工學院的校徽。

在國外,唸書與工作是兩回事。作一個在國外求學的學生,生活的目標很簡單,就是把研究做好。在波士頓遇到妻子,成家立業之後,生活的目標就變成工作與家庭的平衡。在沒有台灣家人相伴的郊區家中,我們的美國夢除了在事業上的衝刺,也包括了在生活上的學習。對自家房屋的維護與修繕,庭院的整理(夏天除草,秋天掃葉,以及冬天鏟雪),都變成日常生活的一部分。

如果說人生就是許多經歷的結合,出國唸書絕對會是一段讓人生變得精彩的過程。更重要的是,這段過程會給你一張,親自看見與經歷世界的門票。

-----廣告,請繼續往下閱讀-----
文章難易度
活躍星系核_96
778 篇文章 ・ 128 位粉絲
活躍星系核(active galactic nucleus, AGN)是一類中央核區活動性很強的河外星系。這些星系比普通星系活躍,在從無線電波到伽瑪射線的全波段裡都發出很強的電磁輻射。 本帳號發表來自各方的投稿。附有資料出處的科學好文,都歡迎你來投稿喔。 Email: contact@pansci.asia

0

0
0

文字

分享

0
0
0
拆解邊緣AI熱潮:伺服器如何提供穩固的運算基石?
鳥苷三磷酸 (PanSci Promo)_96
・2025/05/21 ・5071字 ・閱讀時間約 10 分鐘

-----廣告,請繼續往下閱讀-----

本文與 研華科技 合作,泛科學企劃執行。

每次 NVIDIA 執行長黃仁勳公開發言,總能牽動整個 AI 產業的神經。然而,我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線,那如果哪天「網路斷了」,會發生什麼事?

想像你正在自駕車打個盹,系統突然警示:「網路連線中斷」,車輛開始偏離路線,而前方竟是萬丈深谷。又或者家庭機器人被駭,開始暴走跳舞,甚至舉起刀具向你走來。

這會是黃仁勳期待的未來嗎?當然不是!也因為如此,「邊緣 AI」成為業界關注重點。不靠雲端,AI 就能在現場即時反應,不只更安全、低延遲,還能讓數據當場變現,不再淪為沉沒成本。

什麼是邊緣 AI ?

邊緣 AI,乍聽之下,好像是「孤單站在角落的人工智慧」,但事實上,它正是我們身邊最可靠、最即時的親密數位夥伴呀。

當前,像是企業、醫院、學校內部的伺服器,個人電腦,甚至手機等裝置,都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。簡單來說,就是將原本集中在遠端資料中心的運算能力,「搬家」到更靠近數據源頭的地方。

-----廣告,請繼續往下閱讀-----

那麼,為什麼需要這樣做?資料放在雲端,集中管理不是更方便嗎?對,就是不好。

當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。/ 圖片來源:MotionArray

第一個不好是物理限制:「延遲」。
即使光速已經非常快,數據從你家旁邊的路口傳到幾千公里外的雲端機房,再把分析結果傳回來,中間還要經過各種網路節點轉來轉去…這樣一來一回,就算只是幾十毫秒的延遲,對於需要「即刻反應」的 AI 應用,比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時,每一毫秒都攸關安全與精度,這點延遲都是無法接受的!這是物理距離與網路架構先天上的限制,無法繞過去。

第二個挑戰,是資訊科學跟工程上的考量:「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送,湧入的資料數據量就像超級大的水流,一下子就把水管塞爆!要避免流量爆炸,你就要一直擴充水管,也就是擴增頻寬,然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理,把重要資訊「濃縮」過後再傳回雲端,是不是就能減輕頻寬負擔,也能節省大量費用呢?

第三個挑戰:系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時,一旦網路不穩、甚至斷線,那怎麼辦?很多關鍵應用,像是公共安全監控或是重要設備的預警系統,可不能這樣「看天吃飯」啊!邊緣處理讓系統更獨立,就算暫時斷線,本地的 AI 還是能繼續運作與即時反應,這在工程上是非常重要的考量。

所以你看,邊緣運算不是科學家們沒事找事做,它是順應數據特性和實際應用需求,一個非常合理的科學與工程上的最佳化選擇,是我們想要抓住即時數據價值,非走不可的一條路!

邊緣 AI 的實戰魅力:從工廠到倉儲,再到你的工作桌

知道要把 AI 算力搬到邊緣了,接下來的問題就是─邊緣 AI 究竟強在哪裡呢?它強就強在能夠做到「深度感知(Deep Perception)」!

-----廣告,請繼續往下閱讀-----

所謂深度感知,並非僅僅是對數據進行簡單的加加減減,而是透過如深度神經網路這類複雜的 AI 模型,從原始數據裡面,去「理解」出更高層次、更具意義的資訊。

研華科技為例,旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例,利用物件偵測模型,快速將工業產品中的瑕疵挑出來,而且由於 AI 模型可以使用同一套參數去檢測,因此品管上能達到一致性,減少人為疏漏。尤其在高產能工廠中,檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品,替工廠節省大量人力,同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。

這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。/ 圖片提供:研華科技

此外,在智慧倉儲場域,研華與威剛合作,研華與威剛聯手合作,在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台,打造倉儲系統的 AMR(Autonomous Mobile Robot) 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣,AMR 不需要事先規劃好路線,靠著感測器偵測,就能輕鬆避開障礙物,識別路線,並且將貨物載到指定地點存放。

當然,還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning ),除了可以做備忘錄跟排程規劃以外,還能將實務上碰到的問題記錄下來,等到之後碰到類似的問題時,就能詢問 AI 並得到解答。

你或許會問,那為什麼不直接使用 ChatGPT 就好了?其實,對許多企業來說,內部資料往往具有高度機密性與商業價值,有些場域甚至連手機都禁止員工帶入,自然無法將資料上傳雲端。對於重視資安,又希望運用 AI 提升效率的企業與工廠而言,自行部署大型語言模型(self-hosted LLM)才是理想選擇。而這樣的應用,並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。

但問題也接著浮現:要在這麼小的設備上跑大型 AI 模型,會不會太吃資源?這正是目前 AI 領域最前沿、最火熱的研究方向之一:如何幫 AI 模型進行「科學瘦身」,又不減智慧。接下來,我們就來看看科學家是怎麼幫 AI 減重的。

-----廣告,請繼續往下閱讀-----

語言模型瘦身術之一:量化(Quantization)—用更精簡的數位方式來表示知識

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像:有些畫面細節我們肉眼根本看不出來,刪掉也不影響整體感覺,卻能大幅減少檔案大小。

模型量化的原理也是如此,只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示,什麼是浮點數?其實就是你我都熟知的小數。舉例來說,圓周率是個無窮不循環小數,唸下去就會是3.141592653…但實際運算時,我們常常用 3.14 或甚至直接用 3,也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思! 

然而,量化並不是那麼容易的事情。而且實際上,降低精度多少還是會影響到模型表現的。因此在設計時,工程師會精密調整,確保效能在可接受範圍內,達成「瘦身不減智」的目標。

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。/ 圖片來源:MotionArray

模型剪枝(Model Pruning)—基於重要性的結構精簡

建立一個 AI 模型,其實就是在搭建一整套類神經網路系統,並訓練類神經元中彼此關聯的參數。然而,在這麼多參數中,總會有一些參數明明佔了一個位置,卻對整體模型沒有貢獻。既然如此,不如果斷將這些「冗餘」移除。

這就像種植作物的時候,總會雜草叢生,但這些雜草並不是我們想要的作物,這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在,而動手去清理這些不需要的連結參數或神經元的技術,就稱為 AI 模型的模型剪枝(Model Pruning)。

-----廣告,請繼續往下閱讀-----

模型剪枝的效果,大概能把100變成70這樣的程度,說多也不是太多。雖然這樣的縮減對於提升效率已具幫助,但若我們要的是一個更小幾個數量級的模型,僅靠剪枝仍不足以應對。最後還是需要從源頭著手,採取更治本的方法:一開始就打造一個很小的模型,並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」,是目前 AI 模型壓縮領域中最具潛力的方法之一。

知識蒸餾(Knowledge Distillation)—讓小模型學習大師的「精髓」

想像一下,一位經驗豐富、見多識廣的老師傅,就是那個龐大而強悍的 AI 模型。現在,他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案,老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」,例如「為什麼我會這樣想?」、「其他選項的可能性有多少?」。這樣一來,小小的學徒模型,用它有限的「腦容量」,也能學到老師傅的「智慧精髓」,表現就能大幅提升!這是一種很高級的訓練技巧,跟遷移學習有關。

舉個例子,當大型語言模型在收到「晚餐:鳳梨」這組輸入時,它下一個會接的詞語跟機率分別為「炒飯:50%,蝦球:30%,披薩:15%,汁:5%」。在知識蒸餾的過程中,它可以把這套機率表一起教給小語言模型,讓小語言模型不必透過自己訓練,也能輕鬆得到這個推理過程。如今,許多高效的小型語言模型正是透過這項技術訓練而成,讓我們得以在資源有限的邊緣設備上,也能部署愈來愈強大的小模型 AI。

但是!即使模型經過了這些科學方法的優化,變得比較「苗條」了,要真正在邊緣環境中處理如潮水般湧現的資料,並且高速、即時、穩定地運作,仍然需要一個夠強的「引擎」來驅動它們。也就是說,要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型,真正放到邊緣的現場去發揮作用,就需要一個強大的「硬體平台」來承載。

-----廣告,請繼續往下閱讀-----

邊緣 AI 的強心臟:SKY-602E3 的三大關鍵

像研華的 SKY-602E3 塔式 GPU 伺服器,就是扮演「邊緣 AI 引擎」的關鍵角色!那麼,它到底厲害在哪?

一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要?因為 GPU 的設計,天生就擅長做「平行計算」,這正好就是 AI 模型裡面那種海量數學運算最需要的!

你想想看,那麼多數據要同時處理,就像要請一大堆人同時算數學一樣,GPU 就是那個最有效率的工具人!而且,有多張 GPU,代表可以同時跑更多不同的 AI 任務,或者處理更大流量的數據。這是確保那些科學研究成果,在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎!

二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房,有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計,體積相對緊湊,散熱空間也比較好(這對高功耗的 GPU 很重要!),部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算,進行「工程化」,讓它能適應台灣多樣化的邊緣應用場景。

三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格,背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場,系統穩定壓倒一切!你總不希望 AI 分析跑到一半就掛掉吧?這些設計確保了部署在現場的 AI 系統,能夠長時間、穩定地運作,把實驗室裡的科學成果,可靠地轉化成實際的應用價值。

-----廣告,請繼續往下閱讀-----
研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。/ 圖片提供:研華科技

台灣製造 × 在地智慧:打造專屬的邊緣 AI 解決方案

研華科技攜手八維智能,能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署,及AI軟硬體整合。

無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析,還是其他 AI 相關的服務,都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務,讓企業在啟動 AI 專案前,大幅降低前期投入門檻,靈活又實用。

台灣有著獨特的產業結構,從精密製造、城市交通管理,到因應高齡化社會的智慧醫療與公共安全,都是邊緣 AI 的理想應用場域。更重要的是,這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示,這些都需要分秒必爭的即時回應。

如果我們還需要將數據送上雲端分析、再等待回傳結果,往往已經錯失最佳反應時機。這也是為什麼邊緣 AI,不只是一項技術創新,更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場,就能被有效的「理解」與「利用」,是將數據垃圾變成數據黃金的賢者之石!

👉 更多研華Edge AI解決方案
👉 立即申請Server租借

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。