【2014智活星期二】謝明德：區域活化與在地服務創新方法論

本文與 研華科技 合作，泛科學企劃執行。

每次 NVIDIA 執行長黃仁勳公開發言，總能牽動整個 AI 產業的神經。然而，我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線，那如果哪天「網路斷了」，會發生什麼事？

想像你正在自駕車打個盹，系統突然警示：「網路連線中斷」，車輛開始偏離路線，而前方竟是萬丈深谷。又或者家庭機器人被駭，開始暴走跳舞，甚至舉起刀具向你走來。

這會是黃仁勳期待的未來嗎？當然不是！也因為如此，「邊緣 AI」成為業界關注重點。不靠雲端，AI 就能在現場即時反應，不只更安全、低延遲，還能讓數據當場變現，不再淪為沉沒成本。

什麼是邊緣 AI ？

邊緣 AI，乍聽之下，好像是「孤單站在角落的人工智慧」，但事實上，它正是我們身邊最可靠、最即時的親密數位夥伴呀。

當前，像是企業、醫院、學校內部的伺服器，個人電腦，甚至手機等裝置，都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算，稱為邊緣運算；而在邊緣節點上運行 AI ，就被稱為邊緣 AI。簡單來說，就是將原本集中在遠端資料中心的運算能力，「搬家」到更靠近數據源頭的地方。

那麼，為什麼需要這樣做？資料放在雲端，集中管理不是更方便嗎？對，就是不好。

第一個不好是物理限制：「延遲」。
即使光速已經非常快，數據從你家旁邊的路口傳到幾千公里外的雲端機房，再把分析結果傳回來，中間還要經過各種網路節點轉來轉去…這樣一來一回，就算只是幾十毫秒的延遲，對於需要「即刻反應」的 AI 應用，比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時，每一毫秒都攸關安全與精度，這點延遲都是無法接受的！這是物理距離與網路架構先天上的限制，無法繞過去。

第二個挑戰，是資訊科學跟工程上的考量：「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送，湧入的資料數據量就像超級大的水流，一下子就把水管塞爆！要避免流量爆炸，你就要一直擴充水管，也就是擴增頻寬，然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理，把重要資訊「濃縮」過後再傳回雲端，是不是就能減輕頻寬負擔，也能節省大量費用呢？

第三個挑戰：系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時，一旦網路不穩、甚至斷線，那怎麼辦？很多關鍵應用，像是公共安全監控或是重要設備的預警系統，可不能這樣「看天吃飯」啊！邊緣處理讓系統更獨立，就算暫時斷線，本地的 AI 還是能繼續運作與即時反應，這在工程上是非常重要的考量。

所以你看，邊緣運算不是科學家們沒事找事做，它是順應數據特性和實際應用需求，一個非常合理的科學與工程上的最佳化選擇，是我們想要抓住即時數據價值，非走不可的一條路！

邊緣 AI 的實戰魅力：從工廠到倉儲，再到你的工作桌

知道要把 AI 算力搬到邊緣了，接下來的問題就是─邊緣 AI 究竟強在哪裡呢？它強就強在能夠做到「深度感知（Deep Perception）」！

所謂深度感知，並非僅僅是對數據進行簡單的加加減減，而是透過如深度神經網路這類複雜的 AI 模型，從原始數據裡面，去「理解」出更高層次、更具意義的資訊。

以研華科技為例，旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例，利用物件偵測模型，快速將工業產品中的瑕疵挑出來，而且由於 AI 模型可以使用同一套參數去檢測，因此品管上能達到一致性，減少人為疏漏。尤其在高產能工廠中，檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品，替工廠節省大量人力，同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。

此外，在智慧倉儲場域，研華與威剛合作，研華與威剛聯手合作，在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台，打造倉儲系統的 AMR（Autonomous Mobile Robot） 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣，AMR 不需要事先規劃好路線，靠著感測器偵測，就能輕鬆避開障礙物，識別路線，並且將貨物載到指定地點存放。

當然，還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning )，除了可以做備忘錄跟排程規劃以外，還能將實務上碰到的問題記錄下來，等到之後碰到類似的問題時，就能詢問 AI 並得到解答。

你或許會問，那為什麼不直接使用 ChatGPT 就好了？其實，對許多企業來說，內部資料往往具有高度機密性與商業價值，有些場域甚至連手機都禁止員工帶入，自然無法將資料上傳雲端。對於重視資安，又希望運用 AI 提升效率的企業與工廠而言，自行部署大型語言模型（self-hosted LLM）才是理想選擇。而這樣的應用，並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器，體積僅如後背包大小，卻能輕鬆支援語言模型的運作，實現高效又安全的 AI 解決方案。

但問題也接著浮現：要在這麼小的設備上跑大型 AI 模型，會不會太吃資源？這正是目前 AI 領域最前沿、最火熱的研究方向之一：如何幫 AI 模型進行「科學瘦身」，又不減智慧。接下來，我們就來看看科學家是怎麼幫 AI 減重的。

語言模型瘦身術之一：量化（Quantization）—用更精簡的數位方式來表示知識

當硬體資源有限，大模型卻越來越龐大，「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像：有些畫面細節我們肉眼根本看不出來，刪掉也不影響整體感覺，卻能大幅減少檔案大小。

模型量化的原理也是如此，只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示，什麼是浮點數？其實就是你我都熟知的小數。舉例來說，圓周率是個無窮不循環小數，唸下去就會是3.141592653…但實際運算時，我們常常用 3.14 或甚至直接用 3，也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思！ 

然而，量化並不是那麼容易的事情。而且實際上，降低精度多少還是會影響到模型表現的。因此在設計時，工程師會精密調整，確保效能在可接受範圍內，達成「瘦身不減智」的目標。

模型剪枝（Model Pruning）—基於重要性的結構精簡

建立一個 AI 模型，其實就是在搭建一整套類神經網路系統，並訓練類神經元中彼此關聯的參數。然而，在這麼多參數中，總會有一些參數明明佔了一個位置，卻對整體模型沒有貢獻。既然如此，不如果斷將這些「冗餘」移除。

這就像種植作物的時候，總會雜草叢生，但這些雜草並不是我們想要的作物，這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在，而動手去清理這些不需要的連結參數或神經元的技術，就稱為 AI 模型的模型剪枝（Model Pruning）。

模型剪枝的效果，大概能把100變成70這樣的程度，說多也不是太多。雖然這樣的縮減對於提升效率已具幫助，但若我們要的是一個更小幾個數量級的模型，僅靠剪枝仍不足以應對。最後還是需要從源頭著手，採取更治本的方法：一開始就打造一個很小的模型，並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」，是目前 AI 模型壓縮領域中最具潛力的方法之一。

知識蒸餾（Knowledge Distillation）—讓小模型學習大師的「精髓」

想像一下，一位經驗豐富、見多識廣的老師傅，就是那個龐大而強悍的 AI 模型。現在，他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案，老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」，例如「為什麼我會這樣想？」、「其他選項的可能性有多少？」。這樣一來，小小的學徒模型，用它有限的「腦容量」，也能學到老師傅的「智慧精髓」，表現就能大幅提升！這是一種很高級的訓練技巧，跟遷移學習有關。

舉個例子，當大型語言模型在收到「晚餐：鳳梨」這組輸入時，它下一個會接的詞語跟機率分別為「炒飯：50%，蝦球：30%，披薩：15%，汁：5%」。在知識蒸餾的過程中，它可以把這套機率表一起教給小語言模型，讓小語言模型不必透過自己訓練，也能輕鬆得到這個推理過程。如今，許多高效的小型語言模型正是透過這項技術訓練而成，讓我們得以在資源有限的邊緣設備上，也能部署愈來愈強大的小模型 AI。

但是！即使模型經過了這些科學方法的優化，變得比較「苗條」了，要真正在邊緣環境中處理如潮水般湧現的資料，並且高速、即時、穩定地運作，仍然需要一個夠強的「引擎」來驅動它們。也就是說，要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型，真正放到邊緣的現場去發揮作用，就需要一個強大的「硬體平台」來承載。

邊緣 AI 的強心臟：SKY-602E3 的三大關鍵

像研華的 SKY-602E3 塔式 GPU 伺服器，就是扮演「邊緣 AI 引擎」的關鍵角色！那麼，它到底厲害在哪？

一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要？因為 GPU 的設計，天生就擅長做「平行計算」，這正好就是 AI 模型裡面那種海量數學運算最需要的！

你想想看，那麼多數據要同時處理，就像要請一大堆人同時算數學一樣，GPU 就是那個最有效率的工具人！而且，有多張 GPU，代表可以同時跑更多不同的 AI 任務，或者處理更大流量的數據。這是確保那些科學研究成果，在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎！

二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房，有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計，體積相對緊湊，散熱空間也比較好（這對高功耗的 GPU 很重要！），部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算，進行「工程化」，讓它能適應台灣多樣化的邊緣應用場景。

三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格，背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場，系統穩定壓倒一切！你總不希望 AI 分析跑到一半就掛掉吧？這些設計確保了部署在現場的 AI 系統，能夠長時間、穩定地運作，把實驗室裡的科學成果，可靠地轉化成實際的應用價值。

台灣製造 × 在地智慧：打造專屬的邊緣 AI 解決方案

研華科技攜手八維智能，能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署，及AI軟硬體整合。

無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析，還是其他 AI 相關的服務，都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務，讓企業在啟動 AI 專案前，大幅降低前期投入門檻，靈活又實用。

台灣有著獨特的產業結構，從精密製造、城市交通管理，到因應高齡化社會的智慧醫療與公共安全，都是邊緣 AI 的理想應用場域。更重要的是，這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示，這些都需要分秒必爭的即時回應。

如果我們還需要將數據送上雲端分析、再等待回傳結果，往往已經錯失最佳反應時機。這也是為什麼邊緣 AI，不只是一項技術創新，更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場，就能被有效的「理解」與「利用」，是將數據垃圾變成數據黃金的賢者之石！

👉 更多研華Edge AI解決方案
👉 立即申請Server租借

本文由台灣康寧贊助，泛科學策畫執行

文／梁晏慈

由台灣康寧舉辦的第一屆「康寧創星家」希望培育創新人才，並期許企業在營利的同時能回饋社會，因此他們深入校園，向台灣大專院校的學生發放英雄帖。有別於其它創新競賽以某一議題進行概念發想，「康寧創星家」的參賽者從生活中找尋好點子，並利用康寧的特殊材質－玻璃、陶瓷、光纖為命題方向，構思可以改善人類生活的新產品。本次活動共235團隊投件，其中20組團隊憑藉著他們的創新點子，獲取進入11月28日複賽暨工作坊的入場券。

台灣康寧深知唯有創新才能帶領產業的發展。然而，好點子不會從天而降，更可惜的是一般人在靈光乍現時常常思考的卻是：「這個怎麼可能做到。」、「應該很貴吧！」。康寧創星家為了鼓勵學生不只停留在發想，而是能夠考慮實作的要件，特別在複賽中安排參賽團隊與康寧科學家及奧美導師對談：前者帶領同學了解材質、改進設計，讓發想更有機會變成產品；後者則提供企劃上的建議，指導參賽者將產品包裝得更能吸引受眾與投資者。

有想過產品要賣給誰嗎？沒有，因為你只想到你自己

在複賽簡報暨提問中，各團隊有7分鐘時間向評審分享自己的創新點子。評審們除了就投影片的呈現方式給予初步建議，也教導參賽者釐清產品的受眾。例如同樣是和飲食相關的設計，其中一組計畫利用康寧的可撓式玻璃製作出能依據食物重量持續播放影片的幼兒餐墊，讓專注力不足的孩子乖乖吃飯。另一組則將目光聚焦在單身外食族，以康寧的大猩猩玻璃（Gorilla glass）打造具有點餐服務、影音功能的個人化餐桌，降低單身者外食的尷尬。

針對幼兒餐墊的設計，評審詢問同學：「你們知道2至4歲的孩子吃甚麼嗎？」、「如果孩子碰碰碰地拍打餐墊，是否會干擾重量的偵測？」，藉此提醒參賽者永遠別忘了「誰要用」，當產品使用對象是嬰幼兒時，就不能以大人的角度去評估適用性，而要將嬰幼兒的行為研究透徹，並依據可能發生的狀況來更動產品設計。另一方面，評審們則提醒單人餐桌的團隊，雖然受眾是單身族群，但買家可是餐廳，因此產品行銷的困難是如何說服餐廳願意投資這項技術。再者，若影音功能太過精彩，客人一直滯留在店內，反而會影響餐廳最重視的翻桌率。由此可知，該如何吸引業者願意投資新產品，並在買家及受眾的需求間取得平衡，也是規劃產品功能時很重要的一環。

簡報提問結束，同學表示：「我們以為產品只要能解決某個問題就大功告成了，卻沒想到還有那麼多人的意見需要被納入考量。」透過與評審的對答，同學們學會從業者、一般大眾、受眾等不同角度切入產品設計，使他們產品能更完整，更有可行性。

「這樣可行嗎？」問，就對了！

為了創造更自由的設計環境，康寧創星家初賽強調發想，但這次的複賽可不只是提案競賽，更重要的是讓每件作品的設計都能將材料的特質和現實環境狀況納入全盤考量，因此台灣康寧特別在複賽中加入了與科學家對談的關卡。在這個關卡中，科學家會給同學更多實務上的建議，一一化解大家腦中滿山滿谷的問題。例如有一組團隊為了解決駕駛人視線被汽車A柱擋住的問題，決定拿掉原本的金屬A柱，利用堅固透明的大猩猩玻璃，將前擋玻璃一路延伸到前座車窗。他們想知道：「製作一體成形、彎曲形狀的大猩猩玻璃會很困難嗎？」、「大猩猩玻璃可以承受的撞擊力如何？」。

科學家首先讚許該團隊的大膽創意，另一方面也提醒同學，汽車工業的材料要求非常嚴格。現在的玻璃製程技術可以將玻璃塑造成他們所設計的，但金屬A柱仍為必要，因為當意外發生時，金屬可以吸收碰撞力道，並撐起車蓋，避免駕駛受到更大的衝擊。同學的發想雖然可以解決視線死角的問題，可是在車禍的撞擊力太大時，大猩猩玻璃仍有可能會碎裂。破裂的玻璃將造成乘客的二度傷害，不僅如此，在講求輕量化的時代，玻璃的重量勢必會成為很大的問題。類似的設計是利用攝影機將死角的影像播放給駕駛，若同學想利用玻璃A柱的設計，避免轉播影像有視差的問題，那就得解決碎玻璃的危險性。在兩片玻璃間夾入聚碳酸酯纖維層，達到防彈玻璃的效果，也許是可行的方法。

透過「康寧創星家」創造的自由發想平台，以及科學家強大的技術支援，參賽者天馬行空的發想才有機會成為影響人類生活的重要設計。

以好故事包裝好產品

好點子及技術支援都到齊了，一項產品能否吸引買家及投資者，還要依賴設計者們說故事的能力。包裝產品的能力就靠奧美導師幫忙了！首先，每組團隊先向奧美導師分享其對於產品包裝的想法，導師便會藉此確認產品的賣點，接著深入地協助同學重整簡報的架構，並引導同學找到適當的報告邏輯。透過投影片順序的調換、內容融合，強化這些賣點。導師不斷提醒同學，製作及使用簡報的每一刻都要想到聽眾，目標是帶領他們理解「這項產品為什麼重要？」、「我為什麼要在乎？」。

尤其當聽眾是投資者時，更要把產品和對方企業做連結。因此簡報中需要強調康寧材料的獨特性，並且努力說服對方相信只有「我們」可以把材料的特性發揮至淋漓盡致。

願「創星家精神」永遠與你同在

我們常以為好點子像中樂透一樣，是幸運兒的專利。但事實是累積完整的思考流程（問題是什麼？這個問題中我可以扮演的角色？），才可能在適當的時機抓住靈感。從發想到實現的每個階段都得時時分析產品是否具有市場競爭力。設計者還須跳脫框架，從贊助者及一般大眾的角度審視產品的價值；同時，以說故事的力量讓產品的行銷更貼近每個人的心。

「康寧創星家」引導同學完成一趟創新思考的流程，並幫助大家實現好點子成為好產品，期許這個活動在同學心中埋下一顆種子，比賽過程中培養的「自主發現並解決問題的能力」可以伴隨著這群創星家繼續在臺灣各產業發光發熱。

記錄：羅紹桀

台中教育大學的羅日升老師，這上學期課程結合最近非常夯的3D列印與台中市西川社區的特有「古婚禮文化」，進行課程的安排與產學合作。

羅老師任教的台中教育大學與西川社區在地理上相當靠近，大約路程只有二十分鐘不等，而西川社區在台中地區屬於古婚禮相當俱有特色與代表性的社區，因此羅老師選擇以「古婚禮文化」為主要的訴求，帶領同學進行文創加值的設計專案。

羅日生：適性3D列印輔助設計教學成果分享—以古婚禮文創商品設計為例

西川社區古婚禮的文創加值

事實上，西川社區本來就有許多古婚禮的相關設施，包含新郎街、古禮的迎親隊等等，由於這個課程是一個全新規劃的課程，因此學生需要一個數位化的軟體工具來輔助，羅老師首先花了半年的時間學會所謂的3D列印技術，接著，羅老師領導學生應用科技進行設計的應用過程，包括場域的踩踏、訪問社區居民，並聚焦幾個特定的議題，以「花轎」為例，一般來說花轎的意義代表首次出嫁，如果是再婚就會使用紙或彩布紮成的「彩轎」。

最後實際做出古婚禮主題產品，每一組至少要做出兩樣以上成品，並且要有特定主題，設計發想、理念等等，期末把成果做成一場展演，主題為「弄囍」。

3D列印技術

在實作部分，是利用系上和智活聯盟的材料來作所謂的ＲＰ（快速成型）作出實體模型，然後進行上色，在系上剛好就有一臺3D列印機，用很簡單的輸出的流程，讓學生瞭解整個設計的實踐，這個過程看起來很簡單，但事實上要在一學期設計出一個產品事實上是有一點難度和時間上的緊迫的。

這次的課程規劃中使用的3D列印技術雖然最近非常夯，但它其實並非新的技術，只是近幾年專利到期，所以才會普及，使用使用3D列印的技術中，模型的建造是關鍵，有好的檔案才會有好的作品出來，羅老師認為，通常在做產品開發的時候，創意重要，設計實踐能力也很重要，尤其是現在很多3D列印或是一些技術越來越成熟了，這些技術加上所謂商品化的點子，與產學合作，就能產生更多的設計能量。

【關於智活星期二】

智活星期二是Pansci與CRE@TAIWAN智活聯盟共同舉辦的小規模聚會，旨在推廣「智慧科技導入常民生活」的教學理念與社會實踐，活動的主要形式是找三、四位各大專院校不同領域的講者針對同一主題，各自在15分鐘內與大家分享自己的教學方法論與實踐經驗，並讓所有人都能參與討論，推廣智慧生活與創新服務。