當前,像是企業、醫院、學校內部的伺服器,個人電腦,甚至手機等裝置,都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。簡單來說,就是將原本集中在遠端資料中心的運算能力,「搬家」到更靠近數據源頭的地方。
-----廣告,請繼續往下閱讀-----
那麼,為什麼需要這樣做?資料放在雲端,集中管理不是更方便嗎?對,就是不好。
當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。/ 圖片來源:MotionArray
第一個不好是物理限制:「延遲」。 即使光速已經非常快,數據從你家旁邊的路口傳到幾千公里外的雲端機房,再把分析結果傳回來,中間還要經過各種網路節點轉來轉去…這樣一來一回,就算只是幾十毫秒的延遲,對於需要「即刻反應」的 AI 應用,比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時,每一毫秒都攸關安全與精度,這點延遲都是無法接受的!這是物理距離與網路架構先天上的限制,無法繞過去。
第三個挑戰:系統「可靠性」與「韌性」。 如果所有運算都仰賴遠端的雲端時,一旦網路不穩、甚至斷線,那怎麼辦?很多關鍵應用,像是公共安全監控或是重要設備的預警系統,可不能這樣「看天吃飯」啊!邊緣處理讓系統更獨立,就算暫時斷線,本地的 AI 還是能繼續運作與即時反應,這在工程上是非常重要的考量。 所以你看,邊緣運算不是科學家們沒事找事做,它是順應數據特性和實際應用需求,一個非常合理的科學與工程上的最佳化選擇,是我們想要抓住即時數據價值,非走不可的一條路!
邊緣 AI 的實戰魅力:從工廠到倉儲,再到你的工作桌
知道要把 AI 算力搬到邊緣了,接下來的問題就是─邊緣 AI 究竟強在哪裡呢?它強就強在能夠做到「深度感知(Deep Perception)」!
-----廣告,請繼續往下閱讀-----
所謂深度感知,並非僅僅是對數據進行簡單的加加減減,而是透過如深度神經網路這類複雜的 AI 模型,從原始數據裡面,去「理解」出更高層次、更具意義的資訊。
以研華科技為例,旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例,利用物件偵測模型,快速將工業產品中的瑕疵挑出來,而且由於 AI 模型可以使用同一套參數去檢測,因此品管上能達到一致性,減少人為疏漏。尤其在高產能工廠中,檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品,替工廠節省大量人力,同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。
這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。/ 圖片提供:研華科技
此外,在智慧倉儲場域,研華與威剛合作,研華與威剛聯手合作,在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台,打造倉儲系統的 AMR(Autonomous Mobile Robot) 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣,AMR 不需要事先規劃好路線,靠著感測器偵測,就能輕鬆避開障礙物,識別路線,並且將貨物載到指定地點存放。
當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。/ 圖片來源:MotionArray
模型剪枝(Model Pruning)—基於重要性的結構精簡
建立一個 AI 模型,其實就是在搭建一整套類神經網路系統,並訓練類神經元中彼此關聯的參數。然而,在這麼多參數中,總會有一些參數明明佔了一個位置,卻對整體模型沒有貢獻。既然如此,不如果斷將這些「冗餘」移除。
這就像種植作物的時候,總會雜草叢生,但這些雜草並不是我們想要的作物,這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在,而動手去清理這些不需要的連結參數或神經元的技術,就稱為 AI 模型的模型剪枝(Model Pruning)。
-----廣告,請繼續往下閱讀-----
模型剪枝的效果,大概能把100變成70這樣的程度,說多也不是太多。雖然這樣的縮減對於提升效率已具幫助,但若我們要的是一個更小幾個數量級的模型,僅靠剪枝仍不足以應對。最後還是需要從源頭著手,採取更治本的方法:一開始就打造一個很小的模型,並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」,是目前 AI 模型壓縮領域中最具潛力的方法之一。
知識蒸餾(Knowledge Distillation)—讓小模型學習大師的「精髓」
想像一下,一位經驗豐富、見多識廣的老師傅,就是那個龐大而強悍的 AI 模型。現在,他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案,老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」,例如「為什麼我會這樣想?」、「其他選項的可能性有多少?」。這樣一來,小小的學徒模型,用它有限的「腦容量」,也能學到老師傅的「智慧精髓」,表現就能大幅提升!這是一種很高級的訓練技巧,跟遷移學習有關。
但是!即使模型經過了這些科學方法的優化,變得比較「苗條」了,要真正在邊緣環境中處理如潮水般湧現的資料,並且高速、即時、穩定地運作,仍然需要一個夠強的「引擎」來驅動它們。也就是說,要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型,真正放到邊緣的現場去發揮作用,就需要一個強大的「硬體平台」來承載。
-----廣告,請繼續往下閱讀-----
邊緣 AI 的強心臟:SKY-602E3 的三大關鍵
像研華的 SKY-602E3 塔式 GPU 伺服器,就是扮演「邊緣 AI 引擎」的關鍵角色!那麼,它到底厲害在哪?
三、可靠性 SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格,背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場,系統穩定壓倒一切!你總不希望 AI 分析跑到一半就掛掉吧?這些設計確保了部署在現場的 AI 系統,能夠長時間、穩定地運作,把實驗室裡的科學成果,可靠地轉化成實際的應用價值。
-----廣告,請繼續往下閱讀-----
研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。/ 圖片提供:研華科技
哈雷當時剛剛好和好朋友艾薩克·牛頓撰寫科學名著「自然哲學的數學原理」(Philosophiæ Naturalis Principia Mathematica),和「自然哲學的數學原理」這本近代科學研究的基石寶典相比,哈雷在沒有足夠實驗方法下提出的地球空心說,某種程度上也算是近代科學史上第一個預測性質的假說,這稱不上是「陰謀論」,畢竟裡面沒有什麼違反當時認知事實的陰謀,只是一個科學家的大腦洞。
1869 年一位美國煉金術士賽勒斯.提德(Cyrus Reed Teed)可以說是地球空心說的狂人,而且非常特別,在他的著作 “The Cellular Cosmogony, or The Earth, A Concave Sphere” 中,大膽的假設我們所居住的世界其實是地球的內凹面,我們頭上的天空其實是地球中心,而在我們地殼對面住著一支文明,但是因為濃霧的關係無法發現它們存在,而我們看到的月亮其實是另一個地球內部球殼。
1873 年,一位神祕學家愛德華.鮑沃爾—利頓(Edward Bulwer-Lytton)完成了 “The Coming Race”,內容有關一群住在地球內部的文明,因為發現神秘的能量來源而科技發達。
1906年,作家威廉.里德(William Reed)出版了一書 “The Phantom of the Poles”,表示其實可以搭船從地球外面到達地球內部,因為重力的作用讓他們在經過反轉時完全無感,而且很多水手其實去過了只是沒有發現。
就算是在 1913 年,此時人類已經成功到達並記錄了北極點,一位叫作馬歇爾·佳德爾(Marshall Gardner)的作家還是出版的一本叫作 “A Journey to the Earth’s Interior, or Have the Poles Really Been Discovered?” 的書質疑這件事,書中表示許多已經滅絕的生物其實都住在地球內部,因為地球誕生時,離心力形成了最外層的地殼,但是內部還有一個較重的殼,並持續接收地心的熱度。
十八世紀,歐洲正值啟蒙運動(Enlightenment),崇尚理性,強調勇於求知、挑戰權威;當時的思想家普遍認為,理性的發展可以為人類帶來福祉、改善社會與生活——這樣的信念其來有自:從哥白尼創立日心說、1543年出版《天體運行論》開始,到1632年伽利略的《關於托勒密和哥白尼兩大世界體系的對話》為哥白尼辯護,再到牛頓於1687年發表《自然哲學的數學原理》(Philosophiæ Naturalis Principia Mathematica,簡稱Principia),闡述三大運動定律和萬有引力定律,人類對世界的理解,產生翻天覆地的變化;同時,不只物理學,包括數學、化學、生物學等等,都出現突破性進展。
加布里埃勒.埃米莉.勒托內利耶.德布勒特伊(Gabrielle Émilie Le Tonnelier de Breteuil)出生於1706年12月17日的巴黎。她的父親是服務法國路易十四朝廷的高級官員,也是文學愛好者,常定期邀請文人至其寓所聚會。因著良好家世,埃米莉從小就接受多元的教育,學習外語、馬術、體能、戲劇、舞蹈和音樂等等,甚至也被鼓勵發展科學和數學上的興趣(這對當時的女性來說是可遇不可求的),還認識許多知名學者與作家。年僅十二歲,埃米莉便能說流利的拉丁文、義大利文、希臘文與德文;到了十六歲,更被父親引介至凡爾賽宮,與其他王公貴族交遊。在當時的法國,很難有比這更優渥的童年了。
只不過,就算擁有再顯赫的出身與再高的學識,埃米莉都無法決定自己的終身大事。十九歲的時候,她接受家裡安排,嫁給大她十歲的軍官──沙特萊-羅蒙侯爵(Marquis du Châtelet-Lomont)。成為夫妻的兩人,卻一絲共同點都沒有:她聰明、機智、喜歡接觸新知,沙特萊-羅蒙卻很遲鈍、沒有智識上的興趣;她喜歡巴黎以及宮廷的社交生活,丈夫卻因職務之故長期不在巴黎,社交圈也僅止於軍中同袍。對埃米莉而言,這段婚姻完全沒有任何激情成份,只是盡義務罷了。然而,這樁婚事倒也不是沒有好處──埃米莉得到了更高的社經地位,甚至擁有在皇后面前坐凳子的特權,旅行時還能有自己的隨扈。而伴隨婚姻而來的,是豐富的物質生活,與填補不了的感情空虛。
1735年,伏爾泰因為出版的新書觸怒法國政府,被迫離開巴黎;埃米莉提供位於法國東部的上馬恩省(Haute-Marne)、距巴黎275公里的西雷莊園(Château de Cirey)給伏爾泰避難。過了幾個月,埃米莉也搬到西雷莊園與伏爾泰同住。此時的兩人,已成為熱戀中的情侶;沙特萊-羅蒙侯爵,也就是埃米莉的丈夫,對妻子另結新歡抱持默許的態度──畢竟他們的婚姻早就名存實亡。
1740年,鑑於當時的法文物理學教科書都已過時,沒有納入近幾十年的物理學發展,在朋友勸說下,埃米莉將她教導兒子的物理學基礎內容整理成冊,匿名出版《物理學教程》(Institutions de Physique)。事實上,埃米莉對出書並不陌生:兩年前,伏爾泰出版著名的《牛頓哲學要素》(Éléments de la philosophie de Newton),嘗試為牛頓哲學提供清楚易懂的解釋;一般相信埃米莉對這本書的內容貢獻良多,只是沒有被列為作者。
-----廣告,請繼續往下閱讀-----
《物理學教程》主要在介紹當時(尤其是牛頓)的物理學理論,但同時也採用知名數學家萊布尼茲[4](Gottfried Wilhelm Leibniz)的觀點,討論當時最前沿的物理學爭議──活力(vis viva,意為活著的力)。早在十七世紀,聲名遠播的哲學家笛卡兒[5](René Descartes)及其追隨者便提出,在力學系統內,若把每個物體的「質量」[6]和其「速率」相乘,再加總起來,會是守恆的。過了幾十年,萊布尼茲卻聲稱,真正守恆的量,是把每個物體的「質量」和其「速率的平方」相乘,再加總──他把這個物理量稱為活力。同時,牛頓也參了一腳:他指出,在某些特定系統裡(例如兩個軟物體互撞),萊布尼茲的說法顯然有誤。
福無雙至禍不單行,在《物理學教程》出版後不久,法國皇家科學院的秘書德邁蘭(Jean-Jacques d’Ortous de Mairan)發表公開信,質疑書中內容。原來,埃米莉在《物理學教程》裡,除了採用萊布尼茲的觀點之外,還評論了德邁蘭支持笛卡兒/牛頓一派的論文;德邁蘭作為堂堂學者,又是皇家科學院的秘書,實在無法忍受被學界名不見經傳的女人批評。在公開信中,德邁蘭質疑女人善變、埃米莉腦袋有問題,並堅持埃米莉錯誤詮釋他的科學工作、對數學的理解也不完全。
1748年,埃米莉和伏爾泰到呂內維爾[7](Lunéville)旅行,拜訪他們的朋友、也是當時法國皇后的父親──前波蘭國王萊什琴斯基(Stanisław Leszczyński),史稱斯坦尼斯瓦夫一世。在那裡,埃米莉認識了聖-蘭伯特(Jean-François de Saint-Lambert),一個平凡乏味、在學識上也不如她的詩人。
埃米莉沒有開創新的科學理論,但是促進了科學的發展;她生來為愛、為被愛、願意為愛犧牲一切,而她最後確實也為喜愛的科學,工作到最後一刻,並在她的愛人陪伴下離開世界。時至今日,我們仍然可以在呂內維爾的聖-雅克教堂(The Church Saint-Jacques)入口旁,看到她的灰色大理石墓碑,寫著:加布里埃勒.埃米莉.勒托內利耶.德布勒特伊,沙特萊侯爵夫人⋯⋯科學與哲學的女性。
Rachel Swaby (2015), Headstrong: 52 Women Who Changed Science-and the World, Broadway Books.
Sarah Hutton, Emilie du Châtelet’s Institutions de physique as a document in the history of French Newtonianism, Stud. Hist. Phil. Sci. 35, 515 (2004).
Katherine Brading (2018), Émilie Du Châtelet and the Foundations of Physical Science, Routledge.
Dora E. Musielak, The Marquise du Châtelet: A Controversial Woman of Science, arXiv:1406.7401 [math.HO].
Robyn Arianrhod (2012), Seduced by Logic: Émilie Du Châtelet, Mary Somerville and the Newtonian Revolution, Oxford University Press.
Ian Davidson (2012), Voltaire: A Life, Pegasus Books.
George E. Smith, The vis viva dispute: A controversy at the dawn of dynamics, Physics Today 59, 10, 31 (2006).
註釋
[1] 皮埃爾.路易.莫佩爾蒂(Pierre Louis Moreau de Maupertuis,1698-1759)是法國數學家和哲學家,最知名的成就為提出物理學的最小作用量原理。
[2] 亞歷克西斯.克勞德.克萊羅(Alexis Claude Clairault,1713-1765)是法國的數學家和地球物理學家,最知名的成就為其關於地球幾何形狀的數學定理。