資料來源:PanSci: 孤獨感受與睡眠品質不佳有關
本文與 研華科技 合作,泛科學企劃執行。
每次 NVIDIA 執行長黃仁勳公開發言,總能牽動整個 AI 產業的神經。然而,我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線,那如果哪天「網路斷了」,會發生什麼事?
想像你正在自駕車打個盹,系統突然警示:「網路連線中斷」,車輛開始偏離路線,而前方竟是萬丈深谷。又或者家庭機器人被駭,開始暴走跳舞,甚至舉起刀具向你走來。
這會是黃仁勳期待的未來嗎?當然不是!也因為如此,「邊緣 AI」成為業界關注重點。不靠雲端,AI 就能在現場即時反應,不只更安全、低延遲,還能讓數據當場變現,不再淪為沉沒成本。
邊緣 AI,乍聽之下,好像是「孤單站在角落的人工智慧」,但事實上,它正是我們身邊最可靠、最即時的親密數位夥伴呀。
當前,像是企業、醫院、學校內部的伺服器,個人電腦,甚至手機等裝置,都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。簡單來說,就是將原本集中在遠端資料中心的運算能力,「搬家」到更靠近數據源頭的地方。
那麼,為什麼需要這樣做?資料放在雲端,集中管理不是更方便嗎?對,就是不好。
第一個不好是物理限制:「延遲」。
即使光速已經非常快,數據從你家旁邊的路口傳到幾千公里外的雲端機房,再把分析結果傳回來,中間還要經過各種網路節點轉來轉去…這樣一來一回,就算只是幾十毫秒的延遲,對於需要「即刻反應」的 AI 應用,比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時,每一毫秒都攸關安全與精度,這點延遲都是無法接受的!這是物理距離與網路架構先天上的限制,無法繞過去。
第二個挑戰,是資訊科學跟工程上的考量:「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送,湧入的資料數據量就像超級大的水流,一下子就把水管塞爆!要避免流量爆炸,你就要一直擴充水管,也就是擴增頻寬,然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理,把重要資訊「濃縮」過後再傳回雲端,是不是就能減輕頻寬負擔,也能節省大量費用呢?
第三個挑戰:系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時,一旦網路不穩、甚至斷線,那怎麼辦?很多關鍵應用,像是公共安全監控或是重要設備的預警系統,可不能這樣「看天吃飯」啊!邊緣處理讓系統更獨立,就算暫時斷線,本地的 AI 還是能繼續運作與即時反應,這在工程上是非常重要的考量。
所以你看,邊緣運算不是科學家們沒事找事做,它是順應數據特性和實際應用需求,一個非常合理的科學與工程上的最佳化選擇,是我們想要抓住即時數據價值,非走不可的一條路!
知道要把 AI 算力搬到邊緣了,接下來的問題就是─邊緣 AI 究竟強在哪裡呢?它強就強在能夠做到「深度感知(Deep Perception)」!
所謂深度感知,並非僅僅是對數據進行簡單的加加減減,而是透過如深度神經網路這類複雜的 AI 模型,從原始數據裡面,去「理解」出更高層次、更具意義的資訊。
以研華科技為例,旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例,利用物件偵測模型,快速將工業產品中的瑕疵挑出來,而且由於 AI 模型可以使用同一套參數去檢測,因此品管上能達到一致性,減少人為疏漏。尤其在高產能工廠中,檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品,替工廠節省大量人力,同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。
此外,在智慧倉儲場域,研華與威剛合作,研華與威剛聯手合作,在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台,打造倉儲系統的 AMR(Autonomous Mobile Robot) 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣,AMR 不需要事先規劃好路線,靠著感測器偵測,就能輕鬆避開障礙物,識別路線,並且將貨物載到指定地點存放。
當然,還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning ),除了可以做備忘錄跟排程規劃以外,還能將實務上碰到的問題記錄下來,等到之後碰到類似的問題時,就能詢問 AI 並得到解答。
你或許會問,那為什麼不直接使用 ChatGPT 就好了?其實,對許多企業來說,內部資料往往具有高度機密性與商業價值,有些場域甚至連手機都禁止員工帶入,自然無法將資料上傳雲端。對於重視資安,又希望運用 AI 提升效率的企業與工廠而言,自行部署大型語言模型(self-hosted LLM)才是理想選擇。而這樣的應用,並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。
但問題也接著浮現:要在這麼小的設備上跑大型 AI 模型,會不會太吃資源?這正是目前 AI 領域最前沿、最火熱的研究方向之一:如何幫 AI 模型進行「科學瘦身」,又不減智慧。接下來,我們就來看看科學家是怎麼幫 AI 減重的。
當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像:有些畫面細節我們肉眼根本看不出來,刪掉也不影響整體感覺,卻能大幅減少檔案大小。
模型量化的原理也是如此,只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示,什麼是浮點數?其實就是你我都熟知的小數。舉例來說,圓周率是個無窮不循環小數,唸下去就會是3.141592653…但實際運算時,我們常常用 3.14 或甚至直接用 3,也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思!
然而,量化並不是那麼容易的事情。而且實際上,降低精度多少還是會影響到模型表現的。因此在設計時,工程師會精密調整,確保效能在可接受範圍內,達成「瘦身不減智」的目標。
建立一個 AI 模型,其實就是在搭建一整套類神經網路系統,並訓練類神經元中彼此關聯的參數。然而,在這麼多參數中,總會有一些參數明明佔了一個位置,卻對整體模型沒有貢獻。既然如此,不如果斷將這些「冗餘」移除。
這就像種植作物的時候,總會雜草叢生,但這些雜草並不是我們想要的作物,這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在,而動手去清理這些不需要的連結參數或神經元的技術,就稱為 AI 模型的模型剪枝(Model Pruning)。
模型剪枝的效果,大概能把100變成70這樣的程度,說多也不是太多。雖然這樣的縮減對於提升效率已具幫助,但若我們要的是一個更小幾個數量級的模型,僅靠剪枝仍不足以應對。最後還是需要從源頭著手,採取更治本的方法:一開始就打造一個很小的模型,並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」,是目前 AI 模型壓縮領域中最具潛力的方法之一。
想像一下,一位經驗豐富、見多識廣的老師傅,就是那個龐大而強悍的 AI 模型。現在,他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案,老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」,例如「為什麼我會這樣想?」、「其他選項的可能性有多少?」。這樣一來,小小的學徒模型,用它有限的「腦容量」,也能學到老師傅的「智慧精髓」,表現就能大幅提升!這是一種很高級的訓練技巧,跟遷移學習有關。
舉個例子,當大型語言模型在收到「晚餐:鳳梨」這組輸入時,它下一個會接的詞語跟機率分別為「炒飯:50%,蝦球:30%,披薩:15%,汁:5%」。在知識蒸餾的過程中,它可以把這套機率表一起教給小語言模型,讓小語言模型不必透過自己訓練,也能輕鬆得到這個推理過程。如今,許多高效的小型語言模型正是透過這項技術訓練而成,讓我們得以在資源有限的邊緣設備上,也能部署愈來愈強大的小模型 AI。
但是!即使模型經過了這些科學方法的優化,變得比較「苗條」了,要真正在邊緣環境中處理如潮水般湧現的資料,並且高速、即時、穩定地運作,仍然需要一個夠強的「引擎」來驅動它們。也就是說,要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型,真正放到邊緣的現場去發揮作用,就需要一個強大的「硬體平台」來承載。
像研華的 SKY-602E3 塔式 GPU 伺服器,就是扮演「邊緣 AI 引擎」的關鍵角色!那麼,它到底厲害在哪?
一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要?因為 GPU 的設計,天生就擅長做「平行計算」,這正好就是 AI 模型裡面那種海量數學運算最需要的!
你想想看,那麼多數據要同時處理,就像要請一大堆人同時算數學一樣,GPU 就是那個最有效率的工具人!而且,有多張 GPU,代表可以同時跑更多不同的 AI 任務,或者處理更大流量的數據。這是確保那些科學研究成果,在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎!
二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房,有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計,體積相對緊湊,散熱空間也比較好(這對高功耗的 GPU 很重要!),部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算,進行「工程化」,讓它能適應台灣多樣化的邊緣應用場景。
三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格,背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場,系統穩定壓倒一切!你總不希望 AI 分析跑到一半就掛掉吧?這些設計確保了部署在現場的 AI 系統,能夠長時間、穩定地運作,把實驗室裡的科學成果,可靠地轉化成實際的應用價值。
研華科技攜手八維智能,能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署,及AI軟硬體整合。
無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析,還是其他 AI 相關的服務,都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務,讓企業在啟動 AI 專案前,大幅降低前期投入門檻,靈活又實用。
台灣有著獨特的產業結構,從精密製造、城市交通管理,到因應高齡化社會的智慧醫療與公共安全,都是邊緣 AI 的理想應用場域。更重要的是,這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示,這些都需要分秒必爭的即時回應。
如果我們還需要將數據送上雲端分析、再等待回傳結果,往往已經錯失最佳反應時機。這也是為什麼邊緣 AI,不只是一項技術創新,更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場,就能被有效的「理解」與「利用」,是將數據垃圾變成數據黃金的賢者之石!
👉 更多研華Edge AI解決方案
👉 立即申請Server租借
討論功能關閉中。
「關上燈
把舊情點燃
每天都必須閉在房裡
燒完你給的黑暗
才會記得
需要呼吸」
——陳繁齊〈用愛你的方式離開〉[1]
我們都不會忘記呼吸。應該說,做為一個生命體的我們,呼吸是件再自然不過的事。然而現實生活中,仍有人會在不知不覺中,忘了呼吸。長時間沒有呼吸自然是件致命的事。若又經常於睡眠中忘了呼吸,非但健康受損,還可能連命都沒了。
什麼樣的狀況,什麼樣的人會忘了呼吸?且讓我們來認識一個與呼吸有重大關聯的疾病——阻塞型睡眠呼吸中止症。
阻塞型睡眠呼吸中止症(Obstructive sleep apnea, 簡稱 OSA)是指在睡眠期間,由於呼吸道反覆塌陷,呼吸氣流受阻,導致體內氧氣飽和度下降及睡眠片段化(sleep fragmentation),同時可能引發高碳酸血症(hypercapnia),心血管系統、代謝,此外神經認知系統也可能會連帶受到影響 [2]。
患者表現出來的症狀包括難以入眠、難以維持睡眠,睡眠時打鼾、呼吸中止,或因呼吸困難而自睡夢中驚醒,並且會因為睡眠品質不良,導致睡醒時精神不佳、白日嗜睡與疲憊感。OSA 也與中風、心血管疾病、憂鬱、兒童的注意力缺失過動疾患、學習與記憶損傷,甚至交通意外有關 [3],是健康上不可忽視的重要問題。
年齡、肥胖、家族史、更年期、顱顏結構變異(如:口咽氣道狹窄)、吸菸、喝酒皆會增加 OSA 之易感性(vulnerability)[4]。肥胖(尤其頸圍較大,即脖子較粗者)為 OSA 的重要風險因子,由於脂肪沉積於周邊結構,上呼吸道的解剖構造受影響,因而增加氣道塌陷的可能 [2]。在高收入國家,OSA 的盛行率有逐漸升高之趨勢。
一般認為 OSA 問題根源為顱顏結構(craniofacial structure)或體脂肪造成對咽喉氣道的阻礙,導致呼吸道塌陷。清醒的時候,由於上呼吸道擴張肌的用力,呼吸道能保持暢通,一旦進入睡眠,肌肉活動減少,便造成氣道塌陷。
近年則發現氣道的解剖構造未能完全解釋 OSA 的發生 [6],必須也考量到呼吸系統控制的穩定性。當中樞呼吸輸出量增減時,上呼吸道擴張肌的活動也會隨之改變。中樞呼吸的驅動力較低時,上呼吸道擴張肌的活動力也隨之減少,氣道的阻力因而增高,因此較易塌陷。
肺容積也是一個導因。當生物體的肺容積增加時,上呼吸道的總截面積也會增加;無論是否罹患 OSA,肺容積較小的個體,其氣道的截面積亦較小,於是咽部也較易塌陷 [7]。
如果要檢測是否有呼吸中止症候群,通常會透過整夜睡眠多項生理功能檢查(polysomnography),持續偵測受測者於睡眠期間的神經生理學、心肺及其他生理參數,藉此對體內各個器官、系統於睡眠與覺醒間之生理變化進行定性與定量之紀錄 [8]。此檢查也是診斷多種睡眠障礙的重要工具。
其中 OSA 的嚴重程度常會以睡眠呼吸中止指數(apnea-hypopnea index, AHI)來量化。AHI 係指睡眠期間,每小時呼吸中止與呼吸減弱的次數總合。當 AHI 大於等於 5 次,伴隨有日間嗜睡、疲倦或認知障礙等相關症狀,或無論有無相關症狀,AHI 大於 15 次,則定義為罹患 OSA [9]。
輕度 OSA [10] 者,AHI 為 5~15,日常易於不太需要集中注意力(如看電視)時感覺疲累。中度 OSA 的 AHI 介在 15~30 間,患者會在需要集中精神(如開會)時,不自覺感到疲累。若 AHI 超過 30,則為嚴重 OSA,患者即使需要高度注意力(如駕駛車輛)時,也會感覺疲累。
目前 OSA 的治療方式包括行為策略、利用醫療器材,或手術 [11]。
行為策略包括戒菸、戒酒、避免仰臥睡姿、規律進行有氧運動,以及減重。有些患者在仰躺狀態下,AHI 會升高 [12],或呼吸中止的症狀於仰躺下比側躺時嚴重 [13],對於此類患者,採側躺或趴臥睡姿有助於改善症狀。
減重方面,並非所有肥胖者都有 OSA,但罹患 OSA 的患者中,許多為肥胖者,而 OSA 的發作常伴隨著體重明顯增加 [14]。此外,肥胖的 OSA 患者在體重減輕後,其睡眠呼吸中止的情形隨之減少,而肺功能與氣體交換異常的情形也會跟著改善 [5, 15]。
目前 OSA 的標準治療為利用連續性氣道陽壓(continuous positive airway pressure, CPAP)呼吸器治療,將氣流通過呼吸道送入肺中,主要是利用正壓通氣打開睡眠時阻塞的呼吸道,以減少缺氧情形。
然而,也有許多患者因為配戴陽壓呼吸器時的不適感而拒絕此治療方式 [3]。對於無法適應這類產品的患者,一個替代方法是利用口腔矯正器治療,口腔矯正器不會產生噪音且攜帶較便利,患者的接受度較高,然而仍有配戴造成不舒適的問題存在,且對病情較嚴重者,治療效果仍有待進一步評估 [16]。
此外也有研究 [17] 提供患者口咽鍛鍊,由一名語言病理學家指導患者每日練習發出指定母音、進行專門的舌部運動、做出指特定面部表情等訓練,針對口腔中之軟顎、舌頭、面部肌肉及口腔肌肉咬合系統予以鍛鍊。結果發覺這樣的訓練有助於減少 OSA 患者的打鼾、日間嗜睡情形,改善睡眠品質。
也有患者尋求透過手術,永久性改變局部解剖結構以改善上呼吸道之氣流順暢 [17]。
手術可能透過移除部分軟組織或其他方式,改造咽部的解剖構造。其中懸雍垂顎咽成型術(Uvulopalatopharyngoplasty)為最常見的手術型式,做法乃是移除懸雍垂(uvula)及軟顎的末端。其他手術矯正方式包括將下顎前移(mandibular advancement),或將利用縫合線將舌骨往下頜骨的方向拉的舌骨肌切開懸吊術(hyoid myotomy suspension)。頦舌肌前移術(genioglossal advancement)也是以類似的做法,將頦舌肌的附著點往前拉,擴大舌頭後方空間 [18]。
如果要接受手術治療,應先確認其 OSA 是否為上呼吸道結構異常所導致,與醫師詳盡溝通,審慎考量手術之成功率與可能併發症再作決定。
由於影響 OSA 的因素繁多,包括過重、睡眠習慣不佳、鼻塞、藥物的使用、酒精的攝取等。無論採取何種方式治療,都應同時考量這些疾病相關因子並適當介入,在治療 OSA 及改善睡眠品質上都將更有效益。
在這個嘈雜的世界裡,我們不能再那麼漫不經心的看待日常的喧囂。
這些噪音並沒有達到或超過一般所認定的「危險」程度,它們不是新奇的聲音,也不是令人提高警覺的聲音,而是一些持續不斷的聲音,並且它們的聲學特質隨著時間推移後通常還能保持一致。因此,這些聲音傳遞不了多少訊息,它們大部分被視為「背景噪音」,所以經常遭到我們忽略。
我們不去聽這些聲音,但我們是真的沒聽到?或者我們只是在一種持續警戒的狀態下過活?我們都有過這種經驗:聲音消逝後才發現它的存在。
常見的例子有空調壓縮機的運轉聲,或是卡車怠速時的引擎運轉聲,等空調的壓縮機結束運轉循環或卡車引擎關閉後,我們才突然「聽見」了寂靜,然後長舒一口氣,短暫地陶醉在這份平靜裡,直到聲音再次響起或被其他擾人的聲音所取代。
如果我們的耳朵沒有因此受損,而多數時候也可以不去理睬這些聲音,那麼我們還需要關心這樣的噪音所帶來的困擾嗎?科學給我們的答案是:
我們確實該注意這些聲音,並且為我們的大腦感到擔心。
暴露於中等程度的噪音後,聽力閾值屬正常的人可能會在有噪音的環境中出現難以理解語言的情況。除此之外,嘈雜的環境本來就有許多跟聽力無關的負面影響,但這種情況卻時常被低估。
長期暴露在噪音下如住在機場附近,會導致人們感受到整體生活品質的下降、感受到壓力增加並伴隨著壓力荷爾蒙皮質醇(cortisol)的分泌量增加、記憶力和學習能力產生問題、難以執行有挑戰性的任務,甚至會導致血管硬化和其他心血管疾病。
根據世界衛生組織估計,每一年因噪音暴露及其帶來的間接影響(如高血壓和認知表現衰退)而生病、引發殘疾,或早逝的人數相當驚人。
噪音還會對學習和專注度產生干擾。
在紐約市的公立學校,根據教室所在位置是學校鄰近繁忙的高架鐵路的一側,或是位於可屏蔽火車噪音的另一側,學生的閱讀測驗結果有明顯的差異;教室位於嘈雜側的學生閱讀能力落後同儕三到十一個月。
發現噪音有這般影響之後,紐約市公共運輸局在學校附近的鐵軌上鋪設了橡膠墊,教育局則是在環境最嘈雜的教室裡加裝了減噪建材,這兩項措施共計將噪音強度減少了 6 至 8 分貝,之後,不同教室間學生閱讀測驗的差異很快就消失了。
噪音造成的影響不只局限於聽覺相關,或是語言相關(如閱讀)之類的任務。有一項實驗要求受試者執行追蹤視覺物體的任務:用滑鼠跟著螢幕上一顆會動的球移動,與此同時,螢幕上還有其他動來動去的球。執行這項任務時,因為職業關係而長期暴露在噪音環境中的受試者遇到較多困難,尤其當任務搭配著隨機出現的噪音時更是如此,這些受試者的反應比較慢,無法緊跟著目標球。
在《為什麼要睡覺?》(Why We Sleep)一書中,加州大學柏克萊分校的睡眠科學家沃克(Matthew Walker)提到,缺乏良好的睡眠是「二十一世紀人類最大的公共衛生挑戰」。
睡眠逐漸被視為是影響健康的重要因素,我們的心血管系統、免疫系統以及思考能力,都會受到睡眠的影響;噪音是阻礙一夜好眠的最大凶手。噪音,甚至是音量極低的噪音,會破壞睡眠的品質,導致我們醒著的時間變多了,醒來的時間也提早了。
環境中的噪音會影響我們的睡眠品質,促使身體產生動作、從睡眠中醒來,以及心跳速率變快。交通噪音會縮短睡眠時的快速動眼期(rapid eye movement,REM,即做夢期)和慢波期(slow-wave,即深眠期),並降低夜晚睡覺時所感受到的放鬆感受。
——本文摘自《大腦這樣「聽」:大腦如何處理聲音,並影響你對世界的認識》,2022 年 12 月,天下文化出版,未經同意請勿轉載。