Loading [MathJax]/extensions/tex2jax.js

2

7
0

文字

分享

2
7
0

讓人工智慧為 VTuber 團隊撐腰!——AI幫你一鍵生成虛擬音樂家!

研之有物│中央研究院_96
・2021/11/03 ・5051字 ・閱讀時間約 10 分鐘

本文轉載自中央研究院研之有物,泛科學為宣傳推廣執行單位。

  • 採訪撰文│林承勳
  • 美術設計│林洵安

自動化音樂展演的可能性

人工智慧(簡稱 AI)技術日新月異,不只打敗人類圍棋高手,現在更用在醫療、交通、金融、資安各領域,遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能:自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物,配合真人一同演出,而且演奏動畫和音樂伴奏皆可自動產生。未來,經營 VTuber(虛擬 YouTuber)背後可能不再需要龐大製作團隊,只要專注在企劃和劇本,其他讓 AI 幫你一鍵生成!

蘇黎與研究團隊開發的虛擬音樂家系統。圖/研之有物、Unsplash(資料來源:蘇黎)

真實與虛擬合奏的貝多芬小提琴奏鳴曲

虛擬音樂家系統,這是蘇黎與其團隊最近的研究成果,他將 AI 應用到音樂表演現場,並試圖推展到整個多媒體產業。這套系統已實際在舞台演示,並與多個音樂展演團隊合作,包括:沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。

以近年蘇黎舉辦的音樂會為例,主要可分為兩部分,一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家;另一個,即為該場演奏的特別之處:正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合,真人鋼琴家彈奏的過程中,虛擬音樂家系統除了負責合奏,同時還要生成螢幕上虛擬演奏者的動畫身影。

蘇黎與研究團隊公開展示真人音樂家與虛擬音樂家的合奏。圖/蘇黎(虛擬音樂家 Virtual Musician

不放槍、不搶拍的自動伴奏系統

虛擬音樂家系統的「自動伴奏」,不同於卡拉 OK 的機器伴奏,演奏者不需配合伴唱音樂,而是程式控制伴唱音樂以配合演奏者,讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性,自動伴奏的運算必須又快又準。蘇黎指出,這也是研究中比較具有挑戰性的部分。

-----廣告,請繼續往下閱讀-----

自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元,讓虛擬音樂家精準掌握真人演奏實況。

舉例來說,想要跟人合奏,首先要確定能同步開始,這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出,但現場會有其他聲音,不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說,因此團隊會先將整個樂譜,輸入到虛擬音樂家的自動伴奏系統中,並在演奏會場早早就讓系統持續待命,只要音樂偵測器偵測到樂譜的第一個音,伴奏隨即啟動。

自動伴奏系統在確認演奏開始之後,馬上又有另一項任務:追蹤音樂進度。因為每位音樂家會有自己的演奏風格,而且真人不管如何熟練,都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務,便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。

「音樂追蹤器採用多執行緒線上動態時間校正(online dynamic time warping)演算法,每一個執行緒在最短時間內各自計算並取平均值,以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋,追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對,就能推測多久後會演奏下一個音。至於位置估算單元,則是用來估計當下已演奏到整個樂譜的哪個位置。

虛擬音樂家系統藉由上述的自動伴奏技術,追蹤真人演奏進度,並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右,但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示,音樂心理學已證實,就算是沒有經過專業訓練的一般人,0.1 秒的誤差聽起來仍非常明顯,「延遲 0.01 秒可以勉強不引起業餘人士的注意;但面對專業音樂家時,延遲可能要到 0.001 秒左右才能過關。」

-----廣告,請繼續往下閱讀-----
自動伴奏系統可以即時追蹤音樂進度,判斷真人音樂家目前已經演奏到樂曲的哪個位置。圖/蘇黎(虛擬音樂家 Virtual Musician

訓練 AI 自動生成虛擬音樂家動畫形象

現場音樂表演是影音的雙重享受,所以虛擬音樂家除了擁有自動伴奏的「聲音」,還需要擁有將表演動作形象化的動畫「影像」。

真人音樂家演奏時,不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等,都存在個人差異,沒有一套固定標準。例如拉琴的手勢,10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是:取得大量影音資料,讓 AI 學習如何製造虛擬音樂家的肢體動作。

首先,徵求多位專業小提琴演奏者,穿上有標記點的特殊衣服,站在有動態捕捉裝置的空間中,演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術,會偵測音樂家全身骨骼的關節點,作為虛擬音樂家動畫生成的訓練資料,並在訓練動畫生成模型的過程中,重點關注持弓的右手如何移動。

透過 U 型網路、自注意力機制等核心技術,來輸出虛擬音樂家動態肢體影像。

在訓練 AI 與生成動畫影像的過程中,需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路(U-net),負責圖像之間的轉換,由編碼圖層傳到解碼圖層。它的優點是速度快,而且輸入輸出格式相對容易設計,能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點,而非一個一個骨架點逐步輸出。」蘇黎說。

-----廣告,請繼續往下閱讀-----
蘇黎與研究團隊採用 U 型網路模型訓練 AI,自動生成虛擬音樂家動畫影像。圖/蘇黎(Wu, Y. T., Chen, B., & Su, L. (2020)

除此之外,還有自注意力(self-attention)機制,讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式,有時間上的關聯性,假設真人音樂家某個動作在大鼓響起時一直出現,就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中,只要聽到該音樂的大鼓聲出現,就會發出明顯訊號,認為此時要搭配相應的肢體動作。

簡單來說,想要自動化生出虛擬小提琴家,不僅聲音要到位,動畫也要足夠精準。音樂需要自動伴奏系統,即時追蹤真人演奏者的進度並觸發伴奏;而相應的肢體動作,則有賴透過 U 型網路與自注意力機制,讓 AI 在音樂現場了解此時要搭配何種動作。

虛擬音樂家動畫的比較,左邊採用之前的研究,動作較不精準;中間是蘇黎團隊研究成果,自動生成的動畫骨架已有較多變化,並且右手拉弓動作較為準確;最右邊是符合真人動作的演奏動畫,需人工製作。圖/蘇黎(虛擬音樂家 Virtual Musician

進階挑戰:由聽覺到視覺的跨感官轉換

自動生成聲音和影像後,研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌,就聯想到一幅畫。但坦白講,這種音樂到視覺風格轉換(music-to-visual style transfer)非常困難。」蘇黎說。當初有學生向他提出這個構想,想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重,因為最重要的訓練資料幾乎是無法取得。

AI 並非無中生有,機器學習有賴龐大、高品質的資料。

想要讓 AI 學習聽音樂聯想畫面,就必須要有真人示範,聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難,但找來的人未必善於繪畫;即使花大錢請畫家參與實驗,人少沒有代表性,人多則風格又可能大相逕庭。「演奏動作還有跡可循,但大家聽音樂腦補的畫面都不一樣,這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。

-----廣告,請繼續往下閱讀-----

研究團隊決定退而求其次,改成在一組音樂跟一組影像資料庫,透過兩者之間共享的語義標註(labels),試圖建立起對應關係。就像是電腦在連連看,如果配對起來共通點還算合理就成功。此時問題又來了,所謂「合理」實在難以界定,於是執行標準只好再一次降低,音樂與畫面的共同標註越簡單越好。

「雖然這跟當初想像中的差距非常大,但目前我們也只能用創作年代來當標註。」蘇黎說,經由創作年代這個共同標註,電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想,模型建立起來後,在虛擬音樂家系統裡還是可以發揮一些功能,像是為演奏會搭配符合音樂年代的背景畫面,或色彩效果。

蘇黎團隊風格轉換的案例,透過共享語義標註,在電腦聽到印象樂派作曲家德布西的音樂(Sarabande in Pour le piano, L. 95(1901))之後,原本為巴比松畫派的圖像(The Lake Her Lone Bosom Expands to the Sky(1850)),會轉換成印象畫派風格。圖/蘇黎(Crossing You in Style

如何成為音樂資訊研究者?

在虛擬音樂家系統之前,蘇黎與實驗室團隊(音樂與文化科技實驗室)在自動音樂採譜方面的研究已經有豐厚成果,他們研發出開源工具《Omnizart》。

《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。

它具備當前全世界最多樣樂器組合的分析功能,只要輸入一段音樂,不管是鋼琴獨奏、多重樂器、打擊樂,還是和弦辨識、節拍偵測,甚至是困難的人聲處理,都會幫你分析。

-----廣告,請繼續往下閱讀-----

「像鋼琴這類樂器的話,是音樂進去《Omnizart》,生出 MIDI;而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋,透過這些數字化的音訊數據能了解每一瞬間的音高變化,或是泛音、抖音等手法。研究自動採譜 AI 是因為,蘇黎想探究如蕭邦的夜曲等,這些百年來不斷被重複演奏超過千百次的古典樂,在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。

而這次蘇黎用 AI 創造虛擬音樂家系統,同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他,會吹小號,喜歡聽經典的古典樂。對蘇黎來說,興趣是驅使研究向前的一大動力,他認為身為研究者必須要時常探索新的領域,因此常會要求自己不斷接觸世界各國的在地歌謠。

蘇黎的下一步,是以現有虛擬音樂家系統為基礎,加入更多細膩動作(例如臉部表情)的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家,必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習,但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋,AI 研究者的時間幾乎都耗在蒐集資料上。

同時,研究室也在規劃下一場發表。蘇黎認為,實體演奏會是考驗研究品質最好的方式。除了訓練好模型,現場還有很多要克服的變數,像是很多音樂廳沒有網路,團隊必須將整場演奏會所需的模型,事先設計成用一台筆電就能執行。「總不可能演奏到一半,資料量太大電腦跑不動,然後要跑出去連網路吧。」蘇黎笑著說,音樂會現場要面對很多做研究時不曾碰到的狀況,是很刺激、有挑戰性的任務。

-----廣告,請繼續往下閱讀-----

AI 將是未來主流,是好、是壞終究取決於人心。

AI 出現之後,自然也面臨許多批判,例如工作是否會被 AI 取代,甚至以 AI 操控虛假言論或用在軍事用途,但蘇黎覺得,主導權終究還是躲在背後操作的「人」。同樣,隨著虛擬音樂家系統日漸完善,真人音樂家是否擔心未來飯碗被搶走?令人意外的是,蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家,「別小看他們,藝術家可是一群勇敢、期待新事物、信仰未來的人。」

蘇黎未來研究方向是以現有虛擬音樂家系統為基礎,再加入更多細膩動作的虛擬多人樂團。他坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。圖/研之有物

延伸閱讀:

-----廣告,請繼續往下閱讀-----
文章難易度
所有討論 2
研之有物│中央研究院_96
296 篇文章 ・ 3652 位粉絲
研之有物,取諧音自「言之有物」,出處為《周易·家人》:「君子以言有物而行有恆」。探索具體研究案例、直擊研究員生活,成為串聯您與中研院的橋梁,通往博大精深的知識世界。 網頁:研之有物 臉書:研之有物@Facebook

2

20
1

文字

分享

2
20
1
AI 接手譜出的貝多芬遺作《第十號交響曲》,連專業音樂家也「難解難分」!
Peggy Sha/沙珮琦
・2021/11/03 ・2214字 ・閱讀時間約 4 分鐘

在古典音樂界裡,流傳著這麼一個傳說:作曲家在寫完第九號交響曲之後,生命也就到了盡頭。而貝多芬(Ludwig von Beethoven)便是這個詛咒最著名的「受害者」之一。

著名作曲家貝多芬。圖/維基百科

1817 年,英國皇家愛樂協會(Royal Philharmonic Society)請貝多芬創作了兩首交響曲,這第一首呢,便是《第九號交響曲》(Symphony No.9 in D minor, Op.125),完工後成為了經典不朽的代表作,把《歡樂頌》快樂直送到世界各地的人們耳中。

然而,可惜的是,在開始著手《第十號交響曲》(Beethoven Symphony No.10)後不久,貝多芬的健康便迅速惡化,最終在 1827 年離開了世界,而這第十號交響曲,除了幾個音符加上各式各樣的筆記之外,就啥也沒有了,從此成為了樂迷們心中的遺憾。

人死不能復生,但,大家的好奇心可沒這麼容易被殺死。最近,一個專門推廣音樂科技的奧地利機構,卡拉揚研究所(Karajan Institute)便集結了一群音樂學家、作曲家、AI 科學家、歷史學家,嘗試從手稿裡找到蛛絲馬跡,並藉由 AI 的力量,將貝多芬的遺作帶給世界,為他慶祝 250 歲生日。

-----廣告,請繼續往下閱讀-----

到底,AI 是怎麼「寫」出這首曲子的?它真能滿足大家的耳朵嗎?

早有人挑戰續寫大師神作!風格不同被罵慘

你或許會想,啊都交給 AI 了,寫個曲應該沒什麼困難的吧?嘿,那你可就太小看貝多芬給大家出的作業了。

1988 年時,一位名叫貝瑞庫珀(Barry Cooper)的音樂學家便曾嘗試挑戰這項任務,他蒐集了貝多芬老大的手稿和各式資料,用自己的理解試圖創作出一個最接近貝多芬風格的第一和第二樂章。

不過呢,這兩個樂章寫完了之後,大家卻是罵聲連連,很多人覺得他根本沒有搞懂貝多芬的風格,只是在狗尾續貂。

-----廣告,請繼續往下閱讀-----

另一方面,所謂「寫得出」曲子跟「寫得好」曲子完全是兩回事,要真正讓 AI 掌握作曲家原本的風格、進而去模仿,需要考量的面向比單純輸入資料難多了。

曾有音樂家挑戰續寫貝多芬的《第十號交響曲》,卻被抨擊為狗尾續貂。圖/Pixabay

發揮偵探精神,分工合作打團戰

曾經失敗沒關係,這次計畫的負責人,卡拉揚研究所的所長 Matthias Röder 可不是吃素的,他的最高原則大概可以八字概括:AI 不夠、人腦來湊

專家們開了幾次小組會議後,基本協調出了這樣的分工:計算音樂學家 Mark Gotham 與 AI 專家 Ahmed Elgammal 要梳理貝多芬的手稿,並將他過去的寫作脈絡通通餵給 AI,讓機器學習他的邏輯與理念;寫出 Intel 鈴聲的奧地利作曲家 Walter Werzowa 負責把貝多芬留下的片段和 AI 生出的旋律給合在一起;音樂學家 Robert Levin 提供專業建議,協助進行優化與調整。

這組合不錯,聽起來會順順完成對吧?錯!

-----廣告,請繼續往下閱讀-----

所謂交響曲呢,通常會由四個樂章組成:第一個樂章開場,節奏稍快;第二個樂章來個轉折,變得較慢;第三樂章會是中板或快板;到了最後一個樂章時,則會以澎湃激昂快節奏結束。

好了那麼問題來了:同樣一段旋律,它出現在第二樂章與第四樂章,會達成完全不同的效果,弄得不好,那差異就像「我要結婚啦!」、「新郎不是我QQ」一樣悲劇。

於是乎,團隊需要判斷:第十號交響曲的主題旋律到底為何?哪個時候可能是新樂章的起點?這種種判斷,都有賴人腦協助決定。

作曲小白,從零開始的譜曲之路

決定好了各個音符或片段出現的位置後,團隊又有新的考驗:要怎麼就既有片段進行擴寫呢?當然不能隨機組合,想要延伸樂句,就必須遵從一些音樂形式,它可能是三拍子、聽起來輕快的詼諧曲;又或許是不同音高旋律和諧融合出的賦格……

-----廣告,請繼續往下閱讀-----

接下來,團隊就開始了漫漫 AI 教學之路,先學會怎麼讓音符組起來和諧、再學怎麼將兩個段落連結、接著要知道怎麼為段落收尾、還要知道怎麼分配各個樂器,總而言之,就是讓 AI 掌握各種基本的作曲規則與技巧,生出的旋律才能符合規範。

小考囉!電腦、人腦,傻傻分不清楚?

經過一段時間的努力後,團隊終於帶著 AI 奔赴「考場」。2019 年 11 月,他們找來了一群記者、音樂學家和專門研究貝多芬的專家作聽眾,並讓鋼琴家演奏 AI 創作的音樂片段,測測聽眾們是否可以確定 AI 開始接手作曲的節點出現在哪裡?結果大家並未成功找出來。

幾天之後,他們又透過弦樂四重奏的方式演奏了 AI 所作的作品片段,結果只有非常熟悉貝多芬手稿的人才能確定人工智慧接手的點究竟在哪裡。

這兩次小考都算是成功通過,讓團隊信心倍增。在接下來的 18 個月中,研究團隊一起編出了兩個完整、各超過 20 分鐘的樂章。

-----廣告,請繼續往下閱讀-----

終於,在 10 月 9 日,研究團隊帶著 AI 創作的作品回到了貝多芬的出生地德國波昂(Bonn)進行了全球首演,至於這首曲子聽起來到底夠不夠「貝多芬」呢?就交給你判斷吧:Beethoven X: The AI Project

  1. https://www.classicfm.com/composers/beethoven/news/computer-completes-unfinished-tenth-symphony/
  2. https://theconversation.com/how-a-team-of-musicologists-and-computer-scientists-completed-beethovens-unfinished-10th-symphony-168160
-----廣告,請繼續往下閱讀-----
文章難易度
所有討論 2
Peggy Sha/沙珮琦
69 篇文章 ・ 390 位粉絲
曾經是泛科的 S 編,來自可愛的教育系,是一位正努力成為科青的女子,永遠都想要知道更多新的事情,好奇心怎樣都不嫌多。

0

0
0

文字

分享

0
0
0
拆解邊緣AI熱潮:伺服器如何提供穩固的運算基石?
鳥苷三磷酸 (PanSci Promo)_96
・2025/05/21 ・5071字 ・閱讀時間約 10 分鐘

本文與 研華科技 合作,泛科學企劃執行。

每次 NVIDIA 執行長黃仁勳公開發言,總能牽動整個 AI 產業的神經。然而,我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線,那如果哪天「網路斷了」,會發生什麼事?

想像你正在自駕車打個盹,系統突然警示:「網路連線中斷」,車輛開始偏離路線,而前方竟是萬丈深谷。又或者家庭機器人被駭,開始暴走跳舞,甚至舉起刀具向你走來。

這會是黃仁勳期待的未來嗎?當然不是!也因為如此,「邊緣 AI」成為業界關注重點。不靠雲端,AI 就能在現場即時反應,不只更安全、低延遲,還能讓數據當場變現,不再淪為沉沒成本。

什麼是邊緣 AI ?

邊緣 AI,乍聽之下,好像是「孤單站在角落的人工智慧」,但事實上,它正是我們身邊最可靠、最即時的親密數位夥伴呀。

當前,像是企業、醫院、學校內部的伺服器,個人電腦,甚至手機等裝置,都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。簡單來說,就是將原本集中在遠端資料中心的運算能力,「搬家」到更靠近數據源頭的地方。

-----廣告,請繼續往下閱讀-----

那麼,為什麼需要這樣做?資料放在雲端,集中管理不是更方便嗎?對,就是不好。

當數據在這些邊緣節點進行運算,稱為邊緣運算;而在邊緣節點上運行 AI ,就被稱為邊緣 AI。/ 圖片來源:MotionArray

第一個不好是物理限制:「延遲」。
即使光速已經非常快,數據從你家旁邊的路口傳到幾千公里外的雲端機房,再把分析結果傳回來,中間還要經過各種網路節點轉來轉去…這樣一來一回,就算只是幾十毫秒的延遲,對於需要「即刻反應」的 AI 應用,比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時,每一毫秒都攸關安全與精度,這點延遲都是無法接受的!這是物理距離與網路架構先天上的限制,無法繞過去。

第二個挑戰,是資訊科學跟工程上的考量:「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送,湧入的資料數據量就像超級大的水流,一下子就把水管塞爆!要避免流量爆炸,你就要一直擴充水管,也就是擴增頻寬,然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理,把重要資訊「濃縮」過後再傳回雲端,是不是就能減輕頻寬負擔,也能節省大量費用呢?

第三個挑戰:系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時,一旦網路不穩、甚至斷線,那怎麼辦?很多關鍵應用,像是公共安全監控或是重要設備的預警系統,可不能這樣「看天吃飯」啊!邊緣處理讓系統更獨立,就算暫時斷線,本地的 AI 還是能繼續運作與即時反應,這在工程上是非常重要的考量。

所以你看,邊緣運算不是科學家們沒事找事做,它是順應數據特性和實際應用需求,一個非常合理的科學與工程上的最佳化選擇,是我們想要抓住即時數據價值,非走不可的一條路!

邊緣 AI 的實戰魅力:從工廠到倉儲,再到你的工作桌

知道要把 AI 算力搬到邊緣了,接下來的問題就是─邊緣 AI 究竟強在哪裡呢?它強就強在能夠做到「深度感知(Deep Perception)」!

-----廣告,請繼續往下閱讀-----

所謂深度感知,並非僅僅是對數據進行簡單的加加減減,而是透過如深度神經網路這類複雜的 AI 模型,從原始數據裡面,去「理解」出更高層次、更具意義的資訊。

研華科技為例,旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例,利用物件偵測模型,快速將工業產品中的瑕疵挑出來,而且由於 AI 模型可以使用同一套參數去檢測,因此品管上能達到一致性,減少人為疏漏。尤其在高產能工廠中,檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品,替工廠節省大量人力,同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。

這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。/ 圖片提供:研華科技

此外,在智慧倉儲場域,研華與威剛合作,研華與威剛聯手合作,在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台,打造倉儲系統的 AMR(Autonomous Mobile Robot) 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣,AMR 不需要事先規劃好路線,靠著感測器偵測,就能輕鬆避開障礙物,識別路線,並且將貨物載到指定地點存放。

當然,還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning ),除了可以做備忘錄跟排程規劃以外,還能將實務上碰到的問題記錄下來,等到之後碰到類似的問題時,就能詢問 AI 並得到解答。

你或許會問,那為什麼不直接使用 ChatGPT 就好了?其實,對許多企業來說,內部資料往往具有高度機密性與商業價值,有些場域甚至連手機都禁止員工帶入,自然無法將資料上傳雲端。對於重視資安,又希望運用 AI 提升效率的企業與工廠而言,自行部署大型語言模型(self-hosted LLM)才是理想選擇。而這樣的應用,並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。

但問題也接著浮現:要在這麼小的設備上跑大型 AI 模型,會不會太吃資源?這正是目前 AI 領域最前沿、最火熱的研究方向之一:如何幫 AI 模型進行「科學瘦身」,又不減智慧。接下來,我們就來看看科學家是怎麼幫 AI 減重的。

-----廣告,請繼續往下閱讀-----

語言模型瘦身術之一:量化(Quantization)—用更精簡的數位方式來表示知識

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像:有些畫面細節我們肉眼根本看不出來,刪掉也不影響整體感覺,卻能大幅減少檔案大小。

模型量化的原理也是如此,只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示,什麼是浮點數?其實就是你我都熟知的小數。舉例來說,圓周率是個無窮不循環小數,唸下去就會是3.141592653…但實際運算時,我們常常用 3.14 或甚至直接用 3,也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思! 

然而,量化並不是那麼容易的事情。而且實際上,降低精度多少還是會影響到模型表現的。因此在設計時,工程師會精密調整,確保效能在可接受範圍內,達成「瘦身不減智」的目標。

當硬體資源有限,大模型卻越來越龐大,「幫模型減肥」就成了邊緣 AI 的重要課題。/ 圖片來源:MotionArray

模型剪枝(Model Pruning)—基於重要性的結構精簡

建立一個 AI 模型,其實就是在搭建一整套類神經網路系統,並訓練類神經元中彼此關聯的參數。然而,在這麼多參數中,總會有一些參數明明佔了一個位置,卻對整體模型沒有貢獻。既然如此,不如果斷將這些「冗餘」移除。

這就像種植作物的時候,總會雜草叢生,但這些雜草並不是我們想要的作物,這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在,而動手去清理這些不需要的連結參數或神經元的技術,就稱為 AI 模型的模型剪枝(Model Pruning)。

-----廣告,請繼續往下閱讀-----

模型剪枝的效果,大概能把100變成70這樣的程度,說多也不是太多。雖然這樣的縮減對於提升效率已具幫助,但若我們要的是一個更小幾個數量級的模型,僅靠剪枝仍不足以應對。最後還是需要從源頭著手,採取更治本的方法:一開始就打造一個很小的模型,並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」,是目前 AI 模型壓縮領域中最具潛力的方法之一。

知識蒸餾(Knowledge Distillation)—讓小模型學習大師的「精髓」

想像一下,一位經驗豐富、見多識廣的老師傅,就是那個龐大而強悍的 AI 模型。現在,他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案,老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」,例如「為什麼我會這樣想?」、「其他選項的可能性有多少?」。這樣一來,小小的學徒模型,用它有限的「腦容量」,也能學到老師傅的「智慧精髓」,表現就能大幅提升!這是一種很高級的訓練技巧,跟遷移學習有關。

舉個例子,當大型語言模型在收到「晚餐:鳳梨」這組輸入時,它下一個會接的詞語跟機率分別為「炒飯:50%,蝦球:30%,披薩:15%,汁:5%」。在知識蒸餾的過程中,它可以把這套機率表一起教給小語言模型,讓小語言模型不必透過自己訓練,也能輕鬆得到這個推理過程。如今,許多高效的小型語言模型正是透過這項技術訓練而成,讓我們得以在資源有限的邊緣設備上,也能部署愈來愈強大的小模型 AI。

但是!即使模型經過了這些科學方法的優化,變得比較「苗條」了,要真正在邊緣環境中處理如潮水般湧現的資料,並且高速、即時、穩定地運作,仍然需要一個夠強的「引擎」來驅動它們。也就是說,要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型,真正放到邊緣的現場去發揮作用,就需要一個強大的「硬體平台」來承載。

-----廣告,請繼續往下閱讀-----

邊緣 AI 的強心臟:SKY-602E3 的三大關鍵

像研華的 SKY-602E3 塔式 GPU 伺服器,就是扮演「邊緣 AI 引擎」的關鍵角色!那麼,它到底厲害在哪?

一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要?因為 GPU 的設計,天生就擅長做「平行計算」,這正好就是 AI 模型裡面那種海量數學運算最需要的!

你想想看,那麼多數據要同時處理,就像要請一大堆人同時算數學一樣,GPU 就是那個最有效率的工具人!而且,有多張 GPU,代表可以同時跑更多不同的 AI 任務,或者處理更大流量的數據。這是確保那些科學研究成果,在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎!

二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房,有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計,體積相對緊湊,散熱空間也比較好(這對高功耗的 GPU 很重要!),部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算,進行「工程化」,讓它能適應台灣多樣化的邊緣應用場景。

三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格,背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場,系統穩定壓倒一切!你總不希望 AI 分析跑到一半就掛掉吧?這些設計確保了部署在現場的 AI 系統,能夠長時間、穩定地運作,把實驗室裡的科學成果,可靠地轉化成實際的應用價值。

-----廣告,請繼續往下閱讀-----
研華的 SKY-602E3 塔式 GPU 伺服器,體積僅如後背包大小,卻能輕鬆支援語言模型的運作,實現高效又安全的 AI 解決方案。/ 圖片提供:研華科技

台灣製造 × 在地智慧:打造專屬的邊緣 AI 解決方案

研華科技攜手八維智能,能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署,及AI軟硬體整合。

無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析,還是其他 AI 相關的服務,都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務,讓企業在啟動 AI 專案前,大幅降低前期投入門檻,靈活又實用。

台灣有著獨特的產業結構,從精密製造、城市交通管理,到因應高齡化社會的智慧醫療與公共安全,都是邊緣 AI 的理想應用場域。更重要的是,這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示,這些都需要分秒必爭的即時回應。

如果我們還需要將數據送上雲端分析、再等待回傳結果,往往已經錯失最佳反應時機。這也是為什麼邊緣 AI,不只是一項技術創新,更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場,就能被有效的「理解」與「利用」,是將數據垃圾變成數據黃金的賢者之石!

👉 更多研華Edge AI解決方案
👉 立即申請Server租借

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

0

1
0

文字

分享

0
1
0
數智驅動未來:從信任到執行,AI 為企業創新賦能
鳥苷三磷酸 (PanSci Promo)_96
・2025/01/13 ・4938字 ・閱讀時間約 10 分鐘

本文由 鼎新數智 與 泛科學 共同規劃與製作

你有沒有想過,當 AI 根據病歷與 X 光片就能幫你診斷病症,或者決定是否批准貸款,甚至從無人機發射飛彈時,它的每一步「決策」是怎麼來的?如果我們不能知道 AI 的每一個想法步驟,對於那些 AI 輔助的診斷和判斷,要我們如何放心呢?

馬斯克與 OpenAI 的奧特曼鬧翻後,創立了新 AI 公司 xAI,並推出名為 Grok 的產品。他宣稱目標是以開源和可解釋性 AI 挑戰其他模型,而 xAI 另一個意思是 Explainable AI 也就是「可解釋性 AI」。

如今,AI 已滲透生活各處,而我們對待它的方式卻像求神問卜,缺乏科學精神。如何讓 AI 具備可解釋性,成為當前關鍵問題?

-----廣告,請繼續往下閱讀-----
AI 已滲透生活各處,而我們對待它的方式卻像求神問卜,缺乏科學精神。如何讓 AI 具備可解釋性,成為當前關鍵問題?圖/pexels

黑盒子模型背後的隱藏秘密

無法解釋的 AI 究竟會帶來多少問題?試想,現在許多銀行和貸款機構已經使用 AI 評估借貸申請者的信用風險,但這些模型往往如同黑箱操作。有人貸款被拒,卻完全不知原因,感覺就像被分手卻不告訴理由。更嚴重的是,AI 可能擅自根據你的住所位置或社會經濟背景給出負面評價,這些與信用風險真的相關嗎?這種不透明性只會讓弱勢群體更難融入金融體系,加劇貧富差距。這種不透明性,會讓原本就已經很難融入金融體系的弱勢群體,更加難以取得貸款,讓貧富差距越來越大,雪上加霜。

AI 不僅影響貸款,還可能影響司法公正性。美國部分法院自 2016 年起使用「替代性制裁犯罪矯正管理剖析軟體」 COMPAS 這款 AI 工具來協助量刑,試圖預測嫌犯再犯風險。然而,這些工具被發現對有色人種特別不友好,往往給出偏高的再犯風險評估,導致更重的刑罰和更嚴苛的保釋條件。更令人擔憂的是,這些決策缺乏透明度,AI 做出的決策根本沒法解釋,這讓嫌犯和律師無法查明問題根源,結果司法公正性就這麼被悄悄削弱了。

此外,AI 在醫療、社交媒體、自駕車等領域的應用,也充滿類似挑戰。例如,AI 協助診斷疾病,但若原因報告無法被解釋,醫生和患者又怎能放心?同樣地,社群媒體或是 YouTube 已經大量使用 AI 自動審查,以及智慧家居或工廠中的黑盒子問題,都像是一場越來越複雜的魔術秀——我們只看到結果,卻無法理解過程。這樣的情況下,對 AI 的信任感就成為了一個巨大的挑戰。

為什麼人類設計的 AI 工具,自己卻無法理解?

原因有二。首先,深度學習模型結構複雜,擁有數百萬參數,人類要追蹤每個輸入特徵如何影響最終決策結果,難度極高。例如,ChatGPT 中的 Transformer 模型,利用注意力機制(Attention Mechanism)根據不同詞之間的重要性進行特徵加權計算,因為機制本身涉及大量的矩陣運算和加權計算,這些數學操作使得整個模型更加抽象、不好理解。

-----廣告,請繼續往下閱讀-----

其次,深度學習模型會會從資料中學習某些「特徵」,你可以當作 AI 是用畫重點的方式在學習,人類劃重點目的是幫助我們加速理解。AI 的特徵雖然也能幫助 AI 學習,但這些特徵往往對人類來說過於抽象。例如在影像辨識中,人類習慣用眼睛、嘴巴的相對位置,或是手指數量等特徵來解讀一張圖。深度學習模型卻可能會學習到一些抽象的形狀或紋理特徵,而這些特徵難以用人類語言描述。

深度學習模型通常採用分佈式表示(Distributed Representation)來編碼特徵,意思是將一個特徵表示為一個高維向量,每個維度代表特徵的不同方面。假設你有一個特徵是「顏色」,在傳統的方式下,你可能用一個簡單的詞來表示這個特徵,例如「紅色」或「藍色」。但是在深度學習中,這個「顏色」特徵可能被表示為一個包含許多數字的高維向量,向量中的每個數字表示顏色的不同屬性,比如亮度、色調等多個數值。對 AI 而言,這是理解世界的方式,但對人類來說,卻如同墨跡測驗般難以解讀。

假設你有一個特徵是「顏色」,在傳統的方式下,你可能用一個簡單的詞來表示這個特徵,例如「紅色」或「藍色」。但是在深度學習中,這個「顏色」特徵可能被表示為一個包含許多數字的高維向量,向量中的每個數字表示顏色的不同屬性,比如亮度、色調等多個數值。圖/unsplash

試想,AI 協助診斷疾病時,若理由是基於醫生都無法理解的邏輯,患者即使獲得正確診斷,也會感到不安。畢竟,人們更相信能被理解的東西。

打開黑盒子:可解釋 AI 如何運作?我們要如何教育 AI?

首先,可以利用熱圖(heatmap)或注意力圖這類可視化技術,讓 AI 的「思維」有跡可循。這就像行銷中分析消費者的視線停留在哪裡,來推測他們的興趣一樣。在卷積神經網絡和 Diffusion Models 中 ,當 AI 判斷這張照片裡是「貓」還是「狗」時,我需要它向我們展示在哪些地方「盯得最緊」,像是耳朵的形狀還是毛色的分布。

-----廣告,請繼續往下閱讀-----

其次是局部解釋,LIME 和 SHAP 是兩個用來發展可解釋 AI 的局部解釋技術。

SHAP 的概念來自博弈,它將每個特徵看作「玩家」,而模型的預測結果則像「收益」。SHAP 會計算每個玩家對「收益」的貢獻,讓我們可以了解各個特徵如何影響最終結果。並且,SHAP 不僅能透過「局部解釋」了解單一個結果是怎麼來的,還能透過「全局解釋」理解模型整體的運作中,哪些特徵最重要。

以實際的情景來說,SHAP 可以讓 AI 診斷出你有某種疾病風險時,指出年齡、體重等各個特徵的影響。

LIME 的運作方式則有些不同,會針對單一個案建立一個簡單的模型,來近似原始複雜模型的行為,目的是為了快速了解「局部」範圍內的操作。比如當 AI 拒絕你的貸款申請時,LIME 可以解釋是「收入不穩定」還是「信用紀錄有問題」導致拒絕。這種解釋在 Transformer 和 NLP 應用中廣泛使用,一大優勢是靈活且計算速度快,適合臨時分析不同情境下的 AI 判斷。比方說在醫療場景,LIME 可以幫助醫生理解 AI 為何推薦某種治療方案,並說明幾個主要原因,這樣醫生不僅能更快做出決策,也能增加患者的信任感。

-----廣告,請繼續往下閱讀-----

第三是反事實解釋:如果改變一點點,會怎麼樣?

如果 AI 告訴你:「這家銀行不會貸款給你」,這時你可能會想知道:是收入不夠,還是年齡因素?這時你就可以問 AI:「如果我年輕五歲,或者多一份工作,結果會怎樣?」反事實解釋會模擬這些變化對結果的影響,讓我們可以了解模型究竟是如何「權衡利弊」。

最後則是模型內部特徵的重要性排序。這種方法能顯示哪些輸入特徵對最終結果影響最大,就像揭示一道菜中,哪些調味料是味道的關鍵。例如在金融風險預測中,模型可能指出「收入」影響了 40%,「消費習慣」占了 30%,「年齡」占了 20%。不過如果要應用在像是 Transformer 模型等複雜結構時,還需要搭配前面提到的 SHAP 或 LIME 以及可視化技術,才能達到更完整的解釋效果。

講到這裡,你可能會問:我們距離能完全信任 AI 還有多遠?又或者,我們真的應該完全相信它嗎?

-----廣告,請繼續往下閱讀-----

我們終究是想解決人與 AI 的信任問題

當未來你和 AI 同事深度共事,你自然希望它的決策與行動能讓你認可,幫你省心省力。因此,AI 既要「可解釋」,也要「能代理」。

當未來你和 AI 同事深度共事,你自然希望它的決策與行動能讓你認可,幫你省心省力。圖/unsplash

舉例來說,當一家公司要做一個看似「簡單」的決策時,背後的過程其實可能極為複雜。例如,快時尚品牌決定是否推出新一季服裝,不僅需要考慮過去的銷售數據,還得追蹤熱門設計趨勢、天氣預測,甚至觀察社群媒體上的流行話題。像是暖冬來臨,厚外套可能賣不動;或消費者是否因某位明星愛上一種顏色,這些細節都可能影響決策。

這些數據來自不同部門和來源,龐大的資料量與錯綜關聯使企業判斷變得困難。於是,企業常希望有個像經營大師的 AI 代理人,能吸收數據、快速分析,並在做決定時不僅給出答案,還能告訴你「為什麼要這麼做」。

傳統 AI 像個黑盒子,而可解釋 AI (XAI)則清楚解釋其判斷依據。例如,為什麼不建議推出厚外套?可能理由是:「根據天氣預測,今年暖冬概率 80%,過去三年數據顯示暖冬時厚外套銷量下降 20%。」這種透明解釋讓企業更信任 AI 的決策。

-----廣告,請繼續往下閱讀-----

但會解釋還不夠,AI 還需能真正執行。這時,就需要另一位「 AI 代理人」上場。想像這位 AI 代理人是一位「智慧產品經理」,大腦裝滿公司規則、條件與行動邏輯。當客戶要求變更產品設計時,這位產品經理不會手忙腳亂,而是按以下步驟行動:

  1. 檢查倉庫物料:庫存夠不夠?有沒有替代料可用?
  2. 評估交期影響:如果需要新物料,供應商多快能送到?
  3. 計算成本變化:用新料會不會超出成本預算?
  4. 做出最優判斷,並自動生成變更單、工單和採購單,通知各部門配合執行。

這位 AI 代理人不僅能自動處理每個環節,還會記錄每次決策結果,學習如何變得更高效。隨時間推移,這位「智慧產品經理」的判斷將更聰明、決策速度更快,幾乎不需人工干預。更重要的是,這些判斷是基於「以終為始」的原則,為企業成長目標(如 Q4 業績增長 10%)進行連續且動態地自我回饋,而非傳統系統僅月度檢核。

這兩位 AI 代理人的合作,讓企業決策流程不僅透明,還能自動執行。這正是數智驅動的核心,不僅依靠數據驅動決策,還要能解釋每一個選擇,並自動行動。這個過程可簡化為 SUPA,即「感知(Sensing)→ 理解(Understanding)→ 規劃(Planning)→ 行動(Acting)」的閉環流程,隨著數據的變化不斷進化。

偉勝乾燥工業為例,他們面臨高度客製化與訂單頻繁變更的挑戰。導入鼎新 METIS 平台後,偉勝成功將數智驅動融入業務與產品開發,專案準時率因此提升至 80%。他們更將烤箱技術與搬運機器人結合,開發出新形態智慧化設備,成功打入半導體產業,帶動業績大幅成長,創造下一個企業的增長曲線。

-----廣告,請繼續往下閱讀-----

值得一提的是,數智驅動不僅帶動業務增長,還讓員工擺脫繁瑣工作,讓工作更輕鬆高效。

數智驅動的成功不僅依賴技術,還要與企業的商業策略緊密結合。為了讓數智驅動真正發揮作用,企業首先要確保它服務於具體的業務需求,而不是為了技術而技術。

這種轉型需要有策略、文化和具體應用場景的支撐,才能讓數智驅動真正成為企業持續增長的動力。

還在猶豫數智驅動的威力?免費上手企業 AI 助理!👉 企業 AI 體驗
現在使用專屬邀請碼《 KP05 》註冊就享知:https://lihi.cc/EDUk4
訂閱泛科學獨家知識頻道,深入科技趨勢與議題內容。

👉立即免費加入

-----廣告,請繼續往下閱讀-----
鳥苷三磷酸 (PanSci Promo)_96
225 篇文章 ・ 313 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia