虛擬試衣間! virtual dressing room

本文與 研華科技 合作，泛科學企劃執行。

每次 NVIDIA 執行長黃仁勳公開發言，總能牽動整個 AI 產業的神經。然而，我們不妨設想一個更深層的問題——如今的 AI 幾乎都倚賴網路連線，那如果哪天「網路斷了」，會發生什麼事？

想像你正在自駕車打個盹，系統突然警示：「網路連線中斷」，車輛開始偏離路線，而前方竟是萬丈深谷。又或者家庭機器人被駭，開始暴走跳舞，甚至舉起刀具向你走來。

這會是黃仁勳期待的未來嗎？當然不是！也因為如此，「邊緣 AI」成為業界關注重點。不靠雲端，AI 就能在現場即時反應，不只更安全、低延遲，還能讓數據當場變現，不再淪為沉沒成本。

什麼是邊緣 AI ？

邊緣 AI，乍聽之下，好像是「孤單站在角落的人工智慧」，但事實上，它正是我們身邊最可靠、最即時的親密數位夥伴呀。

當前，像是企業、醫院、學校內部的伺服器，個人電腦，甚至手機等裝置，都可以成為「邊緣節點」。當數據在這些邊緣節點進行運算，稱為邊緣運算；而在邊緣節點上運行 AI ，就被稱為邊緣 AI。簡單來說，就是將原本集中在遠端資料中心的運算能力，「搬家」到更靠近數據源頭的地方。

那麼，為什麼需要這樣做？資料放在雲端，集中管理不是更方便嗎？對，就是不好。

第一個不好是物理限制：「延遲」。
即使光速已經非常快，數據從你家旁邊的路口傳到幾千公里外的雲端機房，再把分析結果傳回來，中間還要經過各種網路節點轉來轉去…這樣一來一回，就算只是幾十毫秒的延遲，對於需要「即刻反應」的 AI 應用，比如說工廠裡要精密控制的機械手臂、或者自駕車要判斷路況時，每一毫秒都攸關安全與精度，這點延遲都是無法接受的！這是物理距離與網路架構先天上的限制，無法繞過去。

第二個挑戰，是資訊科學跟工程上的考量：「頻寬」與「成本」。
你可以想像網路頻寬就像水管的粗細。隨著高解析影像與感測器數據不斷來回傳送，湧入的資料數據量就像超級大的水流，一下子就把水管塞爆！要避免流量爆炸，你就要一直擴充水管，也就是擴增頻寬，然而這樣的基礎建設成本是很驚人的。如果能在邊緣就先處理，把重要資訊「濃縮」過後再傳回雲端，是不是就能減輕頻寬負擔，也能節省大量費用呢？

第三個挑戰：系統「可靠性」與「韌性」。
如果所有運算都仰賴遠端的雲端時，一旦網路不穩、甚至斷線，那怎麼辦？很多關鍵應用，像是公共安全監控或是重要設備的預警系統，可不能這樣「看天吃飯」啊！邊緣處理讓系統更獨立，就算暫時斷線，本地的 AI 還是能繼續運作與即時反應，這在工程上是非常重要的考量。

所以你看，邊緣運算不是科學家們沒事找事做，它是順應數據特性和實際應用需求，一個非常合理的科學與工程上的最佳化選擇，是我們想要抓住即時數據價值，非走不可的一條路！

邊緣 AI 的實戰魅力：從工廠到倉儲，再到你的工作桌

知道要把 AI 算力搬到邊緣了，接下來的問題就是─邊緣 AI 究竟強在哪裡呢？它強就強在能夠做到「深度感知（Deep Perception）」！

所謂深度感知，並非僅僅是對數據進行簡單的加加減減，而是透過如深度神經網路這類複雜的 AI 模型，從原始數據裡面，去「理解」出更高層次、更具意義的資訊。

以研華科技為例，旗下已有多項邊緣 AI 的實戰應用。以工業瑕疵檢測為例，利用物件偵測模型，快速將工業產品中的瑕疵挑出來，而且由於 AI 模型可以使用同一套參數去檢測，因此品管上能達到一致性，減少人為疏漏。尤其在高產能工廠中，檢測速度必須快、狠、準。研華這套 AI 系統每分鐘最高可處理 8,000 件產品，替工廠節省大量人力，同時確保品質穩定。這樣的效能來自於一台僅有膠囊咖啡機大小的邊緣設備—IPC-240。

此外，在智慧倉儲場域，研華與威剛合作，研華與威剛聯手合作，在 MIC-732AO 伺服器上搭載輝達的 Nova Orin 開發平台，打造倉儲系統的 AMR（Autonomous Mobile Robot） 自走車。這跟過去在倉儲系統中使用的自動導引車 AGV 技術不一樣，AMR 不需要事先規劃好路線，靠著感測器偵測，就能輕鬆避開障礙物，識別路線，並且將貨物載到指定地點存放。

當然，還有語言模型的應用。例如結合檢索增強生成 ( RAG ) 跟上下文學習 ( in-context learning )，除了可以做備忘錄跟排程規劃以外，還能將實務上碰到的問題記錄下來，等到之後碰到類似的問題時，就能詢問 AI 並得到解答。

你或許會問，那為什麼不直接使用 ChatGPT 就好了？其實，對許多企業來說，內部資料往往具有高度機密性與商業價值，有些場域甚至連手機都禁止員工帶入，自然無法將資料上傳雲端。對於重視資安，又希望運用 AI 提升效率的企業與工廠而言，自行部署大型語言模型（self-hosted LLM）才是理想選擇。而這樣的應用，並不需要龐大的設備。研華的 SKY-602E3 塔式 GPU 伺服器，體積僅如後背包大小，卻能輕鬆支援語言模型的運作，實現高效又安全的 AI 解決方案。

但問題也接著浮現：要在這麼小的設備上跑大型 AI 模型，會不會太吃資源？這正是目前 AI 領域最前沿、最火熱的研究方向之一：如何幫 AI 模型進行「科學瘦身」，又不減智慧。接下來，我們就來看看科學家是怎麼幫 AI 減重的。

語言模型瘦身術之一：量化（Quantization）—用更精簡的數位方式來表示知識

當硬體資源有限，大模型卻越來越龐大，「幫模型減肥」就成了邊緣 AI 的重要課題。這其實跟圖片壓縮有點像：有些畫面細節我們肉眼根本看不出來，刪掉也不影響整體感覺，卻能大幅減少檔案大小。

模型量化的原理也是如此，只不過對象是模型裡面的參數。這些參數原先通常都是以「浮點數」表示，什麼是浮點數？其實就是你我都熟知的小數。舉例來說，圓周率是個無窮不循環小數，唸下去就會是3.141592653…但實際運算時，我們常常用 3.14 或甚至直接用 3，也能得到夠用的結果。降低模型參數中浮點數的精度就是這個意思！ 

然而，量化並不是那麼容易的事情。而且實際上，降低精度多少還是會影響到模型表現的。因此在設計時，工程師會精密調整，確保效能在可接受範圍內，達成「瘦身不減智」的目標。

模型剪枝（Model Pruning）—基於重要性的結構精簡

建立一個 AI 模型，其實就是在搭建一整套類神經網路系統，並訓練類神經元中彼此關聯的參數。然而，在這麼多參數中，總會有一些參數明明佔了一個位置，卻對整體模型沒有貢獻。既然如此，不如果斷將這些「冗餘」移除。

這就像種植作物的時候，總會雜草叢生，但這些雜草並不是我們想要的作物，這時候我們就會動手清理雜草。在語言模型中也會有這樣的雜草存在，而動手去清理這些不需要的連結參數或神經元的技術，就稱為 AI 模型的模型剪枝（Model Pruning）。

模型剪枝的效果，大概能把100變成70這樣的程度，說多也不是太多。雖然這樣的縮減對於提升效率已具幫助，但若我們要的是一個更小幾個數量級的模型，僅靠剪枝仍不足以應對。最後還是需要從源頭著手，採取更治本的方法：一開始就打造一個很小的模型，並讓它去學習大模型的知識。這項技術被稱為「知識蒸餾」，是目前 AI 模型壓縮領域中最具潛力的方法之一。

知識蒸餾（Knowledge Distillation）—讓小模型學習大師的「精髓」

想像一下，一位經驗豐富、見多識廣的老師傅，就是那個龐大而強悍的 AI 模型。現在，他要培養一位年輕學徒—小型 AI 模型。與其只是告訴小型模型正確答案，老師傅 (大模型) 會更直接傳授他做判斷時的「思考過程」跟「眉角」，例如「為什麼我會這樣想？」、「其他選項的可能性有多少？」。這樣一來，小小的學徒模型，用它有限的「腦容量」，也能學到老師傅的「智慧精髓」，表現就能大幅提升！這是一種很高級的訓練技巧，跟遷移學習有關。

舉個例子，當大型語言模型在收到「晚餐：鳳梨」這組輸入時，它下一個會接的詞語跟機率分別為「炒飯：50%，蝦球：30%，披薩：15%，汁：5%」。在知識蒸餾的過程中，它可以把這套機率表一起教給小語言模型，讓小語言模型不必透過自己訓練，也能輕鬆得到這個推理過程。如今，許多高效的小型語言模型正是透過這項技術訓練而成，讓我們得以在資源有限的邊緣設備上，也能部署愈來愈強大的小模型 AI。

但是！即使模型經過了這些科學方法的優化，變得比較「苗條」了，要真正在邊緣環境中處理如潮水般湧現的資料，並且高速、即時、穩定地運作，仍然需要一個夠強的「引擎」來驅動它們。也就是說，要把這些經過科學千錘百鍊、但依然需要大量計算的 AI 模型，真正放到邊緣的現場去發揮作用，就需要一個強大的「硬體平台」來承載。

邊緣 AI 的強心臟：SKY-602E3 的三大關鍵

像研華的 SKY-602E3 塔式 GPU 伺服器，就是扮演「邊緣 AI 引擎」的關鍵角色！那麼，它到底厲害在哪？

一、核心算力
它最多可安裝 4 張雙寬度 GPU 顯示卡。為什麼 GPU 這麼重要？因為 GPU 的設計，天生就擅長做「平行計算」，這正好就是 AI 模型裡面那種海量數學運算最需要的！

你想想看，那麼多數據要同時處理，就像要請一大堆人同時算數學一樣，GPU 就是那個最有效率的工具人！而且，有多張 GPU，代表可以同時跑更多不同的 AI 任務，或者處理更大流量的數據。這是確保那些科學研究成果，在邊緣能真正「跑起來」、「跑得快」、而且「能同時做更多事」的物理基礎！

二、工程適應性——塔式設計。
邊緣環境通常不是那種恆溫恆濕的標準機房，有時是在工廠角落、辦公室一隅、或某個研究實驗室。這種塔式的機箱設計，體積相對緊湊，散熱空間也比較好（這對高功耗的 GPU 很重要！），部署起來比傳統機架式伺服器更有彈性。這就是把高性能計算，進行「工程化」，讓它能適應台灣多樣化的邊緣應用場景。

三、可靠性
SKY-602E3 用的是伺服器等級的主機板、ECC 糾錯記憶體、還有備援電源供應器等等。這些聽起來很硬的規格，背後代表的是嚴謹的工程可靠性設計。畢竟在邊緣現場，系統穩定壓倒一切！你總不希望 AI 分析跑到一半就掛掉吧？這些設計確保了部署在現場的 AI 系統，能夠長時間、穩定地運作，把實驗室裡的科學成果，可靠地轉化成實際的應用價值。

台灣製造 × 在地智慧：打造專屬的邊緣 AI 解決方案

研華科技攜手八維智能，能幫助企業或機構提供客製化的AI解決方案。他們的技術能力涵蓋了自然語言處理、電腦視覺、預測性大數據分析、全端軟體開發與部署，及AI軟硬體整合。

無論是大小型語言模型的微調、工業瑕疵檢測的模型訓練、大數據分析，還是其他 AI 相關的服務，都能交給研華與八維智能來協助完成。他們甚至提供 GPU 與伺服器的租借服務，讓企業在啟動 AI 專案前，大幅降低前期投入門檻，靈活又實用。

台灣有著獨特的產業結構，從精密製造、城市交通管理，到因應高齡化社會的智慧醫療與公共安全，都是邊緣 AI 的理想應用場域。更重要的是，這些情境中許多關鍵資訊都具有高度的「時效性」。像是產線上的一處異常、道路上的突發狀況、醫療設備的即刻警示，這些都需要分秒必爭的即時回應。

如果我們還需要將數據送上雲端分析、再等待回傳結果，往往已經錯失最佳反應時機。這也是為什麼邊緣 AI，不只是一項技術創新，更是一條把尖端 AI 科學落地、真正發揮產業生產力與社會價值的關鍵路徑。讓數據在生成的那一刻、在事件發生的現場，就能被有效的「理解」與「利用」，是將數據垃圾變成數據黃金的賢者之石！

👉 更多研華Edge AI解決方案
👉 立即申請Server租借

元宇宙是利用雲端伺服器建立的虛擬世界，使用者可以使用虛擬實境 (VR) 或擴增實境 (AR) 進入雲端，以虛擬替身與其他使用者交流，那麼目前已經發展到什麼程度？未來又會如何發展呢？

第一個接近元宇宙的平台：機器磚塊 (Roblox)

講到元宇宙的概念，許多人立刻會想到目前熱門的多人線上角色扮演遊戲，例如：動物森友會、模擬市民、暗黑破壞神、仙劍奇俠傳等。這些線上遊戲可以讓玩家在虛擬的遊戲裡擁有另外一個身分與全新的生活，但由於技術上的限制，這些線上遊戲帶給玩家的沉浸感不足，內容也只是遊戲，與元宇宙希望建立的世界還有很大的差距。

第一個接近元宇宙的平台是「機器磚塊 (Roblox) 」，它不只是一個線上角色扮演遊戲，使用者還可以設計自己的遊戲、物品、衣服，同時遊玩自己或其他開發者建立的各種遊戲，是由像樂高積木般的虛擬磚塊所建構的網路虛擬世界。

就類似於我們的影音創作發表在 YouTube 平台上，或程式設計師的程式創作發表在「應用程式商店 (App Store) 」平台上，經由平台分享讓谷歌 (Google) 分潤的概念。

元宇宙的未來可能有兩個發展方向

目前元宇宙的建立還在初期戰國時代多強爭霸的階段，各種不同的社群平台與遊戲廠商都躍躍欲試，因此還沒有系統能夠一統天下，未來誰會勝出仍不確定。元宇宙的未來可能有兩個發展方向：

第一階段：可能是由某家公司主導，但是開放原始程式碼讓任何人都可以使用，類似谷歌建立 Android 平台，讓所有開發者在平台上建立應用程式 (App：Application Program)。

例如：我在臉書的元宇宙要參加舞會，想買一個「虛擬愛馬仕包包」，則必須到「虛擬愛馬仕商店」購買，而愛馬仕公司則必須到臉書的元宇宙裡開設一家虛擬愛馬仕商店，在這裡「虛擬愛馬仕包包」就好像一個應用程式，因此和 Android 平台讓所有開發者在平台上建立應用程式的概念是一樣的。

第二階段：可能是由某個基金會主導，開放原始程式碼讓任何人都可以使用，不同公司開發的虛擬世界具有相容性，可以串連成大一統的元宇宙，就像我們現在使用相同的通訊協定在網際網路上漫遊一樣，現在我們上網都是使用「超文本轉換傳輸協定 (HTTP：Hyper Text Transfer Protocol) 」。

假設我們在臉書的元宇宙裡買了一個「虛擬愛馬仕包包」，能不能把它背到谷歌的元宇宙裡去參加舞會？答案是不行，因為程式不相容，因此未來不同公司開發的元宇宙具有相容性，才能串連成大一統的元宇宙。 目前元宇宙的發展還在第一階段，未來還有無限可能，元宇宙大爆發，臉書創辦人說：「元宇宙就是下一世代的網際網路。」就是這個意思。

由於目前臉書營運面臨瓶頸，因此開始啟動轉型，將「臉書 (Facebook) 」改名為「超越 (Meta) 」；輝達 (Nvidia) 執行長說：「元宇宙的經濟規模終將大過實體世界。」由於虛擬世界 3D 建模需要大量的圖形處理器 (GPU)，將為輝達帶來另一波成長動能。我們在思考元宇宙時必須跳脫線上遊戲的思維，發展成創意發想平台、互動社交平台。

科技業界爆紅：元宇宙將主宰全宇宙？

Roundhill 投資公司預估 2030 年元宇宙產值高達 2.5 兆美元，這個數字可能有些誇大，但是確實代表元宇宙未來有不小的市場。事實上，未來元宇宙的重度使用者，主要還是目前網路遊戲的使用者，因此要估計元宇宙的市場，可以從目前的遊戲市場著手。

目前全球的遊戲市場每年有超過 2,500 億美元的商機，等於未來 8 年要成長大約 10 倍，如果我們把建立元宇宙所需要的資料中心所有硬體成本都計算進去，的確有可能達到這個規模。除了科技大廠躍躍欲試，為什麼連金融業、精品業也擁抱元宇宙？

大家想想，要建立一個能夠容納全球數十億玩家的虛擬世界，而且現在大家對畫質與 3D 影像的品質要求愈來愈高，需要加蓋許多資料中心，包括：雲端伺服器、中央處理器 (CPU)、圖形處理器 (GPU)、儲存元件 (DDR/SSD)；使用者連線需要各種網路設備與終端裝置，包括：網通設備、光纖通訊、第五代行動電話 (5G) 與物聯網 (IoT)、虛擬實境 (VR) 與擴增實境 (AR) 眼鏡、平面顯示器、智慧型手機、個人電腦等，顯然會給科技產業帶來巨大的商機。

此外，玩家在元宇宙裡需要線上消費、因此需要虛擬信用卡，金融業就有參與的角色；加密貨幣在真實世界裡就是個圈錢的龐氏騙局，都可以炒作到天價，在元宇宙的虛擬世界裡，怎麼可能放過這個炒作的機會？在真實世界裡我買不起愛馬仕的包包、鞋子、項鍊、耳環等各種精品，在虛擬世界裡不就可以買了嗎？因此精品業就有參與的角色。

在真實世界裡，我住狹窄的公寓、開國產轎車，在虛擬世界裡就可以住豪宅、開法拉利跑車；在真實世界裡，我是個員工每天被老闆罵，在虛擬世界裡我就是老闆可以罵員工；在真實世界裡，想搭SpaceX的太空飛船去火星「貴森森」我付不起，在虛擬世界裡我當然可以去星際旅遊跑遍全宇宙，甚至元宇宙會提供某些工作，所以未來可能有人在真實世界沒有工作，是進入虛擬世界上班的。

總之當我們在思考元宇宙時，不要被限制在現有的網路世界裡，請發揮你的想像力！

——本文摘自《加密貨幣的真相：揭穿區塊鏈無本金融的國王新衣》，2022 年 1 1月，先覺出版，未經同意請勿轉載。

本文轉載自中央研究院研之有物，泛科學為宣傳推廣執行單位。

• 採訪撰文│林承勳
• 美術設計│林洵安

自動化音樂展演的可能性

人工智慧（簡稱 AI）技術日新月異，不只打敗人類圍棋高手，現在更用在醫療、交通、金融、資安各領域，遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能：自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物，配合真人一同演出，而且演奏動畫和音樂伴奏皆可自動產生。未來，經營 VTuber（虛擬 YouTuber）背後可能不再需要龐大製作團隊，只要專注在企劃和劇本，其他讓 AI 幫你一鍵生成！

真實與虛擬合奏的貝多芬小提琴奏鳴曲

虛擬音樂家系統，這是蘇黎與其團隊最近的研究成果，他將 AI 應用到音樂表演現場，並試圖推展到整個多媒體產業。這套系統已實際在舞台演示，並與多個音樂展演團隊合作，包括：沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。

以近年蘇黎舉辦的音樂會為例，主要可分為兩部分，一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家；另一個，即為該場演奏的特別之處：正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合，真人鋼琴家彈奏的過程中，虛擬音樂家系統除了負責合奏，同時還要生成螢幕上虛擬演奏者的動畫身影。

不放槍、不搶拍的自動伴奏系統

虛擬音樂家系統的「自動伴奏」，不同於卡拉 OK 的機器伴奏，演奏者不需配合伴唱音樂，而是程式控制伴唱音樂以配合演奏者，讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性，自動伴奏的運算必須又快又準。蘇黎指出，這也是研究中比較具有挑戰性的部分。

自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元，讓虛擬音樂家精準掌握真人演奏實況。

舉例來說，想要跟人合奏，首先要確定能同步開始，這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出，但現場會有其他聲音，不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說，因此團隊會先將整個樂譜，輸入到虛擬音樂家的自動伴奏系統中，並在演奏會場早早就讓系統持續待命，只要音樂偵測器偵測到樂譜的第一個音，伴奏隨即啟動。

自動伴奏系統在確認演奏開始之後，馬上又有另一項任務：追蹤音樂進度。因為每位音樂家會有自己的演奏風格，而且真人不管如何熟練，都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務，便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。

「音樂追蹤器採用多執行緒線上動態時間校正（online dynamic time warping）演算法，每一個執行緒在最短時間內各自計算並取平均值，以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋，追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對，就能推測多久後會演奏下一個音。至於位置估算單元，則是用來估計當下已演奏到整個樂譜的哪個位置。

虛擬音樂家系統藉由上述的自動伴奏技術，追蹤真人演奏進度，並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右，但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示，音樂心理學已證實，就算是沒有經過專業訓練的一般人，0.1 秒的誤差聽起來仍非常明顯，「延遲 0.01 秒可以勉強不引起業餘人士的注意；但面對專業音樂家時，延遲可能要到 0.001 秒左右才能過關。」

訓練 AI 自動生成虛擬音樂家動畫形象

現場音樂表演是影音的雙重享受，所以虛擬音樂家除了擁有自動伴奏的「聲音」，還需要擁有將表演動作形象化的動畫「影像」。

真人音樂家演奏時，不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等，都存在個人差異，沒有一套固定標準。例如拉琴的手勢，10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是：取得大量影音資料，讓 AI 學習如何製造虛擬音樂家的肢體動作。

首先，徵求多位專業小提琴演奏者，穿上有標記點的特殊衣服，站在有動態捕捉裝置的空間中，演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術，會偵測音樂家全身骨骼的關節點，作為虛擬音樂家動畫生成的訓練資料，並在訓練動畫生成模型的過程中，重點關注持弓的右手如何移動。

透過 U 型網路、自注意力機制等核心技術，來輸出虛擬音樂家動態肢體影像。

在訓練 AI 與生成動畫影像的過程中，需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路（U-net），負責圖像之間的轉換，由編碼圖層傳到解碼圖層。它的優點是速度快，而且輸入輸出格式相對容易設計，能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點，而非一個一個骨架點逐步輸出。」蘇黎說。

除此之外，還有自注意力（self-attention）機制，讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式，有時間上的關聯性，假設真人音樂家某個動作在大鼓響起時一直出現，就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中，只要聽到該音樂的大鼓聲出現，就會發出明顯訊號，認為此時要搭配相應的肢體動作。

簡單來說，想要自動化生出虛擬小提琴家，不僅聲音要到位，動畫也要足夠精準。音樂需要自動伴奏系統，即時追蹤真人演奏者的進度並觸發伴奏；而相應的肢體動作，則有賴透過 U 型網路與自注意力機制，讓 AI 在音樂現場了解此時要搭配何種動作。

進階挑戰：由聽覺到視覺的跨感官轉換

自動生成聲音和影像後，研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌，就聯想到一幅畫。但坦白講，這種音樂到視覺風格轉換（music-to-visual style transfer）非常困難。」蘇黎說。當初有學生向他提出這個構想，想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重，因為最重要的訓練資料幾乎是無法取得。

AI 並非無中生有，機器學習有賴龐大、高品質的資料。

想要讓 AI 學習聽音樂聯想畫面，就必須要有真人示範，聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難，但找來的人未必善於繪畫；即使花大錢請畫家參與實驗，人少沒有代表性，人多則風格又可能大相逕庭。「演奏動作還有跡可循，但大家聽音樂腦補的畫面都不一樣，這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。

研究團隊決定退而求其次，改成在一組音樂跟一組影像資料庫，透過兩者之間共享的語義標註（labels），試圖建立起對應關係。就像是電腦在連連看，如果配對起來共通點還算合理就成功。此時問題又來了，所謂「合理」實在難以界定，於是執行標準只好再一次降低，音樂與畫面的共同標註越簡單越好。

「雖然這跟當初想像中的差距非常大，但目前我們也只能用創作年代來當標註。」蘇黎說，經由創作年代這個共同標註，電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想，模型建立起來後，在虛擬音樂家系統裡還是可以發揮一些功能，像是為演奏會搭配符合音樂年代的背景畫面，或色彩效果。

如何成為音樂資訊研究者？

在虛擬音樂家系統之前，蘇黎與實驗室團隊（音樂與文化科技實驗室）在自動音樂採譜方面的研究已經有豐厚成果，他們研發出開源工具《Omnizart》。

《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。

它具備當前全世界最多樣樂器組合的分析功能，只要輸入一段音樂，不管是鋼琴獨奏、多重樂器、打擊樂，還是和弦辨識、節拍偵測，甚至是困難的人聲處理，都會幫你分析。

「像鋼琴這類樂器的話，是音樂進去《Omnizart》，生出 MIDI；而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋，透過這些數字化的音訊數據能了解每一瞬間的音高變化，或是泛音、抖音等手法。研究自動採譜 AI 是因為，蘇黎想探究如蕭邦的夜曲等，這些百年來不斷被重複演奏超過千百次的古典樂，在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。

而這次蘇黎用 AI 創造虛擬音樂家系統，同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他，會吹小號，喜歡聽經典的古典樂。對蘇黎來說，興趣是驅使研究向前的一大動力，他認為身為研究者必須要時常探索新的領域，因此常會要求自己不斷接觸世界各國的在地歌謠。

蘇黎的下一步，是以現有虛擬音樂家系統為基礎，加入更多細膩動作（例如臉部表情）的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術，都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家，必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習，但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋，AI 研究者的時間幾乎都耗在蒐集資料上。

同時，研究室也在規劃下一場發表。蘇黎認為，實體演奏會是考驗研究品質最好的方式。除了訓練好模型，現場還有很多要克服的變數，像是很多音樂廳沒有網路，團隊必須將整場演奏會所需的模型，事先設計成用一台筆電就能執行。「總不可能演奏到一半，資料量太大電腦跑不動，然後要跑出去連網路吧。」蘇黎笑著說，音樂會現場要面對很多做研究時不曾碰到的狀況，是很刺激、有挑戰性的任務。

AI 將是未來主流，是好、是壞終究取決於人心。

AI 出現之後，自然也面臨許多批判，例如工作是否會被 AI 取代，甚至以 AI 操控虛假言論或用在軍事用途，但蘇黎覺得，主導權終究還是躲在背後操作的「人」。同樣，隨著虛擬音樂家系統日漸完善，真人音樂家是否擔心未來飯碗被搶走？令人意外的是，蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家，「別小看他們，藝術家可是一群勇敢、期待新事物、信仰未來的人。」

延伸閱讀：

• 蘇黎（2021）。〈我們與機器的距離：與人類互動的虛擬音樂家系統〉，《中研院訊》。
• 張凱鈞（2017）。〈天才莫札特的傳說很狂？現在只要一鍵就做得到！〉，《研之有物》。
• 音樂與文化科技實驗室，《Omnizart: Music Transcription Made Easy》。
• Wu, Y. T., Chen, B., & Su, L. (2020). Multi-Instrument Automatic Music Transcription With Self-Attention-Based Instance Segmentation.IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, 2796–2809.