融合虛擬與真實影像常常帶來新的應用，之前介紹過虛擬化妝模擬器就是一例。這次的影片是介紹虛擬試衣間，像是kinect之類的及時動作捕捉技術的成熟。目前已經有簡單的方案把即時的人體影像轉成電腦立體模型，這也意味著可以利用電腦的計算能力及時把各種不同的虛擬物件直接跟人體模型互動。
影片中介紹的是可以把想要試穿的衣服、皮包、配件等直接在電腦裡試穿，讓一些可能的搭配直接呈現出來。雖然系統還不完美，不過接下來幾年一定會改善。這樣的技術或許在以後的網路衣物購物上，能幫消費者做出更好的購買判斷。
影片中最後也展示了可以模擬穿著衣物滑雪的模樣，當然同樣類型的虛擬場景也可以利用像是電視製作或是舞台表演的場合。這些都是接近成熟的技術了，之後就等待有創意的朋友來找到更合適的應用跟發揮想像了！
本文原發表於 Scimage 科學影像 [2011. 7. 12]
本文由 Amway 委託，泛科學企劃執行。
到底怎樣才算是「乾淨」？這不是什麼靈魂拷問，而是一個價值上億的商業命題。
在半導體產業的無塵室中，「乾淨」的定義極其殘酷：一粒肉眼看不見的灰塵，就足以讓造價數百萬美元的晶圓直接報廢。空氣品質的好壞，甚至能成為台積電（TSMC）決定是否在當地設廠的關鍵性指標。回到你的家中，雖然不需要生產精密晶片，但我們呼吸系統中的肺泡同樣精密，卻長期暴露在充滿 PM2.5、病毒以及各種揮發性氣體的環境中。為了守護健康，你可能還要付費購買「乾淨的空氣」來用。
因此，空氣議題早已超越單純的環保範疇，成為同時影響國家經濟與個人健康的重要問題。
很多人可能沒想到，無論是家用的空氣清淨機，還是造價動輒百億的頂尖晶圓廠，它們對抗污染的核心武器並非什麼複雜的雷射防護罩，而是同一件看起來平凡無奇的東西：一片外觀像紙一樣的 HEPA 濾網。但你真的相信，就憑這層厚度不到幾公分的板子，能擋住那些足以毀滅精密晶片、滲透人體細胞的「奈米級刺客」嗎？
首先，我們必須打破一個直覺上的誤解：HEPA 濾網（High Efficiency Particulate Air filter）在本質上其實並不是一張「網」。
細懸浮微粒 PM2.5，是指粒徑在 2.5 微米以下的污染物，它們能穿過呼吸道直達肺泡，並穿過血管引發全身性發炎。但這只是基本，在工廠與汽車尾氣中，還存在粒徑僅有 1 微米的 PM1，甚至是小於 0.1 微米的「超細懸浮微粒」（UFP，即 PM0.1）。 UFP 不僅能輕易進入血液，甚至能繞過血腦屏障（BBB），進入大腦與胎盤，其破壞力十分可怕。
如果 HEPA 濾網像水槽濾網或麵粉篩一樣，單靠孔目大小來「過濾」粒子，那麼為了攔截奈米微粒，濾網的孔目只能無限縮小到幾乎不透氣的程度。更別說在台積電或 Intel 的製程工程師眼裡，一般人認為的「乾淨」，在工程師眼裡簡直像沙塵暴一樣。對於線寬僅有 2 奈米或 3 奈米（相當於頭髮直徑萬分之一）的晶片而言，空氣中一顆微小的塵埃，就是一顆足以毀滅世界的隕石。
因此，傳統的過濾思維並非治本之道，我們需要的是原理截然不同的過濾方案。這套技術的雛形，最早可追溯至二戰時期的「曼哈頓計畫」。
HEPA 的前身，誕生於曼哈頓計畫！
1940 年代，製造濃縮鈾是發展原子彈的關鍵。然而，若將排氣直接排向大氣，會導致致命的放射性微粒擴散。負責解決這問題的是 1932 年諾貝爾化學獎得主歐文·朗繆爾（Irving Langmuir），他是薄膜和表面吸附現象的專家。他開發了「絕對過濾器」（Absolute Filter），其內部並非有孔的篩網，而是石綿纖維。
有趣的來了，如果把過濾器放到顯微鏡下，你會發現纖維之間的空隙，其實比某些被攔截的粒子還要大。那為什麼粒子穿不過去呢？這是因為在奈米尺度下，物理規則與宏觀世界完全不同。極微小的粒子在空氣中飛行時，並非走直線，而是會受到空氣分子撞擊，而產生「布朗運動」（Brownian Motion），像個醉漢一樣東倒西歪。
當粒子通過由緻密纖維構成的混亂迷宮時，布朗運動會迫使它們不斷轉彎、移動，最終撞擊到帶有靜電的纖維上。這時，靜電的吸附力會讓纖維就像蜘蛛網般死死黏住微粒。那些狂亂移動的奈米刺客，就這樣被永久禁錮迷宮中。
現代 HEPA 濾網最常見的核心材料為硼矽酸鹽玻璃纖維。這些玻璃纖維的直徑通常介於 0.5 至 2 微米之間，它們在濾網內隨機交織，像是一座茂密「黑森林」。微粒進入這片森林後，並非僅僅面對一層薄紙，而是得穿越一個具有厚度且排列混亂的纖維層，微粒極有可能在布朗運動的影響下撞擊並黏附在某根玻璃絲上。
除此之外，HEPA 濾網在外觀上還有一個極具辨識度的特徵，那就是像手風琴般的摺紙結構。濾材會被反覆摺疊、摺成手風琴的形狀，中間則用鋁箔或特殊的防潮紙進行結構支撐，目的是增加表面積。這不僅為了捕獲更多微粒，而是要「降低過濾風速」。這聽起來可能有點反直覺：過濾不是越快越好嗎？
其實，這與物理學中的流速控制有關。想像一條水管，如果你捏住出口，水流會變得湍急；若將出口放開並擴大，雖然總出水量不變，但出水處的流速會變得緩慢。對於 HEPA 濾網而言，當表面積越大，單位面積所需承載的空氣量就越少，空氣穿透濾網的速度也就越低。
低流速代表微粒停留在濾網內的時間也更久，增加被捕捉的機會。此外，越大的表面積也為 HEPA 濾網帶來了高「容塵量」，延長了使用壽命，這正是它能夠稱霸空氣清淨領域多年的主因。
然而，即便都叫做 HEPA 高效率空氣微粒子過濾網 (High Efficiency Particulate Air filter)，但每個 HEPA 的成分與結構還是會不一樣。例如 安麗逸新空氣清淨機 SKY ，其標榜「可過濾粒徑最小至 0.0024 微米」的污染物，去除率高達 99.99%。
0.0024 微米是什麼概念？塵蟎、花粉、皮屑或黴菌孢子，大小約在 2 至 200 微米；細懸浮微粒 PM2.5 大小約 2.5 微米，細菌也大概這麼大。最小的其實是粒徑小於 0.1 微米的「超細懸浮微粒」，大多數的病毒（如流感、新冠病毒）都落在此區間。對安麗逸新 的HEPA濾網來說，基本上通通都是可被攔截的榜上名單。
在過敏防護上，它更獲得英國過敏協會（Allergy UK）認證，能有效處理 19 大類、102 種過敏原，濾除空氣中超過 300 種氣態與固態污染物。
然而，同樣的過濾邏輯一旦進入半導體無塵室，就必須換一條更為嚴苛的技術路線。因為硼矽酸鹽玻璃纖維對晶圓來說有個致命傷，就是「硼 (Boron)」。
在半導體製程中，硼是常見的 P 型摻雜物，用來精準改變矽晶圓的電性。如果濾網有任何微小的破損、老化或化學侵蝕，進而釋放出極微量的硼離子，就可能直接污染晶圓，改變其導電特性，導致晶片報廢。
此外，無塵室要求的是比 HEPA 更極致的 ULPA（超低穿透率空氣濾網） 等級的潔淨度。ULPA 的標準通常要求對 0.12 微米 的粒子達到 99.999% 甚至 99.9999% 的超高攔截率。在奈米級的競爭中，任何多穿透的一顆微塵，都代表著一筆不小的經濟損失。
為了解決「硼」的問題並追求極限的過濾效率，材料學家搬出了塑膠界的王者，PTFE 也鐵氟龍。鐵氟龍不僅耐酸鹼、耐腐蝕，還能透過拉伸製成直徑僅 0.05 至 0.1 微米 的極細纖維，其細度遠勝玻璃纖維。雖然 PTFE 耐化學腐蝕，但它既昂貴且物理上也很脆弱，安裝時若不小心稍微觸碰，數萬元的濾網就可能報銷。因此，你只會在晶圓廠而非一般家庭環境看到它。
即便如此，在空氣濾淨系統中，還有一樣是無塵室和你家空氣清淨器上面都有的另一張濾網，就是活性碳濾網。
好不容易將微塵擋在門外時，危機卻還沒有解除。因為空氣中還隱藏著另一類更難纏的大魔王：AMC（氣態分子污染物）。
HEPA 或 ULPA 這類物理濾網雖然能攔截固體微粒，但面對氣態分子時，就像是用網球拍想撈起水一樣徒勞。這些氣態分子如同「幽靈」一般，能輕易穿過物理濾網的縫隙，其中包括氮氧化物、二氧化硫，以及來自人體的氨氣與各種揮發性有機物（VOCs）。
為了對付這些幽靈，我們必須在物理防線之外，加裝一道「化學濾網」。
這道防線的核心就是我們熟知的活性碳。但這與烤肉用的木炭不同，這裡使用的是經過特殊改造的「浸漬處理（Impregnation）」活性碳。材料科學家會根據敵人的不同性質，在活性碳上添加不同的化學藥劑：
空氣濾淨的終極邏輯：物理與化學防線的雙重合圍
在晶圓廠這種對空氣品質斤斤計較的極端環境，活性碳的運用並非「亂槍打鳥」，而是一場極其精密的對戰策略。
工程師會根據不同製程區域的空氣分析報告，像玩 RPG 遊戲時根據怪物屬性更換裝備一樣——「打火屬性怪要穿防火裝，打冰屬性則換上防寒裝」。在最關鍵的黃光微影區（Photolithography），晶圓最怕的是人體呼出的氨氣，此時便會配置經過酸性藥劑處理的活性碳進行精準中和；而在蝕刻區（Etching），若偵測到酸性廢氣，則會改用鹼性配方的濾網。這種「對症下藥」的客製化邏輯，是確保晶片良率的唯一準則。
而在你的家中，雖然我們無法像晶圓廠那樣天天進行空氣成分分析，但你的肺部同樣需要這種等級的保護。安麗逸新空氣清淨機 SKY 的設計邏輯，正是將這種工業級的精密防護帶入家庭。它不僅擁有前述的高規 HEPA 濾網，更搭載了獲得美國專利的活性碳氣味濾網。
關於活性碳，科學界有個關鍵指標：「比表面積（Specific Surface Area）」。活性碳的孔隙越多、表面積越大，其吸附能力就越強。逸新氣味濾網選用高品質椰殼製成的活性碳，並經過高溫與蒸氣的特殊活化處理，打造出多孔且極致高密度的結構。
這片濾網內的活性碳配重達 1,020 克，但其展開後的總吸附表面積竟然高達 1,260,000 平方公尺——這是一個令人難以想像的數字，相當於 10.5 個台北大巨蛋 的面積。這種超高的比表面積，是市面上常見濾網的百倍之多。更重要的是，它還添加了雙重觸媒技術，能特別針對甲醛、戴奧辛、臭氧以及各種細微的異味分子進行捕捉。這道專利塗層防線，能將你從裝潢家具散發的有機揮發氣體，或是路邊繁忙車流的廢氣中拯救出來，成為全家人的專屬空氣守護者。
總結來說，無論是造價百億的半導體無塵室，還是守護家人的空氣清淨機，其背後的科學邏輯如出一轍：「物理濾網攔截微粒，化學濾網捕捉氣體」。只有當這兩道防線同時運作，空氣才稱得上是真正的「乾淨」。
進一步了解商品：https://shop.amway.com.tw/products/2071?navigationType=brand&
討論功能關閉中。
元宇宙是利用雲端伺服器建立的虛擬世界，使用者可以使用虛擬實境 (VR) 或擴增實境 (AR) 進入雲端，以虛擬替身與其他使用者交流，那麼目前已經發展到什麼程度？未來又會如何發展呢？
講到元宇宙的概念，許多人立刻會想到目前熱門的多人線上角色扮演遊戲，例如：動物森友會、模擬市民、暗黑破壞神、仙劍奇俠傳等。這些線上遊戲可以讓玩家在虛擬的遊戲裡擁有另外一個身分與全新的生活，但由於技術上的限制，這些線上遊戲帶給玩家的沉浸感不足，內容也只是遊戲，與元宇宙希望建立的世界還有很大的差距。
第一個接近元宇宙的平台是「機器磚塊 (Roblox) 」，它不只是一個線上角色扮演遊戲，使用者還可以設計自己的遊戲、物品、衣服，同時遊玩自己或其他開發者建立的各種遊戲，是由像樂高積木般的虛擬磚塊所建構的網路虛擬世界。
就類似於我們的影音創作發表在 YouTube 平台上，或程式設計師的程式創作發表在「應用程式商店 (App Store) 」平台上，經由平台分享讓谷歌 (Google) 分潤的概念。
目前元宇宙的建立還在初期戰國時代多強爭霸的階段，各種不同的社群平台與遊戲廠商都躍躍欲試，因此還沒有系統能夠一統天下，未來誰會勝出仍不確定。元宇宙的未來可能有兩個發展方向：
第一階段：可能是由某家公司主導，但是開放原始程式碼讓任何人都可以使用，類似谷歌建立 Android 平台，讓所有開發者在平台上建立應用程式 (App：Application Program)。
例如：我在臉書的元宇宙要參加舞會，想買一個「虛擬愛馬仕包包」，則必須到「虛擬愛馬仕商店」購買，而愛馬仕公司則必須到臉書的元宇宙裡開設一家虛擬愛馬仕商店，在這裡「虛擬愛馬仕包包」就好像一個應用程式，因此和 Android 平台讓所有開發者在平台上建立應用程式的概念是一樣的。
第二階段：可能是由某個基金會主導，開放原始程式碼讓任何人都可以使用，不同公司開發的虛擬世界具有相容性，可以串連成大一統的元宇宙，就像我們現在使用相同的通訊協定在網際網路上漫遊一樣，現在我們上網都是使用「超文本轉換傳輸協定 (HTTP：Hyper Text Transfer Protocol) 」。
假設我們在臉書的元宇宙裡買了一個「虛擬愛馬仕包包」，能不能把它背到谷歌的元宇宙裡去參加舞會？答案是不行，因為程式不相容，因此未來不同公司開發的元宇宙具有相容性，才能串連成大一統的元宇宙。 目前元宇宙的發展還在第一階段，未來還有無限可能，元宇宙大爆發，臉書創辦人說：「元宇宙就是下一世代的網際網路。」就是這個意思。
由於目前臉書營運面臨瓶頸，因此開始啟動轉型，將「臉書 (Facebook) 」改名為「超越 (Meta) 」；輝達 (Nvidia) 執行長說：「元宇宙的經濟規模終將大過實體世界。」由於虛擬世界 3D 建模需要大量的圖形處理器 (GPU)，將為輝達帶來另一波成長動能。我們在思考元宇宙時必須跳脫線上遊戲的思維，發展成創意發想平台、互動社交平台。
Roundhill 投資公司預估 2030 年元宇宙產值高達 2.5 兆美元，這個數字可能有些誇大，但是確實代表元宇宙未來有不小的市場。事實上，未來元宇宙的重度使用者，主要還是目前網路遊戲的使用者，因此要估計元宇宙的市場，可以從目前的遊戲市場著手。
目前全球的遊戲市場每年有超過 2,500 億美元的商機，等於未來 8 年要成長大約 10 倍，如果我們把建立元宇宙所需要的資料中心所有硬體成本都計算進去，的確有可能達到這個規模。除了科技大廠躍躍欲試，為什麼連金融業、精品業也擁抱元宇宙？
大家想想，要建立一個能夠容納全球數十億玩家的虛擬世界，而且現在大家對畫質與 3D 影像的品質要求愈來愈高，需要加蓋許多資料中心，包括：雲端伺服器、中央處理器 (CPU)、圖形處理器 (GPU)、儲存元件 (DDR/SSD)；使用者連線需要各種網路設備與終端裝置，包括：網通設備、光纖通訊、第五代行動電話 (5G) 與物聯網 (IoT)、虛擬實境 (VR) 與擴增實境 (AR) 眼鏡、平面顯示器、智慧型手機、個人電腦等，顯然會給科技產業帶來巨大的商機。
此外，玩家在元宇宙裡需要線上消費、因此需要虛擬信用卡，金融業就有參與的角色；加密貨幣在真實世界裡就是個圈錢的龐氏騙局，都可以炒作到天價，在元宇宙的虛擬世界裡，怎麼可能放過這個炒作的機會？在真實世界裡我買不起愛馬仕的包包、鞋子、項鍊、耳環等各種精品，在虛擬世界裡不就可以買了嗎？因此精品業就有參與的角色。
在真實世界裡，我住狹窄的公寓、開國產轎車，在虛擬世界裡就可以住豪宅、開法拉利跑車；在真實世界裡，我是個員工每天被老闆罵，在虛擬世界裡我就是老闆可以罵員工；在真實世界裡，想搭SpaceX的太空飛船去火星「貴森森」我付不起，在虛擬世界裡我當然可以去星際旅遊跑遍全宇宙，甚至元宇宙會提供某些工作，所以未來可能有人在真實世界沒有工作，是進入虛擬世界上班的。
總之當我們在思考元宇宙時，不要被限制在現有的網路世界裡，請發揮你的想像力！
——本文摘自《加密貨幣的真相：揭穿區塊鏈無本金融的國王新衣》，2022 年 1 1月，先覺出版，未經同意請勿轉載。
本文轉載自中央研究院研之有物，泛科學為宣傳推廣執行單位。
人工智慧（簡稱 AI）技術日新月異，不只打敗人類圍棋高手，現在更用在醫療、交通、金融、資安各領域，遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能：自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物，配合真人一同演出，而且演奏動畫和音樂伴奏皆可自動產生。未來，經營 VTuber（虛擬 YouTuber）背後可能不再需要龐大製作團隊，只要專注在企劃和劇本，其他讓 AI 幫你一鍵生成！
虛擬音樂家系統，這是蘇黎與其團隊最近的研究成果，他將 AI 應用到音樂表演現場，並試圖推展到整個多媒體產業。這套系統已實際在舞台演示，並與多個音樂展演團隊合作，包括：沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。
以近年蘇黎舉辦的音樂會為例，主要可分為兩部分，一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家；另一個，即為該場演奏的特別之處：正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合，真人鋼琴家彈奏的過程中，虛擬音樂家系統除了負責合奏，同時還要生成螢幕上虛擬演奏者的動畫身影。
虛擬音樂家系統的「自動伴奏」，不同於卡拉 OK 的機器伴奏，演奏者不需配合伴唱音樂，而是程式控制伴唱音樂以配合演奏者，讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性，自動伴奏的運算必須又快又準。蘇黎指出，這也是研究中比較具有挑戰性的部分。
自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元，讓虛擬音樂家精準掌握真人演奏實況。
舉例來說，想要跟人合奏，首先要確定能同步開始，這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出，但現場會有其他聲音，不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說，因此團隊會先將整個樂譜，輸入到虛擬音樂家的自動伴奏系統中，並在演奏會場早早就讓系統持續待命，只要音樂偵測器偵測到樂譜的第一個音，伴奏隨即啟動。
自動伴奏系統在確認演奏開始之後，馬上又有另一項任務：追蹤音樂進度。因為每位音樂家會有自己的演奏風格，而且真人不管如何熟練，都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務，便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。
「音樂追蹤器採用多執行緒線上動態時間校正（online dynamic time warping）演算法，每一個執行緒在最短時間內各自計算並取平均值，以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋，追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對，就能推測多久後會演奏下一個音。至於位置估算單元，則是用來估計當下已演奏到整個樂譜的哪個位置。
虛擬音樂家系統藉由上述的自動伴奏技術，追蹤真人演奏進度，並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右，但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示，音樂心理學已證實，就算是沒有經過專業訓練的一般人，0.1 秒的誤差聽起來仍非常明顯，「延遲 0.01 秒可以勉強不引起業餘人士的注意；但面對專業音樂家時，延遲可能要到 0.001 秒左右才能過關。」
現場音樂表演是影音的雙重享受，所以虛擬音樂家除了擁有自動伴奏的「聲音」，還需要擁有將表演動作形象化的動畫「影像」。
真人音樂家演奏時，不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等，都存在個人差異，沒有一套固定標準。例如拉琴的手勢，10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是：取得大量影音資料，讓 AI 學習如何製造虛擬音樂家的肢體動作。
首先，徵求多位專業小提琴演奏者，穿上有標記點的特殊衣服，站在有動態捕捉裝置的空間中，演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術，會偵測音樂家全身骨骼的關節點，作為虛擬音樂家動畫生成的訓練資料，並在訓練動畫生成模型的過程中，重點關注持弓的右手如何移動。
透過 U 型網路、自注意力機制等核心技術，來輸出虛擬音樂家動態肢體影像。
在訓練 AI 與生成動畫影像的過程中，需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路（U-net），負責圖像之間的轉換，由編碼圖層傳到解碼圖層。它的優點是速度快，而且輸入輸出格式相對容易設計，能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點，而非一個一個骨架點逐步輸出。」蘇黎說。
除此之外，還有自注意力（self-attention）機制，讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式，有時間上的關聯性，假設真人音樂家某個動作在大鼓響起時一直出現，就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中，只要聽到該音樂的大鼓聲出現，就會發出明顯訊號，認為此時要搭配相應的肢體動作。
簡單來說，想要自動化生出虛擬小提琴家，不僅聲音要到位，動畫也要足夠精準。音樂需要自動伴奏系統，即時追蹤真人演奏者的進度並觸發伴奏；而相應的肢體動作，則有賴透過 U 型網路與自注意力機制，讓 AI 在音樂現場了解此時要搭配何種動作。
自動生成聲音和影像後，研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌，就聯想到一幅畫。但坦白講，這種音樂到視覺風格轉換（music-to-visual style transfer）非常困難。」蘇黎說。當初有學生向他提出這個構想，想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重，因為最重要的訓練資料幾乎是無法取得。
AI 並非無中生有，機器學習有賴龐大、高品質的資料。
想要讓 AI 學習聽音樂聯想畫面，就必須要有真人示範，聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難，但找來的人未必善於繪畫；即使花大錢請畫家參與實驗，人少沒有代表性，人多則風格又可能大相逕庭。「演奏動作還有跡可循，但大家聽音樂腦補的畫面都不一樣，這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。
研究團隊決定退而求其次，改成在一組音樂跟一組影像資料庫，透過兩者之間共享的語義標註（labels），試圖建立起對應關係。就像是電腦在連連看，如果配對起來共通點還算合理就成功。此時問題又來了，所謂「合理」實在難以界定，於是執行標準只好再一次降低，音樂與畫面的共同標註越簡單越好。
「雖然這跟當初想像中的差距非常大，但目前我們也只能用創作年代來當標註。」蘇黎說，經由創作年代這個共同標註，電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想，模型建立起來後，在虛擬音樂家系統裡還是可以發揮一些功能，像是為演奏會搭配符合音樂年代的背景畫面，或色彩效果。
在虛擬音樂家系統之前，蘇黎與實驗室團隊（音樂與文化科技實驗室）在自動音樂採譜方面的研究已經有豐厚成果，他們研發出開源工具《Omnizart》。
《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。
它具備當前全世界最多樣樂器組合的分析功能，只要輸入一段音樂，不管是鋼琴獨奏、多重樂器、打擊樂，還是和弦辨識、節拍偵測，甚至是困難的人聲處理，都會幫你分析。
「像鋼琴這類樂器的話，是音樂進去《Omnizart》，生出 MIDI；而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋，透過這些數字化的音訊數據能了解每一瞬間的音高變化，或是泛音、抖音等手法。研究自動採譜 AI 是因為，蘇黎想探究如蕭邦的夜曲等，這些百年來不斷被重複演奏超過千百次的古典樂，在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。
而這次蘇黎用 AI 創造虛擬音樂家系統，同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他，會吹小號，喜歡聽經典的古典樂。對蘇黎來說，興趣是驅使研究向前的一大動力，他認為身為研究者必須要時常探索新的領域，因此常會要求自己不斷接觸世界各國的在地歌謠。
蘇黎的下一步，是以現有虛擬音樂家系統為基礎，加入更多細膩動作（例如臉部表情）的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術，都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家，必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習，但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋，AI 研究者的時間幾乎都耗在蒐集資料上。
同時，研究室也在規劃下一場發表。蘇黎認為，實體演奏會是考驗研究品質最好的方式。除了訓練好模型，現場還有很多要克服的變數，像是很多音樂廳沒有網路，團隊必須將整場演奏會所需的模型，事先設計成用一台筆電就能執行。「總不可能演奏到一半，資料量太大電腦跑不動，然後要跑出去連網路吧。」蘇黎笑著說，音樂會現場要面對很多做研究時不曾碰到的狀況，是很刺激、有挑戰性的任務。
AI 將是未來主流，是好、是壞終究取決於人心。
AI 出現之後，自然也面臨許多批判，例如工作是否會被 AI 取代，甚至以 AI 操控虛假言論或用在軍事用途，但蘇黎覺得，主導權終究還是躲在背後操作的「人」。同樣，隨著虛擬音樂家系統日漸完善，真人音樂家是否擔心未來飯碗被搶走？令人意外的是，蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家，「別小看他們，藝術家可是一群勇敢、期待新事物、信仰未來的人。」
在臉書上發文吐槽過了 簡單解釋一下
以內文來看 這種應用應該歸類成VOCALOID的升級版 也就是初音未來這類 初音只有單純的形象及聲音 沒有個性及人設 所以音樂創作者可以不用考慮形象及相關問題 概念上就是把自己的作品請初音來唱而已
然而vtuber是虛擬實況主 撇開實況主不見得會音樂和主打音樂這點 vtuber是牽涉到人設的 而且vtuber是以虛擬外皮進行活動的 以文中情況 請問現在這名實況主 應該是作曲者呢? 還是這個ai生成只有外皮跟動作的空殼呢?
不管回答是哪種 皆不符合vtuber的概念 這是個單純有在看v的人 都能分辨出的基本錯誤 甚至內文提到自動生成動作這點 都不是v需要的 因為這些動作細節 都屬於v自己表演 甚至是詮釋v人設的一環 所以這個替v團隊撐腰的標題 簡直是… 鬼扯
我也不是什麼內行人 就我所知道v所需要的成本基本上是硬體設備 動態捕捉以及模組問題 本來看標題以為是我不知道什麼 但進來後很失望
我不清楚這序言是中央研究院寫的 還是貴團隊 但從貴團隊創立至今 極少犯這種連基本查詢都沒有的超低級錯誤 希望能看到有所說明或更改
狐禪
hbzgwhzcvmqp
lioshiwa
