融合虛擬與真實影像常常帶來新的應用，之前介紹過虛擬化妝模擬器就是一例。這次的影片是介紹虛擬試衣間，像是kinect之類的及時動作捕捉技術的成熟。目前已經有簡單的方案把即時的人體影像轉成電腦立體模型，這也意味著可以利用電腦的計算能力及時把各種不同的虛擬物件直接跟人體模型互動。
影片中介紹的是可以把想要試穿的衣服、皮包、配件等直接在電腦裡試穿，讓一些可能的搭配直接呈現出來。雖然系統還不完美，不過接下來幾年一定會改善。這樣的技術或許在以後的網路衣物購物上，能幫消費者做出更好的購買判斷。
影片中最後也展示了可以模擬穿著衣物滑雪的模樣，當然同樣類型的虛擬場景也可以利用像是電視製作或是舞台表演的場合。這些都是接近成熟的技術了，之後就等待有創意的朋友來找到更合適的應用跟發揮想像了！
本文原發表於 Scimage 科學影像 [2011. 7. 12]
元宇宙是利用雲端伺服器建立的虛擬世界，使用者可以使用虛擬實境 (VR) 或擴增實境 (AR) 進入雲端，以虛擬替身與其他使用者交流，那麼目前已經發展到什麼程度？未來又會如何發展呢？
講到元宇宙的概念，許多人立刻會想到目前熱門的多人線上角色扮演遊戲，例如：動物森友會、模擬市民、暗黑破壞神、仙劍奇俠傳等。這些線上遊戲可以讓玩家在虛擬的遊戲裡擁有另外一個身分與全新的生活，但由於技術上的限制，這些線上遊戲帶給玩家的沉浸感不足，內容也只是遊戲，與元宇宙希望建立的世界還有很大的差距。
第一個接近元宇宙的平台是「機器磚塊 (Roblox) 」，它不只是一個線上角色扮演遊戲，使用者還可以設計自己的遊戲、物品、衣服，同時遊玩自己或其他開發者建立的各種遊戲，是由像樂高積木般的虛擬磚塊所建構的網路虛擬世界。
就類似於我們的影音創作發表在 YouTube 平台上，或程式設計師的程式創作發表在「應用程式商店 (App Store) 」平台上，經由平台分享讓谷歌 (Google) 分潤的概念。
目前元宇宙的建立還在初期戰國時代多強爭霸的階段，各種不同的社群平台與遊戲廠商都躍躍欲試，因此還沒有系統能夠一統天下，未來誰會勝出仍不確定。元宇宙的未來可能有兩個發展方向：
第一階段：可能是由某家公司主導，但是開放原始程式碼讓任何人都可以使用，類似谷歌建立 Android 平台，讓所有開發者在平台上建立應用程式 (App：Application Program)。
例如：我在臉書的元宇宙要參加舞會，想買一個「虛擬愛馬仕包包」，則必須到「虛擬愛馬仕商店」購買，而愛馬仕公司則必須到臉書的元宇宙裡開設一家虛擬愛馬仕商店，在這裡「虛擬愛馬仕包包」就好像一個應用程式，因此和 Android 平台讓所有開發者在平台上建立應用程式的概念是一樣的。
第二階段：可能是由某個基金會主導，開放原始程式碼讓任何人都可以使用，不同公司開發的虛擬世界具有相容性，可以串連成大一統的元宇宙，就像我們現在使用相同的通訊協定在網際網路上漫遊一樣，現在我們上網都是使用「超文本轉換傳輸協定 (HTTP：Hyper Text Transfer Protocol) 」。
假設我們在臉書的元宇宙裡買了一個「虛擬愛馬仕包包」，能不能把它背到谷歌的元宇宙裡去參加舞會？答案是不行，因為程式不相容，因此未來不同公司開發的元宇宙具有相容性，才能串連成大一統的元宇宙。 目前元宇宙的發展還在第一階段，未來還有無限可能，元宇宙大爆發，臉書創辦人說：「元宇宙就是下一世代的網際網路。」就是這個意思。
由於目前臉書營運面臨瓶頸，因此開始啟動轉型，將「臉書 (Facebook) 」改名為「超越 (Meta) 」；輝達 (Nvidia) 執行長說：「元宇宙的經濟規模終將大過實體世界。」由於虛擬世界 3D 建模需要大量的圖形處理器 (GPU)，將為輝達帶來另一波成長動能。我們在思考元宇宙時必須跳脫線上遊戲的思維，發展成創意發想平台、互動社交平台。
Roundhill 投資公司預估 2030 年元宇宙產值高達 2.5 兆美元，這個數字可能有些誇大，但是確實代表元宇宙未來有不小的市場。事實上，未來元宇宙的重度使用者，主要還是目前網路遊戲的使用者，因此要估計元宇宙的市場，可以從目前的遊戲市場著手。
目前全球的遊戲市場每年有超過 2,500 億美元的商機，等於未來 8 年要成長大約 10 倍，如果我們把建立元宇宙所需要的資料中心所有硬體成本都計算進去，的確有可能達到這個規模。除了科技大廠躍躍欲試，為什麼連金融業、精品業也擁抱元宇宙？
大家想想，要建立一個能夠容納全球數十億玩家的虛擬世界，而且現在大家對畫質與 3D 影像的品質要求愈來愈高，需要加蓋許多資料中心，包括：雲端伺服器、中央處理器 (CPU)、圖形處理器 (GPU)、儲存元件 (DDR/SSD)；使用者連線需要各種網路設備與終端裝置，包括：網通設備、光纖通訊、第五代行動電話 (5G) 與物聯網 (IoT)、虛擬實境 (VR) 與擴增實境 (AR) 眼鏡、平面顯示器、智慧型手機、個人電腦等，顯然會給科技產業帶來巨大的商機。
此外，玩家在元宇宙裡需要線上消費、因此需要虛擬信用卡，金融業就有參與的角色；加密貨幣在真實世界裡就是個圈錢的龐氏騙局，都可以炒作到天價，在元宇宙的虛擬世界裡，怎麼可能放過這個炒作的機會？在真實世界裡我買不起愛馬仕的包包、鞋子、項鍊、耳環等各種精品，在虛擬世界裡不就可以買了嗎？因此精品業就有參與的角色。
在真實世界裡，我住狹窄的公寓、開國產轎車，在虛擬世界裡就可以住豪宅、開法拉利跑車；在真實世界裡，我是個員工每天被老闆罵，在虛擬世界裡我就是老闆可以罵員工；在真實世界裡，想搭SpaceX的太空飛船去火星「貴森森」我付不起，在虛擬世界裡我當然可以去星際旅遊跑遍全宇宙，甚至元宇宙會提供某些工作，所以未來可能有人在真實世界沒有工作，是進入虛擬世界上班的。
總之當我們在思考元宇宙時，不要被限制在現有的網路世界裡，請發揮你的想像力！
——本文摘自《加密貨幣的真相：揭穿區塊鏈無本金融的國王新衣》，2022 年 1 1月，先覺出版，未經同意請勿轉載。
本文轉載自中央研究院研之有物，泛科學為宣傳推廣執行單位。
人工智慧（簡稱 AI）技術日新月異，不只打敗人類圍棋高手，現在更用在醫療、交通、金融、資安各領域，遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能：自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物，配合真人一同演出，而且演奏動畫和音樂伴奏皆可自動產生。未來，經營 VTuber（虛擬 YouTuber）背後可能不再需要龐大製作團隊，只要專注在企劃和劇本，其他讓 AI 幫你一鍵生成！
虛擬音樂家系統，這是蘇黎與其團隊最近的研究成果，他將 AI 應用到音樂表演現場，並試圖推展到整個多媒體產業。這套系統已實際在舞台演示，並與多個音樂展演團隊合作，包括：沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。
以近年蘇黎舉辦的音樂會為例，主要可分為兩部分，一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家；另一個，即為該場演奏的特別之處：正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合，真人鋼琴家彈奏的過程中，虛擬音樂家系統除了負責合奏，同時還要生成螢幕上虛擬演奏者的動畫身影。
虛擬音樂家系統的「自動伴奏」，不同於卡拉 OK 的機器伴奏，演奏者不需配合伴唱音樂，而是程式控制伴唱音樂以配合演奏者，讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性，自動伴奏的運算必須又快又準。蘇黎指出，這也是研究中比較具有挑戰性的部分。
自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元，讓虛擬音樂家精準掌握真人演奏實況。
舉例來說，想要跟人合奏，首先要確定能同步開始，這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出，但現場會有其他聲音，不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說，因此團隊會先將整個樂譜，輸入到虛擬音樂家的自動伴奏系統中，並在演奏會場早早就讓系統持續待命，只要音樂偵測器偵測到樂譜的第一個音，伴奏隨即啟動。
自動伴奏系統在確認演奏開始之後，馬上又有另一項任務：追蹤音樂進度。因為每位音樂家會有自己的演奏風格，而且真人不管如何熟練，都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務，便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。
「音樂追蹤器採用多執行緒線上動態時間校正（online dynamic time warping）演算法，每一個執行緒在最短時間內各自計算並取平均值，以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋，追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對，就能推測多久後會演奏下一個音。至於位置估算單元，則是用來估計當下已演奏到整個樂譜的哪個位置。
虛擬音樂家系統藉由上述的自動伴奏技術，追蹤真人演奏進度，並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右，但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示，音樂心理學已證實，就算是沒有經過專業訓練的一般人，0.1 秒的誤差聽起來仍非常明顯，「延遲 0.01 秒可以勉強不引起業餘人士的注意；但面對專業音樂家時，延遲可能要到 0.001 秒左右才能過關。」
現場音樂表演是影音的雙重享受，所以虛擬音樂家除了擁有自動伴奏的「聲音」，還需要擁有將表演動作形象化的動畫「影像」。
真人音樂家演奏時，不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等，都存在個人差異，沒有一套固定標準。例如拉琴的手勢，10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是：取得大量影音資料，讓 AI 學習如何製造虛擬音樂家的肢體動作。
首先，徵求多位專業小提琴演奏者，穿上有標記點的特殊衣服，站在有動態捕捉裝置的空間中，演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術，會偵測音樂家全身骨骼的關節點，作為虛擬音樂家動畫生成的訓練資料，並在訓練動畫生成模型的過程中，重點關注持弓的右手如何移動。
透過 U 型網路、自注意力機制等核心技術，來輸出虛擬音樂家動態肢體影像。
在訓練 AI 與生成動畫影像的過程中，需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路（U-net），負責圖像之間的轉換，由編碼圖層傳到解碼圖層。它的優點是速度快，而且輸入輸出格式相對容易設計，能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點，而非一個一個骨架點逐步輸出。」蘇黎說。
除此之外，還有自注意力（self-attention）機制，讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式，有時間上的關聯性，假設真人音樂家某個動作在大鼓響起時一直出現，就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中，只要聽到該音樂的大鼓聲出現，就會發出明顯訊號，認為此時要搭配相應的肢體動作。
簡單來說，想要自動化生出虛擬小提琴家，不僅聲音要到位，動畫也要足夠精準。音樂需要自動伴奏系統，即時追蹤真人演奏者的進度並觸發伴奏；而相應的肢體動作，則有賴透過 U 型網路與自注意力機制，讓 AI 在音樂現場了解此時要搭配何種動作。
自動生成聲音和影像後，研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌，就聯想到一幅畫。但坦白講，這種音樂到視覺風格轉換（music-to-visual style transfer）非常困難。」蘇黎說。當初有學生向他提出這個構想，想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重，因為最重要的訓練資料幾乎是無法取得。
AI 並非無中生有，機器學習有賴龐大、高品質的資料。
想要讓 AI 學習聽音樂聯想畫面，就必須要有真人示範，聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難，但找來的人未必善於繪畫；即使花大錢請畫家參與實驗，人少沒有代表性，人多則風格又可能大相逕庭。「演奏動作還有跡可循，但大家聽音樂腦補的畫面都不一樣，這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。
研究團隊決定退而求其次，改成在一組音樂跟一組影像資料庫，透過兩者之間共享的語義標註（labels），試圖建立起對應關係。就像是電腦在連連看，如果配對起來共通點還算合理就成功。此時問題又來了，所謂「合理」實在難以界定，於是執行標準只好再一次降低，音樂與畫面的共同標註越簡單越好。
「雖然這跟當初想像中的差距非常大，但目前我們也只能用創作年代來當標註。」蘇黎說，經由創作年代這個共同標註，電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想，模型建立起來後，在虛擬音樂家系統裡還是可以發揮一些功能，像是為演奏會搭配符合音樂年代的背景畫面，或色彩效果。
在虛擬音樂家系統之前，蘇黎與實驗室團隊（音樂與文化科技實驗室）在自動音樂採譜方面的研究已經有豐厚成果，他們研發出開源工具《Omnizart》。
《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。
它具備當前全世界最多樣樂器組合的分析功能，只要輸入一段音樂，不管是鋼琴獨奏、多重樂器、打擊樂，還是和弦辨識、節拍偵測，甚至是困難的人聲處理，都會幫你分析。
「像鋼琴這類樂器的話，是音樂進去《Omnizart》，生出 MIDI；而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋，透過這些數字化的音訊數據能了解每一瞬間的音高變化，或是泛音、抖音等手法。研究自動採譜 AI 是因為，蘇黎想探究如蕭邦的夜曲等，這些百年來不斷被重複演奏超過千百次的古典樂，在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。
而這次蘇黎用 AI 創造虛擬音樂家系統，同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他，會吹小號，喜歡聽經典的古典樂。對蘇黎來說，興趣是驅使研究向前的一大動力，他認為身為研究者必須要時常探索新的領域，因此常會要求自己不斷接觸世界各國的在地歌謠。
蘇黎的下一步，是以現有虛擬音樂家系統為基礎，加入更多細膩動作（例如臉部表情）的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術，都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家，必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習，但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋，AI 研究者的時間幾乎都耗在蒐集資料上。
同時，研究室也在規劃下一場發表。蘇黎認為，實體演奏會是考驗研究品質最好的方式。除了訓練好模型，現場還有很多要克服的變數，像是很多音樂廳沒有網路，團隊必須將整場演奏會所需的模型，事先設計成用一台筆電就能執行。「總不可能演奏到一半，資料量太大電腦跑不動，然後要跑出去連網路吧。」蘇黎笑著說，音樂會現場要面對很多做研究時不曾碰到的狀況，是很刺激、有挑戰性的任務。
AI 將是未來主流，是好、是壞終究取決於人心。
AI 出現之後，自然也面臨許多批判，例如工作是否會被 AI 取代，甚至以 AI 操控虛假言論或用在軍事用途，但蘇黎覺得，主導權終究還是躲在背後操作的「人」。同樣，隨著虛擬音樂家系統日漸完善，真人音樂家是否擔心未來飯碗被搶走？令人意外的是，蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家，「別小看他們，藝術家可是一群勇敢、期待新事物、信仰未來的人。」
在臉書上發文吐槽過了 簡單解釋一下
以內文來看 這種應用應該歸類成VOCALOID的升級版 也就是初音未來這類 初音只有單純的形象及聲音 沒有個性及人設 所以音樂創作者可以不用考慮形象及相關問題 概念上就是把自己的作品請初音來唱而已
然而vtuber是虛擬實況主 撇開實況主不見得會音樂和主打音樂這點 vtuber是牽涉到人設的 而且vtuber是以虛擬外皮進行活動的 以文中情況 請問現在這名實況主 應該是作曲者呢? 還是這個ai生成只有外皮跟動作的空殼呢?
不管回答是哪種 皆不符合vtuber的概念 這是個單純有在看v的人 都能分辨出的基本錯誤 甚至內文提到自動生成動作這點 都不是v需要的 因為這些動作細節 都屬於v自己表演 甚至是詮釋v人設的一環 所以這個替v團隊撐腰的標題 簡直是… 鬼扯
我也不是什麼內行人 就我所知道v所需要的成本基本上是硬體設備 動態捕捉以及模組問題 本來看標題以為是我不知道什麼 但進來後很失望
我不清楚這序言是中央研究院寫的 還是貴團隊 但從貴團隊創立至今 極少犯這種連基本查詢都沒有的超低級錯誤 希望能看到有所說明或更改
長大後 我們的存在像塵埃
我們的距離被拉開
有時相處很難 想很多 話很短
－＜小時候＞蘇打綠
你也有一個話越說越少的爸爸嗎？小時候或許會和爸爸一起玩耍，但長大了，和爸爸之間反而不知道要說什麼了？其實，這的確是許多「父子」的共通樣貌，台灣研究發現，因為「文化」和「家人互動習慣」，造成了父子之間常見的「兩道牆」。
他不會主動跟我聊天，我也不大會找他聊天，說真的也不知道要跟他說什麼……
我有一些話比較會跟媽媽聊，但是比較不會跟爸爸聊……不知道要說什麼……每天就講……幾句吧，有時候一天也說不到一句話。
台灣學者深入訪談 5 位 20-30 歲的男性上班族「和爸爸相處」的狀況，發現「淡然、無話可說、不知道從何聊起」是成年父子關係的常態，父子之間的互動少之又少，與母親的互動相較多於父親。
特別的是，多數成年男子面對這樣缺乏交集、稍嫌尷尬的狀態，雖然無奈卻覺得理所當然！甚至有受訪者說「這樣很正常呀，有話說才很奇怪吧……我爸跟我阿公也是這樣呀……」
由此可知，雖然無奈，但或許是代代相傳、不知不覺的習慣養成，嚴父、缺乏溫情交流的父子關係，成了眾多男性長大以後自然的常態。（延伸閱讀：經驗複製？家庭如何影響一個人？）
他是傳統的那種男人，有點權威又很大男人主義，所以對家裡小孩還滿嚴厲的，尤其是對我，也不知道是不是因為我是兒子的關係。
吃飯的時候我爸明明也在，但我媽都叫我或我姐去叫我阿公，兩個（祖父與爸爸）就算坐在一起看電視，也沒講過什麼話……
究竟，為什麼無話可說會成為父子關係的常態？該研究學者進一步剖析這群受訪者對家庭互動的解讀，發現父子之間常隔著「兩道牆」：
因為文化對於性別角色的期待框架，使得許多爸爸展現了權威，卻沒機會表達愛；家裡的情感性角色任務都給了女性，父子之間沒有機會溫情交流。
或許，現在與爸爸的關係有點無奈、尷尬，但我們可以回首過往、留住記憶中曾經的美好，理解文化對爸爸或家人的影響，並從自身開始，做個讓自己感到自在、喜歡的「兒子／爸爸」。可以嘗試以下 3 面向的練習：
1. 回首兒時美好
研究發現多數父子關係並非一開始就疏遠，兒時階段多有親密、甚至彼此還能像兄弟一樣嬉鬧。那些曾經的父子情感不曾消失，只是太久沒被展現出來了，別忘了相信過去那些愛「都是真的」。
詳細請見：原來爸爸的愛這麼多種！看我家「爹地」的類型
2. 理解文化成因
看見父子之間因為父權文化、過往習慣而形成無形的「兩道牆」，理解爸媽因為文化和過往經驗的不得已、不知不覺。
相關推薦：百善孝為先？爸媽的「孝順」可能和我想的不一樣
3. 自己開始改變
研究發現許多人即便不急著改變自己和父親的互動狀態，但多數期望自己當爸爸時，能有「朋友般」的互動關係。或許我們正是夾在過去文化規範與力求改變之間的一代，將自己定位成自己喜歡的樣子吧！
詳細請見：重新理解我的家庭故事，找一條和解之道
這時候 我們的心變得柔軟
放下了父子的身段
知道時間太晚 不要躲 不要散
－＜小時候＞蘇打綠
本文與雞湯來了同步刊登，原文連結：父子間隱形的兩道牆：成年男性該如何與父親相處？
狐禪
hbzgwhzcvmqp
lioshiwa
