當時服務於美國地質調查所的顧問李泓鑑提點臺灣可能有發展地震預警潛力,也成為氣象局一九九四年提出臺灣第一部《氣象白皮書》納入「地震預警」的契機。當年,氣象局啟動第一個地震預警的實驗,由加拿大一間商業公司主導,選在地震活躍的花蓮設立十個測站,資料透過專線匯集至花蓮氣象站做即時處理,並將結果傳至臺北的氣象局本部評估、分析,這也是臺灣地震預警系統發展的雛形,在內部被稱為 A 計畫。
當時,傳輸地震訊號的電話線路尚有一半頻寬容量可使用,中研院地球科學研究所院士鄧大量便建議發展 B 計畫做為備案。B 計畫的基礎技術由李泓鑑提供,執行者就是氣象局內的吳逸民,他們隔著太平洋時差一起工作。
當時 A 計畫與 B 計畫都是藉由撰寫程式讓計算流程自動化,藉由強震紀錄的 P 波與 S 波自動定位,計算地震規模,同時能將地動加速度換算成規模。其中自動定位技術,是 A 計畫與 B 計畫競逐的核心目標。
由於 A 計畫測站大多僅分布於花蓮狹長的海岸線地帶,雖然可在十幾秒獲得地震訊息,但定位準確度不理想,震央位置平均誤差達二十二公里,規模誤差也達到○.七個規模單位。吳逸民認為,A 計畫在通訊、展示介面跟軟體程式方面表現不錯,但執行團隊缺乏地震學人才,對於地震核心掌握度不足,以至於重要資訊誤差很大,實用性不高。
一九九五年即時強震資訊的啟用,免除需人工電話撥接的時間,吳逸民主責的 B 計畫順利發展出自動挑選 P 波與 S 波的系統,將發布地震時間縮短至五分鐘。以 B 計畫的成功為基礎,吳逸民馬不停蹄投入預警工作,利用宜蘭、花蓮、南投等地共六十至七十個測站的即時強震訊號建立「花蓮子網」預警系統,由於串連多個地區即時強震訊號,覆蓋性較廣,將定位誤差控制在二十公里內、規模誤差○.三單位內,獲得地震資訊的時間大幅縮短至二十秒。
最終,B 計畫淘汰了受限於商業系統而無法修改的 A 計畫,原有測站都併入 B 計畫,成為臺灣第一個成功的地震速報系統。
人工智慧(簡稱 AI)技術日新月異,不只打敗人類圍棋高手,現在更用在醫療、交通、金融、資安各領域,遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能:自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物,配合真人一同演出,而且演奏動畫和音樂伴奏皆可自動產生。未來,經營 VTuber(虛擬 YouTuber)背後可能不再需要龐大製作團隊,只要專注在企劃和劇本,其他讓 AI 幫你一鍵生成!
蘇黎與研究團隊開發的虛擬音樂家系統。圖/研之有物、Unsplash(資料來源:蘇黎)
真實與虛擬合奏的貝多芬小提琴奏鳴曲
虛擬音樂家系統,這是蘇黎與其團隊最近的研究成果,他將 AI 應用到音樂表演現場,並試圖推展到整個多媒體產業。這套系統已實際在舞台演示,並與多個音樂展演團隊合作,包括:沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。
「音樂追蹤器採用多執行緒線上動態時間校正(online dynamic time warping)演算法,每一個執行緒在最短時間內各自計算並取平均值,以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋,追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對,就能推測多久後會演奏下一個音。至於位置估算單元,則是用來估計當下已演奏到整個樂譜的哪個位置。
真人音樂家演奏時,不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等,都存在個人差異,沒有一套固定標準。例如拉琴的手勢,10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是:取得大量影音資料,讓 AI 學習如何製造虛擬音樂家的肢體動作。
首先,徵求多位專業小提琴演奏者,穿上有標記點的特殊衣服,站在有動態捕捉裝置的空間中,演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術,會偵測音樂家全身骨骼的關節點,作為虛擬音樂家動畫生成的訓練資料,並在訓練動畫生成模型的過程中,重點關注持弓的右手如何移動。
透過 U 型網路、自注意力機制等核心技術,來輸出虛擬音樂家動態肢體影像。
在訓練 AI 與生成動畫影像的過程中,需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路(U-net),負責圖像之間的轉換,由編碼圖層傳到解碼圖層。它的優點是速度快,而且輸入輸出格式相對容易設計,能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點,而非一個一個骨架點逐步輸出。」蘇黎說。
除此之外,還有自注意力(self-attention)機制,讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式,有時間上的關聯性,假設真人音樂家某個動作在大鼓響起時一直出現,就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中,只要聽到該音樂的大鼓聲出現,就會發出明顯訊號,認為此時要搭配相應的肢體動作。
簡單來說,想要自動化生出虛擬小提琴家,不僅聲音要到位,動畫也要足夠精準。音樂需要自動伴奏系統,即時追蹤真人演奏者的進度並觸發伴奏;而相應的肢體動作,則有賴透過 U 型網路與自注意力機制,讓 AI 在音樂現場了解此時要搭配何種動作。
自動生成聲音和影像後,研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌,就聯想到一幅畫。但坦白講,這種音樂到視覺風格轉換(music-to-visual style transfer)非常困難。」蘇黎說。當初有學生向他提出這個構想,想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重,因為最重要的訓練資料幾乎是無法取得。
AI 並非無中生有,機器學習有賴龐大、高品質的資料。
想要讓 AI 學習聽音樂聯想畫面,就必須要有真人示範,聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難,但找來的人未必善於繪畫;即使花大錢請畫家參與實驗,人少沒有代表性,人多則風格又可能大相逕庭。「演奏動作還有跡可循,但大家聽音樂腦補的畫面都不一樣,這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。
蘇黎團隊風格轉換的案例,透過共享語義標註,在電腦聽到印象樂派作曲家德布西的音樂(Sarabande in Pour le piano, L. 95(1901))之後,原本為巴比松畫派的圖像(The Lake Her Lone Bosom Expands to the Sky(1850)),會轉換成印象畫派風格。圖/蘇黎(Crossing You in Style)
「像鋼琴這類樂器的話,是音樂進去《Omnizart》,生出 MIDI;而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋,透過這些數字化的音訊數據能了解每一瞬間的音高變化,或是泛音、抖音等手法。研究自動採譜 AI 是因為,蘇黎想探究如蕭邦的夜曲等,這些百年來不斷被重複演奏超過千百次的古典樂,在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。
而這次蘇黎用 AI 創造虛擬音樂家系統,同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他,會吹小號,喜歡聽經典的古典樂。對蘇黎來說,興趣是驅使研究向前的一大動力,他認為身為研究者必須要時常探索新的領域,因此常會要求自己不斷接觸世界各國的在地歌謠。
蘇黎的下一步,是以現有虛擬音樂家系統為基礎,加入更多細膩動作(例如臉部表情)的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家,必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習,但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋,AI 研究者的時間幾乎都耗在蒐集資料上。
AI 出現之後,自然也面臨許多批判,例如工作是否會被 AI 取代,甚至以 AI 操控虛假言論或用在軍事用途,但蘇黎覺得,主導權終究還是躲在背後操作的「人」。同樣,隨著虛擬音樂家系統日漸完善,真人音樂家是否擔心未來飯碗被搶走?令人意外的是,蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家,「別小看他們,藝術家可是一群勇敢、期待新事物、信仰未來的人。」
當時服務於美國地質調查所的顧問李泓鑑提點臺灣可能有發展地震預警潛力,也成為氣象局一九九四年提出臺灣第一部《氣象白皮書》納入「地震預警」的契機。當年,氣象局啟動第一個地震預警的實驗,由加拿大一間商業公司主導,選在地震活躍的花蓮設立十個測站,資料透過專線匯集至花蓮氣象站做即時處理,並將結果傳至臺北的氣象局本部評估、分析,這也是臺灣地震預警系統發展的雛形,在內部被稱為 A 計畫。
當時,傳輸地震訊號的電話線路尚有一半頻寬容量可使用,中研院地球科學研究所院士鄧大量便建議發展 B 計畫做為備案。B 計畫的基礎技術由李泓鑑提供,執行者就是氣象局內的吳逸民,他們隔著太平洋時差一起工作。
當時 A 計畫與 B 計畫都是藉由撰寫程式讓計算流程自動化,藉由強震紀錄的 P 波與 S 波自動定位,計算地震規模,同時能將地動加速度換算成規模。其中自動定位技術,是 A 計畫與 B 計畫競逐的核心目標。
由於 A 計畫測站大多僅分布於花蓮狹長的海岸線地帶,雖然可在十幾秒獲得地震訊息,但定位準確度不理想,震央位置平均誤差達二十二公里,規模誤差也達到○.七個規模單位。吳逸民認為,A 計畫在通訊、展示介面跟軟體程式方面表現不錯,但執行團隊缺乏地震學人才,對於地震核心掌握度不足,以至於重要資訊誤差很大,實用性不高。
一九九五年即時強震資訊的啟用,免除需人工電話撥接的時間,吳逸民主責的 B 計畫順利發展出自動挑選 P 波與 S 波的系統,將發布地震時間縮短至五分鐘。以 B 計畫的成功為基礎,吳逸民馬不停蹄投入預警工作,利用宜蘭、花蓮、南投等地共六十至七十個測站的即時強震訊號建立「花蓮子網」預警系統,由於串連多個地區即時強震訊號,覆蓋性較廣,將定位誤差控制在二十公里內、規模誤差○.三單位內,獲得地震資訊的時間大幅縮短至二十秒。
最終,B 計畫淘汰了受限於商業系統而無法修改的 A 計畫,原有測站都併入 B 計畫,成為臺灣第一個成功的地震速報系統。