0

0
1

文字

分享

0
0
1

102秒內火速發佈!臺灣第一個地震速報系統的誕生──《地震:火環帶上的臺灣》

春山出版
・2019/11/21 ・1654字 ・閱讀時間約 3 分鐘 ・SR值 601 ・九年級

  • 作者/林書帆、黃家俊、邱彥瑜、李玟萱、王梵

臺灣速報的優勢:利用即時強震訊號自動定位

「當年,沒有一個國家用即時強震訊號做地震觀測,臺灣是第一個!」吳逸民指出,能在一百零二秒內傳出地震速報的關鍵有二:一是善用「即時強地震觀測訊號」,第二是以此資訊做自動定位,並在短時間內提出預警。

圖/GIPHY

此一轉捩點正是一九九五年。在鄧大量的建議下,強地動觀測網(TSMIP)與中央氣象局地震觀測網(CWBSN)共站的加速度型地震儀,利用了同一條傳輸專線把強震資料同步傳回氣象局,相較於七○年代區域性的強震儀陣列,受限於當時僅能以類比訊號傳輸紀錄,後來拜數位發展之賜,一九九五年的強震資料即能藉由數據專線立即傳回臺北,做到「即時」監測。

以此「即時強地動系統」為骨幹,臺灣的地震測報進入「速報」階段。直到九二一地震,當時全臺已有超過六百三十個自由場強震站,其中具有即時傳輸功能者約有六十個, 蒐集地動訊號後即時傳輸回氣象局。

一九九五年阪神大地震,日本首相村山富市在震後一個多小時才收到地震速報,吳逸民解釋,當時日本震度七以上地震必須由人為判斷,才能發布,而臺灣領先的關鍵就在於以自動化加快速報發展。至於自動定位與預警系統如何做到,得從「B 計畫」的故事講起。

本土 B 計畫勝出

圖/pixabay

當時服務於美國地質調查所的顧問李泓鑑提點臺灣可能有發展地震預警潛力,也成為氣象局一九九四年提出臺灣第一部《氣象白皮書》納入「地震預警」的契機。當年,氣象局啟動第一個地震預警的實驗,由加拿大一間商業公司主導,選在地震活躍的花蓮設立十個測站,資料透過專線匯集至花蓮氣象站做即時處理,並將結果傳至臺北的氣象局本部評估、分析,這也是臺灣地震預警系統發展的雛形,在內部被稱為 A 計畫。

當時,傳輸地震訊號的電話線路尚有一半頻寬容量可使用,中研院地球科學研究所院士鄧大量便建議發展 B 計畫做為備案。B 計畫的基礎技術由李泓鑑提供,執行者就是氣象局內的吳逸民,他們隔著太平洋時差一起工作。

當時 A 計畫與 B 計畫都是藉由撰寫程式讓計算流程自動化,藉由強震紀錄的 P 波與 S 波自動定位,計算地震規模,同時能將地動加速度換算成規模。其中自動定位技術,是 A 計畫與 B 計畫競逐的核心目標。

為了縮短時間,必須利用地震初始震動定出規模,但是如何保有一定的準確度,成為技術上最難以克服的瓶頸,這也讓當時國內外許多學者都不看好臺灣發展預警系統。

與時間賽跑的地震預警。圖/GIPHY

由於 A 計畫測站大多僅分布於花蓮狹長的海岸線地帶,雖然可在十幾秒獲得地震訊息,但定位準確度不理想,震央位置平均誤差達二十二公里,規模誤差也達到○.七個規模單位。吳逸民認為,A 計畫在通訊、展示介面跟軟體程式方面表現不錯,但執行團隊缺乏地震學人才,對於地震核心掌握度不足,以至於重要資訊誤差很大,實用性不高。

一九九五年即時強震資訊的啟用,免除需人工電話撥接的時間,吳逸民主責的 B 計畫順利發展出自動挑選 P 波與 S 波的系統,將發布地震時間縮短至五分鐘。以 B 計畫的成功為基礎,吳逸民馬不停蹄投入預警工作,利用宜蘭、花蓮、南投等地共六十至七十個測站的即時強震訊號建立「花蓮子網」預警系統,由於串連多個地區即時強震訊號,覆蓋性較廣,將定位誤差控制在二十公里內、規模誤差○.三單位內,獲得地震資訊的時間大幅縮短至二十秒。

最終,B 計畫淘汰了受限於商業系統而無法修改的 A 計畫,原有測站都併入 B 計畫,成為臺灣第一個成功的地震速報系統。

——本文摘自泛科學 2019 年 11 月選書《地震:火環帶上的臺灣》,2019 年 10 月,春山出版

文章難易度
春山出版
3 篇文章 ・ 2 位粉絲

0

3
2

文字

分享

0
3
2
不只地震,更肩負了火山、海嘯測報的使命!推開地震中心大門後的甘苦與祕密
鳥苷三磷酸 (PanSci Promo)_96
・2022/08/15 ・5154字 ・閱讀時間約 10 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

本文由 交通部氣象局 委託,泛科學企劃執行。

  • 文/陳儀珈

經過中學地科課程的薰陶,大部分的人都知道臺灣位於環太平洋地震帶上,是菲律賓海板塊與歐亞板塊的碰撞交界處,因此地震非常、非常地頻繁。

然而,這個頻繁到底是多頻繁呢?

據統計,臺灣每年偵測到的地震平均達 3 萬多次,每天平均約發生 100 多次地震,約 2 天多出現 1 次規模 4.0 ~ 5.0 的地震,規模 5.0 至 6.0 的週期大約是 2 個星期左右,每年平均出現 3 次規模 6.0 以上的地震。

每一秒 180 天,帶你看見臺灣的地震活動頻率有多麼驚人!圖/中央氣象局臺灣地震與地球物理資料管理系統

影片說明:

每一天都有這麼多地震在這塊島嶼底下悄然發動,什麼時候又會有如 921 般的大地震突然重創臺灣?

為了更了解這塊土地和潛在的危機,中央氣象局地震測報中心(以下簡稱地震中心)一肩擔起監測臺灣地震的重任,不斷提升地震測報的效能,努力降低未來可能的地震災害。

1989 年 7 月 1 日,中央氣象局將原有之地球物理科,升格為地震測報中心。圖/中央氣象局

33 年內,進化了 5 次的「強地動觀測」計畫

自日本政府在臺北測候所設置了臺灣史上第一座地震儀至今,已經有 125 年的歷史了。這麼多年來,臺灣的地震儀和地震觀測網,有了哪些翻天覆地的變化呢?

1897 年 12 月 19 日,臺北測候所設置了全臺第一座地震儀:​格雷.米爾恩式(Gray Milne)地震儀,開啟了臺灣地震觀測科學化的偉大時代。圖/中央氣象局臺灣地區地震儀沿革網

國民政府接手臺灣後,改由中央氣象局負責臺灣的地球科學相關測報業務,並在 1989 年成立了「地震測報中心」,擴大編制,走上地震觀測現代化之路。

自成立至今,地震中心投入了巨大的資源和心力在「加強地震測報建立地震觀測網計畫」和「強地動觀測」的長程計畫中,其中強地動觀測每 6 年一期,致力於建置地震觀測資料的蒐集與應用,目前已完成共 5 期的計畫。

經過地震中心 33 年來的努力,從都會區到山區、從陸地到海上、從地表到井下、從 16 位元到 24 位元,地震測站的儀器越來越好,也漸漸拓展至臺灣各個地方。

截至 2022 年 7 月為止,包含中央氣象局地震觀測網(CWBSN)和臺灣強地動觀測網(TSMIP)在內,全臺已經建置了超過 700 個地震測站,是全世界測站密度最高的地震觀測網,平均不到 10 公里就有 1 個地震站!

小小的臺灣、全世界密度最高的地震站!圖/中央氣象局臺灣地震與地球物理資料管理系統-測站介紹

蒐集了震波資料,然後呢?

除了監測地震活動之外,這些測站蒐集到的強震資料,不僅可以成為學術研究的養分,讓地震學家更了解這塊土地下的構造和祕密,在民生防災上,更有著極為關鍵的貢獻!

「地震」,是臺灣人自出生以來就與之共存,甚至習以為常的自然災害。不過,地震到底有多可怕?

對於成年人們來說,傷痛與恐懼可能會被逐漸淡忘,而對於那些沒有經歷過 921 集集大地震、1999 年以後出生的孩子們,更是毫無具體的想像和實際感受。

臺灣史上傷亡最慘重的1935年新竹-臺中(關刀山附近)地震,帶走了約 3000 人的生命;2018 年 2 月的花蓮地震,震毀了 4 棟大樓;日本 311 大地震和海嘯,奪去了 1.5 萬條生魂;震撼半個亞洲的中國汶川大地震,有將近 7 萬人罹難,受災人口高達 4600 萬多人。

1935年新竹-臺中地震不僅震毀了魚藤坪橋(後改名為龍騰斷橋),也是臺灣目前史上傷亡最慘重的地震。圖/報地震 – 中央氣象局 FB 粉專

因此,對於地震中心來說,如何「應用」這些地震資料,發展出更先進的預警系統,協助制定建築物耐震設計規範,以及配合其他政府單位規劃救災計畫,更是中心業務的一大重點。

30 秒→10秒→5秒!越來越強大的強震即時警報

「建置強震速報系統」是強地動觀測第 2 期計畫的主要目標,致力於提升地震測報的計算能力、縮短向其他單位通報的時間。

在 921 地震期間,雖然當時的地震速報系統只是雛形,卻成功在地震後 102 秒對外發布地震報告,這樣的速度,備受國際重視與肯定。

到了第 3 期計畫,「強震即時警報系統」已經可以在 30 秒內自動推估出初步的地震規模與震央位置,搶在破壞性地震波(S波、表面波)抵達前,將地震的訊息傳達給防災、救災相關單位。

除了大家最熟悉的、會讓手機響起震耳欲聾警報聲的災防告警系統(PWS)外,地震中心也和各防救災單位、公共設施、各級學校以及電視臺合作,一旦強震即時警報偵測到符合條件的地震,就會馬上傳遞地震消息,讓各單位進行緊急應變。

時至 2020 年 4 月,隨著地震觀測網的擴大和更新,以及不斷進步的通訊技術,地震中心已經可以在地震後約 10 秒內發出地震預警訊息,為國人爭取更多避難的黃金時間。

下一步,地震中心將投入前瞻基礎建設 2.0「都會區強震預警精進計畫」,除了持續擴建井下地震觀測網、發客製化地震預警系統作業模組之外,也預計在 4 年內,讓都會區可以在 7 秒內收到地震預警。

在更久遠的未來,地震中心期許可以順利的應用 AI 技術,建置新一代的地震預警作業系統,進一步將發布時間縮短到 5 秒以內!

地震前兆:有辦法抓住強震前的蛛絲馬跡,然後「預測」嗎?

由於地震是在板塊彼此的作用之下,岩層不斷累積應變能量後斷裂錯動而成,不斷累積能量的同時,地底的岩石有可能會產生許多微小的裂隙和變形,並間接影響其他環境參數,改變地下水位、地球磁場、大地電場的數據。

以 921 大地震為例,在車籠埔斷層附近,地球科學家就曾經觀察到地下水水位出現了「同震」的變化!

地球科學家推測,有可能是當地的岩層受到應力的影響後,產生了許多微小的裂隙,因此改變了岩層的孔隙率、滲透率,進而產生地下水位的變化。

如果每一次大地震之前,地球科學家都可以掌握到這些細微的現象,就有可能發展出成熟的地震前兆研究和技術,甚至走上「地震預測」之路。

因此,地震中心除了建置地震站的觀測網之外,也大力推動地震前兆的研究,自 921 大地震後開始設置「臺灣地球物理觀測網」(TGNS):

圖說:地球物理測站的外觀。圖/中央氣象局地震測報中心提供
  • 「全球導航衛星系統」(GNSS)可以進行大地測量,建立臺灣大地變形的資料庫,藉此監測斷層、火山活動,以及地層下陷或滑動等現象。
  • 「地下水」測站能夠連續記錄大氣壓力、雨量與地下水位的相關性。
  • 「地球磁場」測站用以監測地球磁場擾動的現象。
  • 「大地電場」測站可以蒐集大地電場的觀測資料,並推估與大地震之間的關係。
地球物理觀測網分布圖,包含了 163 個 GNSS、6個地下水位、12個地球磁場以及 20 個大地電場觀測站。圖/中央氣象局臺灣地震與地球物理資料管理系統

可惜的是,雖然地球物理的資料和分析已經逐漸制度化,但在地震前兆的研究上,成功案例仍然遠遠不足!

不僅是臺灣在地震前兆上遭受挫折,其他國家在這個領域的研究也長路漫漫。地球科學家還沒有辦法歸納出地震前的行為並取得共識,更別說是地震預測這個更遙遠的夢想了。

幸好,現有的難關無法阻擋地球科學家的好奇心,中央氣象局地震中心也持續投注心力在地震前兆研究中,期許未來有破解祕密的一天!

起死回生的火山、仍然未知的海嘯威脅,地震中心也緊盯不放!

根據噴發紀錄和火山地震波等證據,在中央研究院林正洪研究員的努力下,中研院於 2016 年提出大屯火山群岩漿庫存在的證據,同時也在龜山島附近發現同樣的現象。

隨著地球科學家不斷提出新的證據,經濟部中央地質調查所蒐集相關的研究成果後,在 2019 年 9 月 24 日召開了「火山活動專家諮詢會議」。在各方學者的討論下,讓大屯火山群「起死回生」,將原本公認是死火山的大屯火山群和龜山島,重新被認定為「活火山」。

面對這個反轉,全臺如臨大敵,畢竟人口眾多的天母、北投與士林就在大屯火山群的山腳下,不但核電廠鄰近,總統府和 101 大樓也都距離它不到 20 公里!

大屯火山監測網分布圖,以及核電廠、總統府和臺北 101 等重要地標之相對位置(黑色三角形為地表的地震站,紅色三角形為井下地震站,YM01 到 YM12 測站由大屯火山觀測站維護)。圖/中央氣象局地震測報中心三十周年專刊

我們對這些火山的了解和掌控,又到了哪一步呢?

藉由氣體、溫度、地表變形和地震波等資料,地球科學家可以判斷出大屯火山是否瀕臨爆發的狀態,而早在 2011 年,內政部與國家科學及技術委員會成立大屯火山觀測站 (TVO),並整合中央地質調查所、中央氣象局、中央研究院及國內各大學分析研究成果,建立多項火山監測系統及平台,同步監測大屯火山活動並進行研究。

除了來自大屯火山觀測站的 10 個地震站之外,也包含氣象局設置在北部的地震站,藉此協助研究人員獲得幾乎即時的火山地震資訊。

大屯火山地區的即時地動訊號,紅色矩形為地震訊號。圖/中央氣象局地震測報中心三十周年專刊

當前我國政府已在 2018 年5 月 25 日正式將火山災害列管於「災害防救法」,隔年中央氣象局也制定了火山活動等級與預警發布機制,後於 2020 年 9 月 14 日公布「火山噴發訊息發布作業要點」,一旦大屯火山有任何不對勁,就會立即啟動火山預警發布機制!

氣象局將「火山活動等級」分為 3 級,適情況召開火山專家諮詢小組會議和發布通報。圖/交通部中央氣象局火山噴發訊息發布作業要點

除了來自大屯火山的威脅外,地震中心也負責海嘯的監測和警報發布,並在短短的幾分鐘內,就能解算出海嘯的抵達時間、預估浪高。

倘若太平洋海嘯警報中心(PTWC)預估海嘯可能在 3 小時內到達臺灣,或是臺灣近海發生規模 7 以上、震源深度小於 35 公里的地震時,地震中心即會發布海嘯警報,籲請沿岸居民因應海嘯侵襲。

臺灣的地震防災教育,地震中心也當仁不讓!

除了地震、火山和海嘯測報等核心業務之外,地震中心也致力於地震和防災教育,提供無數科普資源,讓社會大眾學習和運用。

在網路上,有中央氣象局建置的「中央氣象局數位科普網」、回答你關於地震大大小小疑惑的「地震百問」、地震中心官方 Facebook 粉絲專頁「報地震-中央氣象局」等等,各式各樣的線上科普內容。

在實體場域,中央氣象局也設置了幾個展示空間:中央氣象局本部、臺灣南區氣象中心、田中氣象站、竹子湖氣象站-火山監測教育展示室等地(目前因疫情暫停開放),讓有興趣的民眾或學校機關,都可以實際前往觀摩,親眼見證地球科學家和氣象局人員的工作場域和聆聽解說。

畢竟,若想達成真正意義上的「防災」,單單只是完善測報工作、防災工程與避難措施並不足夠。更重要的是,必須讓所有臺灣人都有正確的防災觀念,才能有效提升整體社會的抗災能力。

鳥苷三磷酸 (PanSci Promo)_96
155 篇文章 ・ 268 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

2

7
0

文字

分享

2
7
0
讓人工智慧為 VTuber 團隊撐腰!——AI幫你一鍵生成虛擬音樂家!
研之有物│中央研究院_96
・2021/11/03 ・5051字 ・閱讀時間約 10 分鐘

本文轉載自中央研究院研之有物,泛科學為宣傳推廣執行單位。

  • 採訪撰文│林承勳
  • 美術設計│林洵安

自動化音樂展演的可能性

人工智慧(簡稱 AI)技術日新月異,不只打敗人類圍棋高手,現在更用在醫療、交通、金融、資安各領域,遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能:自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物,配合真人一同演出,而且演奏動畫和音樂伴奏皆可自動產生。未來,經營 VTuber(虛擬 YouTuber)背後可能不再需要龐大製作團隊,只要專注在企劃和劇本,其他讓 AI 幫你一鍵生成!

蘇黎與研究團隊開發的虛擬音樂家系統。圖/研之有物、Unsplash(資料來源:蘇黎)

真實與虛擬合奏的貝多芬小提琴奏鳴曲

虛擬音樂家系統,這是蘇黎與其團隊最近的研究成果,他將 AI 應用到音樂表演現場,並試圖推展到整個多媒體產業。這套系統已實際在舞台演示,並與多個音樂展演團隊合作,包括:沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。

以近年蘇黎舉辦的音樂會為例,主要可分為兩部分,一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家;另一個,即為該場演奏的特別之處:正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合,真人鋼琴家彈奏的過程中,虛擬音樂家系統除了負責合奏,同時還要生成螢幕上虛擬演奏者的動畫身影。

蘇黎與研究團隊公開展示真人音樂家與虛擬音樂家的合奏。圖/蘇黎(虛擬音樂家 Virtual Musician

不放槍、不搶拍的自動伴奏系統

虛擬音樂家系統的「自動伴奏」,不同於卡拉 OK 的機器伴奏,演奏者不需配合伴唱音樂,而是程式控制伴唱音樂以配合演奏者,讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性,自動伴奏的運算必須又快又準。蘇黎指出,這也是研究中比較具有挑戰性的部分。

自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元,讓虛擬音樂家精準掌握真人演奏實況。

舉例來說,想要跟人合奏,首先要確定能同步開始,這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出,但現場會有其他聲音,不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說,因此團隊會先將整個樂譜,輸入到虛擬音樂家的自動伴奏系統中,並在演奏會場早早就讓系統持續待命,只要音樂偵測器偵測到樂譜的第一個音,伴奏隨即啟動。

自動伴奏系統在確認演奏開始之後,馬上又有另一項任務:追蹤音樂進度。因為每位音樂家會有自己的演奏風格,而且真人不管如何熟練,都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務,便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。

「音樂追蹤器採用多執行緒線上動態時間校正(online dynamic time warping)演算法,每一個執行緒在最短時間內各自計算並取平均值,以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋,追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對,就能推測多久後會演奏下一個音。至於位置估算單元,則是用來估計當下已演奏到整個樂譜的哪個位置。

虛擬音樂家系統藉由上述的自動伴奏技術,追蹤真人演奏進度,並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右,但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示,音樂心理學已證實,就算是沒有經過專業訓練的一般人,0.1 秒的誤差聽起來仍非常明顯,「延遲 0.01 秒可以勉強不引起業餘人士的注意;但面對專業音樂家時,延遲可能要到 0.001 秒左右才能過關。」

自動伴奏系統可以即時追蹤音樂進度,判斷真人音樂家目前已經演奏到樂曲的哪個位置。圖/蘇黎(虛擬音樂家 Virtual Musician

訓練 AI 自動生成虛擬音樂家動畫形象

現場音樂表演是影音的雙重享受,所以虛擬音樂家除了擁有自動伴奏的「聲音」,還需要擁有將表演動作形象化的動畫「影像」。

真人音樂家演奏時,不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等,都存在個人差異,沒有一套固定標準。例如拉琴的手勢,10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是:取得大量影音資料,讓 AI 學習如何製造虛擬音樂家的肢體動作。

首先,徵求多位專業小提琴演奏者,穿上有標記點的特殊衣服,站在有動態捕捉裝置的空間中,演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術,會偵測音樂家全身骨骼的關節點,作為虛擬音樂家動畫生成的訓練資料,並在訓練動畫生成模型的過程中,重點關注持弓的右手如何移動。

透過 U 型網路、自注意力機制等核心技術,來輸出虛擬音樂家動態肢體影像。

在訓練 AI 與生成動畫影像的過程中,需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路(U-net),負責圖像之間的轉換,由編碼圖層傳到解碼圖層。它的優點是速度快,而且輸入輸出格式相對容易設計,能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點,而非一個一個骨架點逐步輸出。」蘇黎說。

蘇黎與研究團隊採用 U 型網路模型訓練 AI,自動生成虛擬音樂家動畫影像。圖/蘇黎(Wu, Y. T., Chen, B., & Su, L. (2020)

除此之外,還有自注意力(self-attention)機制,讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式,有時間上的關聯性,假設真人音樂家某個動作在大鼓響起時一直出現,就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中,只要聽到該音樂的大鼓聲出現,就會發出明顯訊號,認為此時要搭配相應的肢體動作。

簡單來說,想要自動化生出虛擬小提琴家,不僅聲音要到位,動畫也要足夠精準。音樂需要自動伴奏系統,即時追蹤真人演奏者的進度並觸發伴奏;而相應的肢體動作,則有賴透過 U 型網路與自注意力機制,讓 AI 在音樂現場了解此時要搭配何種動作。

虛擬音樂家動畫的比較,左邊採用之前的研究,動作較不精準;中間是蘇黎團隊研究成果,自動生成的動畫骨架已有較多變化,並且右手拉弓動作較為準確;最右邊是符合真人動作的演奏動畫,需人工製作。圖/蘇黎(虛擬音樂家 Virtual Musician

進階挑戰:由聽覺到視覺的跨感官轉換

自動生成聲音和影像後,研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌,就聯想到一幅畫。但坦白講,這種音樂到視覺風格轉換(music-to-visual style transfer)非常困難。」蘇黎說。當初有學生向他提出這個構想,想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重,因為最重要的訓練資料幾乎是無法取得。

AI 並非無中生有,機器學習有賴龐大、高品質的資料。

想要讓 AI 學習聽音樂聯想畫面,就必須要有真人示範,聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難,但找來的人未必善於繪畫;即使花大錢請畫家參與實驗,人少沒有代表性,人多則風格又可能大相逕庭。「演奏動作還有跡可循,但大家聽音樂腦補的畫面都不一樣,這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。

研究團隊決定退而求其次,改成在一組音樂跟一組影像資料庫,透過兩者之間共享的語義標註(labels),試圖建立起對應關係。就像是電腦在連連看,如果配對起來共通點還算合理就成功。此時問題又來了,所謂「合理」實在難以界定,於是執行標準只好再一次降低,音樂與畫面的共同標註越簡單越好。

「雖然這跟當初想像中的差距非常大,但目前我們也只能用創作年代來當標註。」蘇黎說,經由創作年代這個共同標註,電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想,模型建立起來後,在虛擬音樂家系統裡還是可以發揮一些功能,像是為演奏會搭配符合音樂年代的背景畫面,或色彩效果。

蘇黎團隊風格轉換的案例,透過共享語義標註,在電腦聽到印象樂派作曲家德布西的音樂(Sarabande in Pour le piano, L. 95(1901))之後,原本為巴比松畫派的圖像(The Lake Her Lone Bosom Expands to the Sky(1850)),會轉換成印象畫派風格。圖/蘇黎(Crossing You in Style

如何成為音樂資訊研究者?

在虛擬音樂家系統之前,蘇黎與實驗室團隊(音樂與文化科技實驗室)在自動音樂採譜方面的研究已經有豐厚成果,他們研發出開源工具《Omnizart》。

《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。

它具備當前全世界最多樣樂器組合的分析功能,只要輸入一段音樂,不管是鋼琴獨奏、多重樂器、打擊樂,還是和弦辨識、節拍偵測,甚至是困難的人聲處理,都會幫你分析。

「像鋼琴這類樂器的話,是音樂進去《Omnizart》,生出 MIDI;而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋,透過這些數字化的音訊數據能了解每一瞬間的音高變化,或是泛音、抖音等手法。研究自動採譜 AI 是因為,蘇黎想探究如蕭邦的夜曲等,這些百年來不斷被重複演奏超過千百次的古典樂,在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。

而這次蘇黎用 AI 創造虛擬音樂家系統,同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他,會吹小號,喜歡聽經典的古典樂。對蘇黎來說,興趣是驅使研究向前的一大動力,他認為身為研究者必須要時常探索新的領域,因此常會要求自己不斷接觸世界各國的在地歌謠。

蘇黎的下一步,是以現有虛擬音樂家系統為基礎,加入更多細膩動作(例如臉部表情)的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家,必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習,但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋,AI 研究者的時間幾乎都耗在蒐集資料上。

同時,研究室也在規劃下一場發表。蘇黎認為,實體演奏會是考驗研究品質最好的方式。除了訓練好模型,現場還有很多要克服的變數,像是很多音樂廳沒有網路,團隊必須將整場演奏會所需的模型,事先設計成用一台筆電就能執行。「總不可能演奏到一半,資料量太大電腦跑不動,然後要跑出去連網路吧。」蘇黎笑著說,音樂會現場要面對很多做研究時不曾碰到的狀況,是很刺激、有挑戰性的任務。

AI 將是未來主流,是好、是壞終究取決於人心。

AI 出現之後,自然也面臨許多批判,例如工作是否會被 AI 取代,甚至以 AI 操控虛假言論或用在軍事用途,但蘇黎覺得,主導權終究還是躲在背後操作的「人」。同樣,隨著虛擬音樂家系統日漸完善,真人音樂家是否擔心未來飯碗被搶走?令人意外的是,蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家,「別小看他們,藝術家可是一群勇敢、期待新事物、信仰未來的人。」

蘇黎未來研究方向是以現有虛擬音樂家系統為基礎,再加入更多細膩動作的虛擬多人樂團。他坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。圖/研之有物

延伸閱讀:

所有討論 2
研之有物│中央研究院_96
253 篇文章 ・ 2190 位粉絲
研之有物,取諧音自「言之有物」,出處為《周易·家人》:「君子以言有物而行有恆」。探索具體研究案例、直擊研究員生活,成為串聯您與中研院的橋梁,通往博大精深的知識世界。 網頁:研之有物 臉書:研之有物@Facebook

0

5
2

文字

分享

0
5
2
地震預警比你想得更複雜!ft. 氣象局地震測報中心主任陳國昌【科科聊聊 EP.56】
PanSci_96
・2021/09/14 ・764字 ・閱讀時間約 1 分鐘

地震來時,除了收「國家級警報」簡訊外,更該遵守趴下、掩護、穩住這三項避難原則!不過,你知道隱藏在地震背後的「地震預警系統」是什麼嗎?就讓我們說給你聽!

  • 00:37 臺灣一年的地震有幾個?
  • 03:34 地震測報中心平時的工作內容是什麼?
  • 07:50 即時站是什麼?
  • 14:29 會透過觀察動物行為來研究地震嗎?
  • 16:48 氣象局在地震預警系統上做了許多努力
  • 23:56 透過人工電腦可以比較好達到預測嗎?
  • 25:10 日本與中國的研究
  • 29:30 臺灣選用建材的改變
  • 32:21 地震預警時間有可能再提前嗎?
  • 40:49 新計畫的效果如何
  • 41:25 理想中的地震預警秒數
  • 50:57 小地震準大地震不準?
  • 53:57 地震測報中心的願景是什麼?
  • 58:36 地震來時該做什麼?

*2021 年「國家防災日」將在 9 月 17 日舉辦,藉由災防告警訊息服務(PWS),於當天早上 9:21 進行「地震速報」測試;9:25 進行「海嘯警報」測試,科夥伴們收到簡訊請不要驚慌,記得遵照「趴下、掩護、穩住」的基本原則,配合演練進行唷!

延伸閱讀:叫醒他的不是鬧鐘,是地震,還有讓預警系統更好的夢想

PanSci_96
1011 篇文章 ・ 1110 位粉絲
PanSci的編輯部帳號,會發自產內容跟各種消息喔。