2

7
0

文字

分享

2
7
0

讓人工智慧為 VTuber 團隊撐腰!——AI幫你一鍵生成虛擬音樂家!

研之有物│中央研究院_96
・2021/11/03 ・5057字 ・閱讀時間約 10 分鐘

本文轉載自中央研究院研之有物,泛科學為宣傳推廣執行單位。

  • 採訪撰文│林承勳
  • 美術設計│林洵安

自動化音樂展演的可能性

人工智慧(簡稱 AI)技術日新月異,不只打敗人類圍棋高手,現在更用在醫療、交通、金融、資安各領域,遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能:自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物,配合真人一同演出,而且演奏動畫和音樂伴奏皆可自動產生。未來,經營 VTuber(虛擬 YouTuber)背後可能不再需要龐大製作團隊,只要專注在企劃和劇本,其他讓 AI 幫你一鍵生成!

蘇黎與研究團隊開發的虛擬音樂家系統。圖/研之有物、Unsplash(資料來源:蘇黎)

真實與虛擬合奏的貝多芬小提琴奏鳴曲

虛擬音樂家系統,這是蘇黎與其團隊最近的研究成果,他將 AI 應用到音樂表演現場,並試圖推展到整個多媒體產業。這套系統已實際在舞台演示,並與多個音樂展演團隊合作,包括:沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。

以近年蘇黎舉辦的音樂會為例,主要可分為兩部分,一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家;另一個,即為該場演奏的特別之處:正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合,真人鋼琴家彈奏的過程中,虛擬音樂家系統除了負責合奏,同時還要生成螢幕上虛擬演奏者的動畫身影。

蘇黎與研究團隊公開展示真人音樂家與虛擬音樂家的合奏。圖/蘇黎(虛擬音樂家 Virtual Musician

不放槍、不搶拍的自動伴奏系統

虛擬音樂家系統的「自動伴奏」,不同於卡拉 OK 的機器伴奏,演奏者不需配合伴唱音樂,而是程式控制伴唱音樂以配合演奏者,讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性,自動伴奏的運算必須又快又準。蘇黎指出,這也是研究中比較具有挑戰性的部分。

-----廣告,請繼續往下閱讀-----

自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元,讓虛擬音樂家精準掌握真人演奏實況。

舉例來說,想要跟人合奏,首先要確定能同步開始,這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出,但現場會有其他聲音,不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說,因此團隊會先將整個樂譜,輸入到虛擬音樂家的自動伴奏系統中,並在演奏會場早早就讓系統持續待命,只要音樂偵測器偵測到樂譜的第一個音,伴奏隨即啟動。

自動伴奏系統在確認演奏開始之後,馬上又有另一項任務:追蹤音樂進度。因為每位音樂家會有自己的演奏風格,而且真人不管如何熟練,都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務,便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。

「音樂追蹤器採用多執行緒線上動態時間校正(online dynamic time warping)演算法,每一個執行緒在最短時間內各自計算並取平均值,以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋,追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對,就能推測多久後會演奏下一個音。至於位置估算單元,則是用來估計當下已演奏到整個樂譜的哪個位置。

虛擬音樂家系統藉由上述的自動伴奏技術,追蹤真人演奏進度,並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右,但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示,音樂心理學已證實,就算是沒有經過專業訓練的一般人,0.1 秒的誤差聽起來仍非常明顯,「延遲 0.01 秒可以勉強不引起業餘人士的注意;但面對專業音樂家時,延遲可能要到 0.001 秒左右才能過關。」

-----廣告,請繼續往下閱讀-----
自動伴奏系統可以即時追蹤音樂進度,判斷真人音樂家目前已經演奏到樂曲的哪個位置。圖/蘇黎(虛擬音樂家 Virtual Musician

訓練 AI 自動生成虛擬音樂家動畫形象

現場音樂表演是影音的雙重享受,所以虛擬音樂家除了擁有自動伴奏的「聲音」,還需要擁有將表演動作形象化的動畫「影像」。

真人音樂家演奏時,不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等,都存在個人差異,沒有一套固定標準。例如拉琴的手勢,10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是:取得大量影音資料,讓 AI 學習如何製造虛擬音樂家的肢體動作。

首先,徵求多位專業小提琴演奏者,穿上有標記點的特殊衣服,站在有動態捕捉裝置的空間中,演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術,會偵測音樂家全身骨骼的關節點,作為虛擬音樂家動畫生成的訓練資料,並在訓練動畫生成模型的過程中,重點關注持弓的右手如何移動。

透過 U 型網路、自注意力機制等核心技術,來輸出虛擬音樂家動態肢體影像。

在訓練 AI 與生成動畫影像的過程中,需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路(U-net),負責圖像之間的轉換,由編碼圖層傳到解碼圖層。它的優點是速度快,而且輸入輸出格式相對容易設計,能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點,而非一個一個骨架點逐步輸出。」蘇黎說。

-----廣告,請繼續往下閱讀-----
蘇黎與研究團隊採用 U 型網路模型訓練 AI,自動生成虛擬音樂家動畫影像。圖/蘇黎(Wu, Y. T., Chen, B., & Su, L. (2020)

除此之外,還有自注意力(self-attention)機制,讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式,有時間上的關聯性,假設真人音樂家某個動作在大鼓響起時一直出現,就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中,只要聽到該音樂的大鼓聲出現,就會發出明顯訊號,認為此時要搭配相應的肢體動作。

簡單來說,想要自動化生出虛擬小提琴家,不僅聲音要到位,動畫也要足夠精準。音樂需要自動伴奏系統,即時追蹤真人演奏者的進度並觸發伴奏;而相應的肢體動作,則有賴透過 U 型網路與自注意力機制,讓 AI 在音樂現場了解此時要搭配何種動作。

虛擬音樂家動畫的比較,左邊採用之前的研究,動作較不精準;中間是蘇黎團隊研究成果,自動生成的動畫骨架已有較多變化,並且右手拉弓動作較為準確;最右邊是符合真人動作的演奏動畫,需人工製作。圖/蘇黎(虛擬音樂家 Virtual Musician

進階挑戰:由聽覺到視覺的跨感官轉換

自動生成聲音和影像後,研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌,就聯想到一幅畫。但坦白講,這種音樂到視覺風格轉換(music-to-visual style transfer)非常困難。」蘇黎說。當初有學生向他提出這個構想,想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重,因為最重要的訓練資料幾乎是無法取得。

AI 並非無中生有,機器學習有賴龐大、高品質的資料。

想要讓 AI 學習聽音樂聯想畫面,就必須要有真人示範,聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難,但找來的人未必善於繪畫;即使花大錢請畫家參與實驗,人少沒有代表性,人多則風格又可能大相逕庭。「演奏動作還有跡可循,但大家聽音樂腦補的畫面都不一樣,這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。

-----廣告,請繼續往下閱讀-----

研究團隊決定退而求其次,改成在一組音樂跟一組影像資料庫,透過兩者之間共享的語義標註(labels),試圖建立起對應關係。就像是電腦在連連看,如果配對起來共通點還算合理就成功。此時問題又來了,所謂「合理」實在難以界定,於是執行標準只好再一次降低,音樂與畫面的共同標註越簡單越好。

「雖然這跟當初想像中的差距非常大,但目前我們也只能用創作年代來當標註。」蘇黎說,經由創作年代這個共同標註,電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想,模型建立起來後,在虛擬音樂家系統裡還是可以發揮一些功能,像是為演奏會搭配符合音樂年代的背景畫面,或色彩效果。

蘇黎團隊風格轉換的案例,透過共享語義標註,在電腦聽到印象樂派作曲家德布西的音樂(Sarabande in Pour le piano, L. 95(1901))之後,原本為巴比松畫派的圖像(The Lake Her Lone Bosom Expands to the Sky(1850)),會轉換成印象畫派風格。圖/蘇黎(Crossing You in Style

如何成為音樂資訊研究者?

在虛擬音樂家系統之前,蘇黎與實驗室團隊(音樂與文化科技實驗室)在自動音樂採譜方面的研究已經有豐厚成果,他們研發出開源工具《Omnizart》。

《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。

它具備當前全世界最多樣樂器組合的分析功能,只要輸入一段音樂,不管是鋼琴獨奏、多重樂器、打擊樂,還是和弦辨識、節拍偵測,甚至是困難的人聲處理,都會幫你分析。

-----廣告,請繼續往下閱讀-----

「像鋼琴這類樂器的話,是音樂進去《Omnizart》,生出 MIDI;而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋,透過這些數字化的音訊數據能了解每一瞬間的音高變化,或是泛音、抖音等手法。研究自動採譜 AI 是因為,蘇黎想探究如蕭邦的夜曲等,這些百年來不斷被重複演奏超過千百次的古典樂,在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。

而這次蘇黎用 AI 創造虛擬音樂家系統,同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他,會吹小號,喜歡聽經典的古典樂。對蘇黎來說,興趣是驅使研究向前的一大動力,他認為身為研究者必須要時常探索新的領域,因此常會要求自己不斷接觸世界各國的在地歌謠。

蘇黎的下一步,是以現有虛擬音樂家系統為基礎,加入更多細膩動作(例如臉部表情)的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家,必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習,但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋,AI 研究者的時間幾乎都耗在蒐集資料上。

同時,研究室也在規劃下一場發表。蘇黎認為,實體演奏會是考驗研究品質最好的方式。除了訓練好模型,現場還有很多要克服的變數,像是很多音樂廳沒有網路,團隊必須將整場演奏會所需的模型,事先設計成用一台筆電就能執行。「總不可能演奏到一半,資料量太大電腦跑不動,然後要跑出去連網路吧。」蘇黎笑著說,音樂會現場要面對很多做研究時不曾碰到的狀況,是很刺激、有挑戰性的任務。

-----廣告,請繼續往下閱讀-----

AI 將是未來主流,是好、是壞終究取決於人心。

AI 出現之後,自然也面臨許多批判,例如工作是否會被 AI 取代,甚至以 AI 操控虛假言論或用在軍事用途,但蘇黎覺得,主導權終究還是躲在背後操作的「人」。同樣,隨著虛擬音樂家系統日漸完善,真人音樂家是否擔心未來飯碗被搶走?令人意外的是,蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家,「別小看他們,藝術家可是一群勇敢、期待新事物、信仰未來的人。」

蘇黎未來研究方向是以現有虛擬音樂家系統為基礎,再加入更多細膩動作的虛擬多人樂團。他坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。圖/研之有物

延伸閱讀:

-----廣告,請繼續往下閱讀-----
文章難易度
所有討論 2
研之有物│中央研究院_96
296 篇文章 ・ 3923 位粉絲
研之有物,取諧音自「言之有物」,出處為《周易·家人》:「君子以言有物而行有恆」。探索具體研究案例、直擊研究員生活,成為串聯您與中研院的橋梁,通往博大精深的知識世界。 網頁:研之有物 臉書:研之有物@Facebook

2

20
1

文字

分享

2
20
1
AI 接手譜出的貝多芬遺作《第十號交響曲》,連專業音樂家也「難解難分」!
peggysha
・2021/11/03 ・2214字 ・閱讀時間約 4 分鐘

在古典音樂界裡,流傳著這麼一個傳說:作曲家在寫完第九號交響曲之後,生命也就到了盡頭。而貝多芬(Ludwig von Beethoven)便是這個詛咒最著名的「受害者」之一。

著名作曲家貝多芬。圖/維基百科

1817 年,英國皇家愛樂協會(Royal Philharmonic Society)請貝多芬創作了兩首交響曲,這第一首呢,便是《第九號交響曲》(Symphony No.9 in D minor, Op.125),完工後成為了經典不朽的代表作,把《歡樂頌》快樂直送到世界各地的人們耳中。

然而,可惜的是,在開始著手《第十號交響曲》(Beethoven Symphony No.10)後不久,貝多芬的健康便迅速惡化,最終在 1827 年離開了世界,而這第十號交響曲,除了幾個音符加上各式各樣的筆記之外,就啥也沒有了,從此成為了樂迷們心中的遺憾。

人死不能復生,但,大家的好奇心可沒這麼容易被殺死。最近,一個專門推廣音樂科技的奧地利機構,卡拉揚研究所(Karajan Institute)便集結了一群音樂學家、作曲家、AI 科學家、歷史學家,嘗試從手稿裡找到蛛絲馬跡,並藉由 AI 的力量,將貝多芬的遺作帶給世界,為他慶祝 250 歲生日。

-----廣告,請繼續往下閱讀-----

到底,AI 是怎麼「寫」出這首曲子的?它真能滿足大家的耳朵嗎?

早有人挑戰續寫大師神作!風格不同被罵慘

你或許會想,啊都交給 AI 了,寫個曲應該沒什麼困難的吧?嘿,那你可就太小看貝多芬給大家出的作業了。

1988 年時,一位名叫貝瑞庫珀(Barry Cooper)的音樂學家便曾嘗試挑戰這項任務,他蒐集了貝多芬老大的手稿和各式資料,用自己的理解試圖創作出一個最接近貝多芬風格的第一和第二樂章。

不過呢,這兩個樂章寫完了之後,大家卻是罵聲連連,很多人覺得他根本沒有搞懂貝多芬的風格,只是在狗尾續貂。

-----廣告,請繼續往下閱讀-----

另一方面,所謂「寫得出」曲子跟「寫得好」曲子完全是兩回事,要真正讓 AI 掌握作曲家原本的風格、進而去模仿,需要考量的面向比單純輸入資料難多了。

曾有音樂家挑戰續寫貝多芬的《第十號交響曲》,卻被抨擊為狗尾續貂。圖/Pixabay

發揮偵探精神,分工合作打團戰

曾經失敗沒關係,這次計畫的負責人,卡拉揚研究所的所長 Matthias Röder 可不是吃素的,他的最高原則大概可以八字概括:AI 不夠、人腦來湊

專家們開了幾次小組會議後,基本協調出了這樣的分工:計算音樂學家 Mark Gotham 與 AI 專家 Ahmed Elgammal 要梳理貝多芬的手稿,並將他過去的寫作脈絡通通餵給 AI,讓機器學習他的邏輯與理念;寫出 Intel 鈴聲的奧地利作曲家 Walter Werzowa 負責把貝多芬留下的片段和 AI 生出的旋律給合在一起;音樂學家 Robert Levin 提供專業建議,協助進行優化與調整。

這組合不錯,聽起來會順順完成對吧?錯!

-----廣告,請繼續往下閱讀-----

所謂交響曲呢,通常會由四個樂章組成:第一個樂章開場,節奏稍快;第二個樂章來個轉折,變得較慢;第三樂章會是中板或快板;到了最後一個樂章時,則會以澎湃激昂快節奏結束。

好了那麼問題來了:同樣一段旋律,它出現在第二樂章與第四樂章,會達成完全不同的效果,弄得不好,那差異就像「我要結婚啦!」、「新郎不是我QQ」一樣悲劇。

於是乎,團隊需要判斷:第十號交響曲的主題旋律到底為何?哪個時候可能是新樂章的起點?這種種判斷,都有賴人腦協助決定。

作曲小白,從零開始的譜曲之路

決定好了各個音符或片段出現的位置後,團隊又有新的考驗:要怎麼就既有片段進行擴寫呢?當然不能隨機組合,想要延伸樂句,就必須遵從一些音樂形式,它可能是三拍子、聽起來輕快的詼諧曲;又或許是不同音高旋律和諧融合出的賦格……

-----廣告,請繼續往下閱讀-----

接下來,團隊就開始了漫漫 AI 教學之路,先學會怎麼讓音符組起來和諧、再學怎麼將兩個段落連結、接著要知道怎麼為段落收尾、還要知道怎麼分配各個樂器,總而言之,就是讓 AI 掌握各種基本的作曲規則與技巧,生出的旋律才能符合規範。

小考囉!電腦、人腦,傻傻分不清楚?

經過一段時間的努力後,團隊終於帶著 AI 奔赴「考場」。2019 年 11 月,他們找來了一群記者、音樂學家和專門研究貝多芬的專家作聽眾,並讓鋼琴家演奏 AI 創作的音樂片段,測測聽眾們是否可以確定 AI 開始接手作曲的節點出現在哪裡?結果大家並未成功找出來。

幾天之後,他們又透過弦樂四重奏的方式演奏了 AI 所作的作品片段,結果只有非常熟悉貝多芬手稿的人才能確定人工智慧接手的點究竟在哪裡。

這兩次小考都算是成功通過,讓團隊信心倍增。在接下來的 18 個月中,研究團隊一起編出了兩個完整、各超過 20 分鐘的樂章。

-----廣告,請繼續往下閱讀-----

終於,在 10 月 9 日,研究團隊帶著 AI 創作的作品回到了貝多芬的出生地德國波昂(Bonn)進行了全球首演,至於這首曲子聽起來到底夠不夠「貝多芬」呢?就交給你判斷吧:Beethoven X: The AI Project

參考資料:

  1. https://www.classicfm.com/composers/beethoven/news/computer-completes-unfinished-tenth-symphony/
  2. https://theconversation.com/how-a-team-of-musicologists-and-computer-scientists-completed-beethovens-unfinished-10th-symphony-168160
-----廣告,請繼續往下閱讀-----
文章難易度
所有討論 2
peggysha
69 篇文章 ・ 390 位粉絲
曾經是泛科的 S 編,來自可愛的教育系,是一位正努力成為科青的女子,永遠都想要知道更多新的事情,好奇心怎樣都不嫌多。

2

7
0

文字

分享

2
7
0
讓人工智慧為 VTuber 團隊撐腰!——AI幫你一鍵生成虛擬音樂家!
研之有物│中央研究院_96
・2021/11/03 ・5057字 ・閱讀時間約 10 分鐘

本文轉載自中央研究院研之有物,泛科學為宣傳推廣執行單位。

  • 採訪撰文│林承勳
  • 美術設計│林洵安

自動化音樂展演的可能性

人工智慧(簡稱 AI)技術日新月異,不只打敗人類圍棋高手,現在更用在醫療、交通、金融、資安各領域,遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能:自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物,配合真人一同演出,而且演奏動畫和音樂伴奏皆可自動產生。未來,經營 VTuber(虛擬 YouTuber)背後可能不再需要龐大製作團隊,只要專注在企劃和劇本,其他讓 AI 幫你一鍵生成!

蘇黎與研究團隊開發的虛擬音樂家系統。圖/研之有物、Unsplash(資料來源:蘇黎)

真實與虛擬合奏的貝多芬小提琴奏鳴曲

虛擬音樂家系統,這是蘇黎與其團隊最近的研究成果,他將 AI 應用到音樂表演現場,並試圖推展到整個多媒體產業。這套系統已實際在舞台演示,並與多個音樂展演團隊合作,包括:沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。

以近年蘇黎舉辦的音樂會為例,主要可分為兩部分,一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家;另一個,即為該場演奏的特別之處:正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合,真人鋼琴家彈奏的過程中,虛擬音樂家系統除了負責合奏,同時還要生成螢幕上虛擬演奏者的動畫身影。

蘇黎與研究團隊公開展示真人音樂家與虛擬音樂家的合奏。圖/蘇黎(虛擬音樂家 Virtual Musician

不放槍、不搶拍的自動伴奏系統

虛擬音樂家系統的「自動伴奏」,不同於卡拉 OK 的機器伴奏,演奏者不需配合伴唱音樂,而是程式控制伴唱音樂以配合演奏者,讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性,自動伴奏的運算必須又快又準。蘇黎指出,這也是研究中比較具有挑戰性的部分。

-----廣告,請繼續往下閱讀-----

自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元,讓虛擬音樂家精準掌握真人演奏實況。

舉例來說,想要跟人合奏,首先要確定能同步開始,這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出,但現場會有其他聲音,不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說,因此團隊會先將整個樂譜,輸入到虛擬音樂家的自動伴奏系統中,並在演奏會場早早就讓系統持續待命,只要音樂偵測器偵測到樂譜的第一個音,伴奏隨即啟動。

自動伴奏系統在確認演奏開始之後,馬上又有另一項任務:追蹤音樂進度。因為每位音樂家會有自己的演奏風格,而且真人不管如何熟練,都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務,便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。

「音樂追蹤器採用多執行緒線上動態時間校正(online dynamic time warping)演算法,每一個執行緒在最短時間內各自計算並取平均值,以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋,追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對,就能推測多久後會演奏下一個音。至於位置估算單元,則是用來估計當下已演奏到整個樂譜的哪個位置。

虛擬音樂家系統藉由上述的自動伴奏技術,追蹤真人演奏進度,並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右,但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示,音樂心理學已證實,就算是沒有經過專業訓練的一般人,0.1 秒的誤差聽起來仍非常明顯,「延遲 0.01 秒可以勉強不引起業餘人士的注意;但面對專業音樂家時,延遲可能要到 0.001 秒左右才能過關。」

-----廣告,請繼續往下閱讀-----
自動伴奏系統可以即時追蹤音樂進度,判斷真人音樂家目前已經演奏到樂曲的哪個位置。圖/蘇黎(虛擬音樂家 Virtual Musician

訓練 AI 自動生成虛擬音樂家動畫形象

現場音樂表演是影音的雙重享受,所以虛擬音樂家除了擁有自動伴奏的「聲音」,還需要擁有將表演動作形象化的動畫「影像」。

真人音樂家演奏時,不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等,都存在個人差異,沒有一套固定標準。例如拉琴的手勢,10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是:取得大量影音資料,讓 AI 學習如何製造虛擬音樂家的肢體動作。

首先,徵求多位專業小提琴演奏者,穿上有標記點的特殊衣服,站在有動態捕捉裝置的空間中,演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術,會偵測音樂家全身骨骼的關節點,作為虛擬音樂家動畫生成的訓練資料,並在訓練動畫生成模型的過程中,重點關注持弓的右手如何移動。

透過 U 型網路、自注意力機制等核心技術,來輸出虛擬音樂家動態肢體影像。

在訓練 AI 與生成動畫影像的過程中,需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路(U-net),負責圖像之間的轉換,由編碼圖層傳到解碼圖層。它的優點是速度快,而且輸入輸出格式相對容易設計,能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點,而非一個一個骨架點逐步輸出。」蘇黎說。

-----廣告,請繼續往下閱讀-----
蘇黎與研究團隊採用 U 型網路模型訓練 AI,自動生成虛擬音樂家動畫影像。圖/蘇黎(Wu, Y. T., Chen, B., & Su, L. (2020)

除此之外,還有自注意力(self-attention)機制,讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式,有時間上的關聯性,假設真人音樂家某個動作在大鼓響起時一直出現,就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中,只要聽到該音樂的大鼓聲出現,就會發出明顯訊號,認為此時要搭配相應的肢體動作。

簡單來說,想要自動化生出虛擬小提琴家,不僅聲音要到位,動畫也要足夠精準。音樂需要自動伴奏系統,即時追蹤真人演奏者的進度並觸發伴奏;而相應的肢體動作,則有賴透過 U 型網路與自注意力機制,讓 AI 在音樂現場了解此時要搭配何種動作。

虛擬音樂家動畫的比較,左邊採用之前的研究,動作較不精準;中間是蘇黎團隊研究成果,自動生成的動畫骨架已有較多變化,並且右手拉弓動作較為準確;最右邊是符合真人動作的演奏動畫,需人工製作。圖/蘇黎(虛擬音樂家 Virtual Musician

進階挑戰:由聽覺到視覺的跨感官轉換

自動生成聲音和影像後,研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌,就聯想到一幅畫。但坦白講,這種音樂到視覺風格轉換(music-to-visual style transfer)非常困難。」蘇黎說。當初有學生向他提出這個構想,想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重,因為最重要的訓練資料幾乎是無法取得。

AI 並非無中生有,機器學習有賴龐大、高品質的資料。

想要讓 AI 學習聽音樂聯想畫面,就必須要有真人示範,聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難,但找來的人未必善於繪畫;即使花大錢請畫家參與實驗,人少沒有代表性,人多則風格又可能大相逕庭。「演奏動作還有跡可循,但大家聽音樂腦補的畫面都不一樣,這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。

-----廣告,請繼續往下閱讀-----

研究團隊決定退而求其次,改成在一組音樂跟一組影像資料庫,透過兩者之間共享的語義標註(labels),試圖建立起對應關係。就像是電腦在連連看,如果配對起來共通點還算合理就成功。此時問題又來了,所謂「合理」實在難以界定,於是執行標準只好再一次降低,音樂與畫面的共同標註越簡單越好。

「雖然這跟當初想像中的差距非常大,但目前我們也只能用創作年代來當標註。」蘇黎說,經由創作年代這個共同標註,電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想,模型建立起來後,在虛擬音樂家系統裡還是可以發揮一些功能,像是為演奏會搭配符合音樂年代的背景畫面,或色彩效果。

蘇黎團隊風格轉換的案例,透過共享語義標註,在電腦聽到印象樂派作曲家德布西的音樂(Sarabande in Pour le piano, L. 95(1901))之後,原本為巴比松畫派的圖像(The Lake Her Lone Bosom Expands to the Sky(1850)),會轉換成印象畫派風格。圖/蘇黎(Crossing You in Style

如何成為音樂資訊研究者?

在虛擬音樂家系統之前,蘇黎與實驗室團隊(音樂與文化科技實驗室)在自動音樂採譜方面的研究已經有豐厚成果,他們研發出開源工具《Omnizart》。

《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。

它具備當前全世界最多樣樂器組合的分析功能,只要輸入一段音樂,不管是鋼琴獨奏、多重樂器、打擊樂,還是和弦辨識、節拍偵測,甚至是困難的人聲處理,都會幫你分析。

-----廣告,請繼續往下閱讀-----

「像鋼琴這類樂器的話,是音樂進去《Omnizart》,生出 MIDI;而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋,透過這些數字化的音訊數據能了解每一瞬間的音高變化,或是泛音、抖音等手法。研究自動採譜 AI 是因為,蘇黎想探究如蕭邦的夜曲等,這些百年來不斷被重複演奏超過千百次的古典樂,在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。

而這次蘇黎用 AI 創造虛擬音樂家系統,同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他,會吹小號,喜歡聽經典的古典樂。對蘇黎來說,興趣是驅使研究向前的一大動力,他認為身為研究者必須要時常探索新的領域,因此常會要求自己不斷接觸世界各國的在地歌謠。

蘇黎的下一步,是以現有虛擬音樂家系統為基礎,加入更多細膩動作(例如臉部表情)的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家,必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習,但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋,AI 研究者的時間幾乎都耗在蒐集資料上。

同時,研究室也在規劃下一場發表。蘇黎認為,實體演奏會是考驗研究品質最好的方式。除了訓練好模型,現場還有很多要克服的變數,像是很多音樂廳沒有網路,團隊必須將整場演奏會所需的模型,事先設計成用一台筆電就能執行。「總不可能演奏到一半,資料量太大電腦跑不動,然後要跑出去連網路吧。」蘇黎笑著說,音樂會現場要面對很多做研究時不曾碰到的狀況,是很刺激、有挑戰性的任務。

-----廣告,請繼續往下閱讀-----

AI 將是未來主流,是好、是壞終究取決於人心。

AI 出現之後,自然也面臨許多批判,例如工作是否會被 AI 取代,甚至以 AI 操控虛假言論或用在軍事用途,但蘇黎覺得,主導權終究還是躲在背後操作的「人」。同樣,隨著虛擬音樂家系統日漸完善,真人音樂家是否擔心未來飯碗被搶走?令人意外的是,蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家,「別小看他們,藝術家可是一群勇敢、期待新事物、信仰未來的人。」

蘇黎未來研究方向是以現有虛擬音樂家系統為基礎,再加入更多細膩動作的虛擬多人樂團。他坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術,都還有很大的進步空間。圖/研之有物

延伸閱讀:

-----廣告,請繼續往下閱讀-----
文章難易度
所有討論 2
研之有物│中央研究院_96
296 篇文章 ・ 3923 位粉絲
研之有物,取諧音自「言之有物」,出處為《周易·家人》:「君子以言有物而行有恆」。探索具體研究案例、直擊研究員生活,成為串聯您與中研院的橋梁,通往博大精深的知識世界。 網頁:研之有物 臉書:研之有物@Facebook

0

0
0

文字

分享

0
0
0
不是不會髒,而是更難沾:耐污馬桶的表面科學
鳥苷三磷酸 (PanSci Promo)_96
・2026/09/22 ・3364字 ・閱讀時間約 7 分鐘

本文與 Panasonic 合作,泛科學撰文 

●以下科學研究內容作為知識分享,不直接與Panasonic A La Uno全自動洗淨馬桶產品功能連結

在做家務的痛苦排行榜上,「刷馬桶」絕對名列前茅。明明天天都在沖水,但過不了幾天,馬桶內壁邊角總會浮現黃黃的水垢、角落發黑的霉斑,甚至是那些刷掉又長出來的粉紅色污垢(黏質沙雷氏菌)。

許多市售衛浴設備常標榜「神奇抗污」或「永久不沾」,讓人誤以為安裝後便能永保潔淨。然而從材料科學的角度來看,世上並無能使污垢憑空消失的魔法。所謂「耐污」的實質機制,並非打造完全不沾染髒污的材質,而是調整表面的物理與化學屬性,使水垢和微生物難以強力附著。一旦降低了污垢與內壁之間的附著力,透過日常水流沖刷,便能輕易地將髒污帶走。

-----廣告,請繼續往下閱讀-----

為什麼垢「黏不住」? 

要搞懂為什麼某些特殊表面能做到「耐污」,我們得先像偵探一樣,拆解馬桶裡的髒污究竟是怎麼「抓緊」材料表面的。馬桶內壁的污垢主要有兩大難纏的元兇:

  1. 水垢與礦物沉積*1:我們日常使用的自來水中含有鈣、鎂等金屬離子。當水滴在表面經歷反覆的濕潤與蒸發乾燥循環時,這些離子會逐漸結晶析出,變成硬度極高、緊緊「卡」在微觀縫隙裡的礦物質水垢。
  2. 生物膜與有機物*2:包含尿液中的無機鹽、油脂殘留,以及細菌入侵後分泌出像超強膠水一般的聚合物,所組成的黏滑防禦大本營。
關鍵不是沖水,而是「這些污垢如何抓住表面」

這兩大類污垢想要在材料上「落腳」,前提是它們必須能在表面找到足夠的附著點與黏合力。那麼,材料科學家是如何讓這些髒污「站不穩」的呢?答案就藏在「表面能(Surface Energy)」與「濕潤性(Wettability)」這兩個核心概念中。

當我們把水滴在某個表面上時,水滴會聚成一顆圓滾滾的水珠,還是迅速攤平開來?這取決於表面的特性:

  • 疏水路線(Hydrophobic)*1:具備低表面能的疏水表面,能顯著減少水分子或污染物與表面之間的極性作用力與氫鍵。水滴在這種表面上會因為表面張力而收縮成水珠,當水珠滾動滑落時,就能順便把表面的灰塵與礦物質顆粒帶走,這就是著名的「自清潔效應」。
  • 親水路線(Hydrophilic / Superhydrophilic)*2:相反地,極度親水的超親水表面則會強烈地吸引水分子,在材料最外層形成一層薄薄的「水化層(Hydration Layer)」。這層水化層就像是實體的液體盾牌,讓油污、蛋白質或細菌無法直接接觸到材料基底,只能漂浮在水膜上方。

如果要用攀岩來比喻:傳統粗糙的表面就像是有許多凹槽的攀岩牆,髒污就像攀岩者,需要找到落腳點並用力撐住才能攀附;而我們做的是抽掉把手點,或是在把手上塗上潤滑油,讓髒污找不到施力點,自然難以停留。

-----廣告,請繼續往下閱讀-----
材料科學的核心:想辦法讓污垢「抓不住」

不給細菌「握手」的機會

解決了水垢,下一個更棘手的對手是「細菌」。

馬桶內壁那些黑黑粉粉、摸起來滑滑的污垢,在微生物學中被稱為「生物膜(Biofilm)」。細菌並不是孤立生長的,當單顆細菌落在表面後,如果覺得環境舒適,它就會開始分泌胞外聚合物(EPS),這是一種天然的超強膠水。細菌們用這種膠水把自己與同伴緊緊黏在一起,並築起堅固的防禦堡壘,這時一般的沖水就很難把它們沖洗乾淨了。

根據《Nature Communications》與《Microsystems & Nanoengineering》的學術期刊研究指出,要阻止生物膜形成,除了化學上的抗菌,材料的「表面微幾何結構」扮演了至關重要的角色。

材料科學領域中有一個著名的「附著點理論(Attachment Point Theory)」:

-----廣告,請繼續往下閱讀-----
  1. 粗糙與微孔洞表面:如果材料表面存在許多微小的裂縫、氣孔或微米級凹洞,細菌(體積通常約 1 到 3 微米)就會興高采烈地鑽進這些小凹槽裡。這些凹槽不僅提供了極佳的機械咬合支點,還能幫細菌擋掉水流的沖刷。
  2. 極致平滑與微結構表面:相反地,如果材料表面做到極致平滑,完全沒有微米級的缺陷;或者反過來設計出尺寸遠小於細菌的奈米結構,細菌的足跡構造(如鞭毛或纖毛)就無法在表面找到穩固的「接觸附著點(Contact Points)」。

當細菌發現自己在這個表面上連「手都握不緊」、隨時會被水流吹走時,它就無法順利定殖並分泌膠水築巢。此外,現代衛浴結構在設計時,也越來越強調「一體成形」與「無接縫工藝」。消除接縫與死角,等於直接拔除了細菌與水垢最喜歡的避風港。

阻止細菌、生物膜找不到「落腳點」

當材料、結構與流體科技組隊聯防 

了解了材料化學與微觀幾何,我們就能勾勒出一座現代耐污馬桶的完整防禦體系:【材料層(低附著力)】+【結構層(無縫平滑)】+【動態流體層(泡沫與水流剪切力)】= 高效清潔!

以市面上備受矚目的 Panasonic A La Uno 全自動洗淨馬桶為例,就是將材料科學、結構工程與流體力學發揮到極致的典型代表:

1. 材料層:有機玻璃系新素材

A La Uno 全自動洗淨馬桶採新開發的「有機玻璃系新素材」(以壓克力高分子為基礎研發的衛浴專用材料,這類高分子成形技術亦被廣泛運用於大型水族館高壓觀景窗與飛機機艙罩)。這種材料表面具備極佳的疏水性與耐水垢特性,水滴不易長時間攤平停留;材質堅固、不易破裂,耐刮、不易造成細小傷痕。通過實驗測試,這種素材配合泡沫洗淨,在沖洗後能有效沖刷掉高達 99.99% 的大腸桿菌,從源頭阻斷細菌定殖。

-----廣告,請繼續往下閱讀-----

2. 結構層:無接縫工藝與三重防濺防護

在宏觀結構上,A La Uno 全自動洗淨馬桶採用無水箱沖水與便器、溫水洗淨便座一體成型設計,減少傳統水箱與座體之間的結構層次及接縫,並搭配可動迴轉式排水系統完成沖洗。更貼心的是其「三重防護」設計:

  • 泡沫防護:在水面上製造一層充沛的泡沫緩衝層,有效抑制男性站立小便時的尿液與污水飛濺;
  • 外圍防護:馬桶邊界特別設計了高約 3mm 的水檔,防止液體延著外壁滴落至地板;
  • 測漏防護:便座與馬桶本體採用不外露的防護設計,避免液體從縫隙飛濺滲漏。
Panasonic A La Uno 全自動洗淨馬桶

3. 動態流體層:雙效泡沫洗淨、漩渦水流與 nanoe™ X

當污垢降落在馬桶內壁時,A La Uno全自動洗淨馬桶 的動態流體科技便接手進行徹底打掃。其「雙效泡沫洗淨」會先釋放直徑約 5mm 的「毫米泡沫」包裹並帶走大塊髒污,再透過直徑約 60微米的「微米泡沫」深入微觀縫隙,徹底溶解殘餘的油脂與細微污垢。接著,配合高度清潔力的「漩渦型強力水流」,利用旋轉產生的流體剪切力,一口氣將附著力已被削弱的污垢剝離並沖走。此外,Panasonic A La Uno 全自動洗淨馬桶還搭襯了 nanoe™ X 健康科技,釋放氫氧離子有效抑制異味與髒污,維持空氣與內壁的良好衛生狀態。

科技讓生活變輕鬆,但物理法則依然誠實

從材料化學的低表面能設計,到微觀幾何的附著點控制,再到流體力學的水流沖刷,一座現代抗污馬桶的演進,縮影了人類如何運用基礎科學來解決日常生活痛點的智慧。

我們習慣將衛生清潔想像成一場與細菌髒污的硬碰硬死鬥。然而,A La Uno全自動洗淨馬桶 等現代衛浴技術的突破,展示了材料科學的另一種聰明思維:不靠強酸強鹼硬打,而是透過物理與化學邏輯,將「污垢固著」的機率降到最低。

-----廣告,請繼續往下閱讀-----

當材料科學與現代衛浴技術結合,刷馬桶不再是一件令人頭痛的辛苦瑣事。透過這些前沿科技的加持,我們得以從繁重的家務勞動中解放,享受更加乾淨、舒適且有品質的日常生活。

*1 參考論文:A metallic anti-biofouling surface with a hierarchical topography containing nanostructures on curved micro-riblets

*2 參考論文:Brushing up functional materials

-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
251 篇文章 ・ 321 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

1
0

文字

分享

0
1
0
AI 伺服器晶片大又貴,萬一焊接失敗還有救嗎?
宜特科技_96
・2026/09/18 ・3984字 ・閱讀時間約 8 分鐘

-----廣告,請繼續往下閱讀-----

本文轉載自宜特小學堂〈CoWoS, EMIB, SoIC等先進封裝如何精準貼裝且順利重焊(Rework)?〉,如果您對半導體產業新知有興趣,歡迎按下右邊的追蹤,就不會錯過宜特科技的最新文章!

隨著 ChatGPT、生成式 AI 與大語言模型(LLM)的爆發,輝達(NVIDIA)的 Blackwell(如 B200)、Ultra系列,以及 AMD、英特爾(Intel)的高階伺服器晶片,都高度依賴 2.5D / 3D 異質整合先進封裝技術。

為了追求運算極限,晶片不再只是單一矽晶圓,而是 CPU、GPU 和好幾顆 HBM(高頻寬記憶體)用先進封裝「拼貼」在一起。這導致整個封裝完的晶片尺寸變得奇大無比,隨便就突破 90 X90 mm的尺寸,這在以前的消費性電子,例如手機晶片頂多 15 X15 mm,是難以想像的大小。

-----廣告,請繼續往下閱讀-----

一顆高階 AI 晶片的報價動輒幾萬美金,如果在最後打上印刷電路板(PCBA)時,才因為焊接不良(如冷焊、橋接)導致測試失敗,若要整顆報廢,所費不貲。這時,就是「返修系統」上場的時候!如何完美地拆下這顆昂貴的晶片、清理乾淨電路板,再精確地焊回去,是極高難度的維修門檻。

面對晶片巨大化的硬體挑戰,業界普遍遵循的 IPC-9701 規範(焊接性能與可靠度實驗標準)也更加嚴格。從組裝到 Rework(重工)都是重要環節;所謂 Rework,就是將已組裝的元件拆下、修復或更換後再重新組裝,尤其適用於高價值元件的修復與再利用,也是確保 AI 伺服器在高溫、高負載環境下維持可靠度的關鍵。

本文將探討在 AI 算力大爆發的時代下,如何提供一套能跨越物理限制、確保高良率與高可靠度的「大尺寸晶片貼裝與自動返修關鍵解決方案」,協助AI供應鏈上下游克服硬體演進的最後一哩路。

一、AI伺服器晶片巨大化帶來的製程痛點

近期業界最常面臨的痛點是:「現在的大尺寸晶片可能達到 150x150mm,能用什麼工具貼裝?晶片重工維修時又該如何確保品質?」

-----廣告,請繼續往下閱讀-----

(一) 現有設備的尺寸限制:

現行普遍的貼片設備(Pick and Place, P&P)受到物理限制,最大僅能支持邊長約 90×90 mm 的元件,面對現今尺寸動輒超過 90×90 mm 的巨型晶片,已完全無法滿足對位與貼裝的需求。

(二) 手工返修帶來的重工風險:

當大尺寸晶片需要進行重工(Rework)或維修時,若使用傳統人工或非專用設備加熱,容易導致以下缺陷:

1. PCB剝離(Peeling):因加熱不均勻或過熱,導致印刷電路板層壓結構受損。

2. 零件燒焦與冷焊(Cold Solder):溫控不精準導致元件表面燒焦,或是錫膏未完全熔化而形成冷焊,嚴重影響焊接品質。

由左至右是傳統人工除錫製程中,易因溫控不準確,導致爆版、燒焦或冷焊(焊接不良)。圖/宜特科技

3. 焊墊缺陷:傳統人工除錫製程中,容易因物理接觸刮傷或拉扯,造成電路板焊墊(Pad)損壞。

傳統手工除錫常見的缺陷:左圖造成BGA焊墊損傷,右圖為人工除錫後高度不均的現象。圖/宜特科技

二、解密「晶片手術」:高階返修與自動除錫技術

從上面的案例可以了解,在面對大型 AI 晶片的貼裝與返修,真正的挑戰不只是「拆下來再焊回去」,而是如何在不傷害晶片與電路板的前提下,精準完成拆除、除錫、對位與重焊。要完成這場高難度的晶片手術,尺寸、精度、溫控與除錫,每個環節都是關鍵。


因此,專為大型晶片開發的「高精度返修系統解決方案」誕生了!透過精準的溫控技術與光學對準功能,確保BGA元件的可靠拆裝與高效返修,避免因焊接不良導致的損毀。

(一)超大尺寸晶片的也能拆裝:

現行普遍的貼片設備(Pick and Place, P&P)受到物理限制,最大僅能支持邊長約 90×90 mm 的元件,面對現今尺寸動輒超過 90×90 mm 的巨型晶片,已完全無法滿足對位與貼裝的需求。

-----廣告,請繼續往下閱讀-----

(二)高精度光學對位控制更精準:

晶片拆下後,要重新對準電路板上的焊點並不容易。透過高解析彩色相機與光學影像重疊技術,可微調 Theta 角與 X/Y 軸,將對位精度控制在 ±25 μm 以內,降低貼裝偏移的風險。

(三) 複合溫控提升受熱均勻度:

大型晶片若局部溫差過大,可能造成基板翹曲甚至損傷,採用大功率紅外線(IR)結合熱風循環複合加熱,並配備即時監控系統,確保大面積基板受熱均勻,避免板材翹曲或損傷。

結合大功率底座紅外線(Dynamic IR)與頂部熱風循環(Hot Air)的精密加熱架構示意。圖/Kurtz ersa,宜特科技重製

(四) 不傷板清理殘留焊錫:

晶片移除後,電路板上仍會留下殘錫,傳統人工除錫可能增加焊墊受損的風險。自動吸錫技術則能以完全不接觸 PCBA 的方式,自動把殘錫吸取乾淨,徹底杜絕手工除錫帶來的焊墊損壞缺陷 。

三、實際案例分享

宜特經常收到客戶緊急送修、搭載大型 AI晶片的高價伺服器主機板。為了兼顧「高精準貼裝」與「無損維修」,以下是我們將核心技術應用在真實案例的分享。

-----廣告,請繼續往下閱讀-----

案例一:大尺寸晶片(> 90 X 90 mm)光學對位貼裝

客戶研發出一款全新的超大尺寸AI晶片,常規SMT(表面黏著)產線根本無法精準貼裝,也會擔心焊接過程溫度不均,導致高價晶片損壞,而以下是我們針對大型晶片的貼裝流程建議。

大尺寸晶片(> 90mm x 90mm)貼裝流程。圖/宜特科技

1. 精密光學重疊對位(Optical Superposition):
在實機對位時,系統配置了5 MP GigE高解析彩色相機,利用光學影像重疊技術,將晶片接腳(下圖的橘點)與電路板焊墊(下圖中的綠方塊)的影像同時呈現在螢幕上。
工程師就能非常直覺地在畫面上進行Theta角度微調(旋轉修正與 X-Y 軸向微對齊,將貼裝精度控制在極精準的±25 μm以內。當對位完成,真空吸嘴便會自動放開,安全地將元件放到極其精準的座標上。

高精度光學影像重疊(Optical Superposition)對位原理,是系統利用分光鏡(Beam Splitter)與雙LED光源,同時捕捉上方晶片接腳(橘點)與下方電路板焊墊(綠方塊)的影像,將兩者即時重疊於螢幕中,協助工程師進行極其直覺且精準的對位微調。圖/Kurtz ersa,宜特科技重製
IC對位微調補償機制(Alignment Correction)。系統在影像重疊後進行兩階段修正:1. Theta軸向調整(Theta adjustment),旋轉校正晶片角度偏差;2. X-Y 軸向調整(X-Y adjustment),進行前後左右的水平線性對齊,確保晶片錫球與PCB焊墊達到精密接合。圖/Kurtz ersa,宜特科技重製

2. 即時溫控多點監控(Real-time Profile):
在焊接階段,系統採用大功率紅外線(IR)與熱風循環複合加熱。我們在電路板上拉出多達7個位置的溫度感測線(熱電偶),在螢幕上即時繪製動態溫度Profile曲線。此技術能確保這顆超大晶片的每一處受熱都完美均勻,徹底杜絕了傳統加熱不良導致的翹曲(Warpage)、零件損壞或焊接問題。

實機運作時,透過多達7組熱電偶拉線進行的Real-time Profile即時溫度曲線監控,確保巨型基板受熱完全均勻、避免板翹。圖/Kurtz ersa

案例二:高價大尺寸 BGA 元件無損重工返修(Rework)

當客戶測試完的 AI 伺服器主機板上的大尺寸晶片,因焊接不良需要更換。此時最擔心的是拆下舊晶片後,人工清理電路板殘錫可能會刮傷、扯斷脆弱的焊墊(Pad),導致整片百萬級主機板報廢。
針對此案例,我們以自動無接觸的除錫手法解除了人工除錫可能刮傷焊墊的問題,將焊墊損傷機率降為零,讓後續重新貼裝(Remount)的新晶片能夠再次擁有完美的焊接基底。

-----廣告,請繼續往下閱讀-----
晶片重工返修流程。圖/宜特科技

四、自動無接觸除錫技術(Auto Scavenger):

當系統自動將舊晶片安全解焊並移除後,電路板上留下了參差不齊的殘錫。此時,「Auto Scavenger 自動吸錫模組」立即啟動。這是一個完全獨立的智慧模組,不需要操作人員費時設定。吸嘴會自動下降至板材上方,在「完全不與PCBA發生物理接觸」的前提下,自動、快速地將殘留焊料吸取乾淨。

(從左到右)顯示了從開始拆拔BGA到焊料吸取,再到完全去除殘留焊料的過程。圖/宜特科技

隨著 2.5D/3D 先進封裝技術發展,AI 晶片越做越大、成本也越來越高,一旦焊接出問題,直接報廢的代價可不小。如何在不傷害晶片與電路板的情況下完成返修,並確保後續使用的穩定與可靠,也成為 AI 晶片製程中越來越重要的一環。

本文出自 www.istgroup.com

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

宜特科技_96
27 篇文章 ・ 6 位粉絲
我們了解你想要的不只是服務,而是一個更好的自己:) iST宜特自1994年起,以專業獨家技術,為電子產業的上中下游客戶, 提供故障分析、可靠度實驗、材料分析和訊號測試之第三方公正實驗室