「閃開，讓專業的來，嗶」會檢測蔬果成熟的採收機器人

本文由 動植物防疫檢疫局 委託，泛科學企劃執行。

植物醫師制度介紹

氣候變遷是全球本世紀不可忽視的問題，其衍生的新興病蟲害與極端氣候，對作物來說都是嚴重的衝擊，也大大影響作物生產。聯合國為了因應全球氣候變遷與環境惡化，設立了永續發展方針（Sustainable Development Goals，SDGs），其中，第 12 個目標為「負責任生產消費循環，確保永續消費與生產模式」，這個目標與永續農業跟環境友善大大相關，加上近年來國內食安意識提升，今後的農業都將面臨轉型的問題。

全球氣候變遷亦會造成病蟲害相的改變，農民無法單憑過去經驗有效管理，難以事先防範，長期使用化學農藥可能會使有害生物產生抗藥性，也可能對環境造成傷害，為了有效解決臺灣農業面臨的瓶頸，「植物醫師」制度勢在必行。

植物醫師是什麼？

阿植回到務農的老家，撞見父親神情焦慮，來往左鄰右舍之間。一問之下才知道是家裡的農作物生病了，葉子上面都是病斑，父親拿著一罐農藥對阿植說：「上次隔壁家阿榮的田裡用了這個，病害馬上都好了欸。」

「阿爸，雖然都是葉子長斑點，不一定是一樣的病啊。就像都是咳嗽發燒，也不一定就是流感。」阿植說完，父親皺起眉頭：「啊不然要怎樣？難不成要找醫師來看嗎？有植物的醫師喔？」

「現在還真的有！」阿植接著說：「正在立法的《植物醫師法》，讓植物病蟲害的精準診斷治療成為國家認可的重要專業，未來由植物醫師提供專業諮詢與建議，農民在田間遇到問題時，就不會再求助無門！」

人生病了要找醫師，動物生病了要找獸醫師，顧名思義，植物醫師是以植物為標的進行診斷、治療的專業人員，能夠對於植物有害生物或生理障礙給予正確的診斷，並提供防治技術及資材使用之指導。因此，植物醫師要診斷治療的對象是「植物」。

《植物醫師法》的立法目的為「提升植物保護水準，強化植物防疫檢疫及高風險農藥之使用管理，建立植物醫師專業服務體系」。未來植物醫師的執業機構包括植物診療機構、農會、農業生產運銷合作社，以及農業試驗研究機構、設有農業科系之大專院校、農藥生產或販賣業者等。

植物醫師最重要的工作，是對植物病蟲害進行「正確診斷，對症防治」，並針對農民種植的植物種類、栽培方式等提供客製化的建議。

過往農民遇到病蟲害問題時，時常求助於當地的農業試驗機關，然而機關內的研究人員服務對象眾多，一則無法即時地處理所有農民的諮詢，二來額外的業務量可能導致本身的研究工作進度延宕；植物醫師加入地方農業的運作體系，不但可以讓試驗單位人員致力於研究工作，同時還可以提供農民更即時、更完善的服務，達成三贏的局面。

因此，植物醫師的出現與加入，可以說是相當具有理念與實質上的意義！

對症做出診斷，找到正確有效的治療方式

「總之就是要噴農藥啊，還要聽植物醫師那麼多建議」，聽完阿植的說明，父親還是想直接施用化學農藥，阿植擋下父親手上的農藥，說：

「植物醫師提供精確的診斷之後，也會提出適合的治療方法，這些治療方法未必會使用化學農藥，就像你手痛去看醫生，診斷後很可能只要做復健療程就好，根本不需要吃藥。」

「不噴農藥還能做什麼？」父親一臉茫然。

「植物醫師會運用自身植物保護的專業知識，在減少化學農藥使用的情況下達到病蟲害防治的目標，協助農民朝環境友善的農法前進。」父親聽完阿植的說明後說：「最近大家都怕吃到化學農藥殘留的農產品，如果能少用那還真不錯，而且還可以保障我們這些第一線實際噴藥的農民。」

受過專業訓練並通過國家考試認可的植物醫師，對於農民遇到的疑難雜症，均可給予即時且準確的判斷，並且提供防治建議，節省農民四處打聽詢問的時間。

此外，植物醫師執行的在地輔導和推廣作物有害生物綜合管理（Integrated Pest Management, IPM），能協助農民逐漸朝向環境友善的農法前進。

有害生物綜合管理指的是利用多元防治方法控制有害生物族群，透過監測掌握防治時機，有害生物密度低時使用物理防治、生物防治或非化學農藥的友善資材進行預防，當有使用化學農藥需求時，儘量使用低風險的化學農藥，且依照核准登記的方法進行正確且合理的使用，並在保障農民正常收益的條件下，維持生態平衡，減少對環境的衝擊。

2017 年起，農委會推出「化學農藥十年減半」的政策，配套推出農藥購買實名制、友善環境資材補助等措施；植物醫師在這項重大政策下的角色，即是以植物醫師的專業知識，指導農民正確診斷，搭配 IPM 策略，減少農民栽培作物中化學農藥的使用量。

用更少的化學農藥，卻能達到相同的病蟲害防治效果；不僅如此，農產品供應鏈最末端的消費者，還可以吃得更安心，這絕對是皆大歡喜的結果。

植物醫師怎麼訓練？

「人家醫師有學校醫學系在教，啊植物醫師是要怎麼訓練？」阿植開始跟父親介紹起植物醫師的養成過程。

「植物醫師也有相關的教育系統喔！像是植物醫學系就整合了農藝、園藝、土環、昆蟲、植病等農業學科的內容，有跨領域的知識才能對植物的生長健康有全面的了解。」

目前，臺灣一共有臺灣大學、中興大學、嘉義大學、屏東科技大學等 4 所大學設置植物病理、昆蟲、植物醫學系與植物醫學碩士學位學程等植物保護相關科系，並均成立植物教學醫院。

為了解決農民耕種時遇到的問題，不論是植物的營養還是病蟲害的類型與特性，通通都必須了解；以中興大學的植物醫學學程為例，除了學程本身必修課程，還有修課前必須具備的基礎「先修課程」，而這類先修課，多半是農業相關科系在大學期間指定學習的課程。

為了將課堂的課程與實際作物狀況有效銜接，植物醫師的訓練歷程中必須包含大量的實務訓練，植物醫師實習內容有實地訪診、輔導化學農藥減量，協助農民有效防範作物遭遇的病蟲害等，一面解決問題，一面學習處理問題，快速累積經驗。以屏東科技大學為例，該校的植物醫學系明訂學生的畢業條件包含每周 5 天，共 18 周的實習要求，且積極與不同領域的組織合作，提供學生更多樣化的實習單位，達到產學共利的目的。

「除了植物醫學系等相關科系在學時期的訓練，農委會更持續擴大招募農業相關科系畢業的優秀人才成為『儲備植物醫師』，透過職前培訓和媒合服務場域的在職培訓，強化專業能力訓練，讓植物醫師制度推動更順暢！」

自 110 年起農委會防檢局積極辦理「儲備植物醫師」計畫，讓通過遴選的儲備植物醫師進駐農會或公所，到第一線服務農民增加實務經驗、掌握農民的需求，也讓農民親身體驗農委會推動植物醫師制度所能帶來的好處。

氣候變遷及其造成的災害，程度是難以估計的，但值得慶幸的是，人們研發的各項農業科技，逐漸朝向環境與人共好的方向前進；若要讓技術面的效益最大化，法規及制度面的完備勢在必行。植物醫師制度與《植物醫師法》的推動，或許是個必然，但要推廣與落實這個制度，也絕對是條漫長的道路。

植物醫師制度比較

國際應用生物科學中心（CABI）是一個國際非營利組織。結合全球 40 多個國家工作的 CABI 科學家團隊「通過解決農業和環境問題來改善全世界人民的生活」。為解決包括病蟲害造成的農作物損失、破壞農業生產和生物多樣性的侵入性雜草和害蟲，以及全球缺乏科學研究等問題。CABI 正積極推動植物醫師（Plant Doctor）制度，援助開發中國家執行植物保護工作。其中，CABI 已於亞洲、非洲及拉丁美洲等地，成立超過 65 處「全球植物健康診所」（Global Plant Clinic, GPC），提供即時植物保護服務。

植物醫師制度的推動已逾十年；在植物醫師法尚未完成立法前，農委會鼓勵導入專區實作策略，擴大招聘儲備植物醫師進駐農會或公所，強化防疫工作基層人力，辦理作物診療，有害生物綜合管理及協助特定病蟲害監測及緊急防疫等事項。期待以農立國的臺灣，未來在植物醫師法通過後，有更多植物醫師的加入，持續為農業永續與食品安全把關。

這樣看來，植物醫師與植物醫師法確實是需要存在，其他國家也有相似的制度在運作著，特別有一點值得一提，臺灣即將是世界上第一個訂定《植物醫師法》專法的國家！

《植物醫師法》的起草，最早可追溯至 2008 年，當時農委會徵詢各界意見，歸納農藥業者、醫師、教授，以及各方意見後，方決定推行。目前的草案，不但參考了國內的《獸醫師》法及其他相關法規，也參考美國、日本的培訓、考照制度，期望在執行面培育「接地氣」的專業人才，在制度面建立完整的考試及任用機制，並且在法律面提供植物醫師們完善的保障。

參酌美國、日本植物保護制度的優點後，再依臺灣的情況加以調整，期望這樣的法律與制度設立，能給予國內植物醫師應有的權責與保障；更長遠來看，或許有朝一日就是他國向我們學習的時候了。

（動植物防疫檢疫局 廣告）

參考資料

1. 立法院－推動植物醫師制度相關問題之研析
2. 【植物醫師】「未來植醫」的自我期許：要醫作物也醫人心－農傳媒
3. 【植物醫師】當農民習慣免費諮詢，以藥養醫是否成必然？－農傳媒
4. 【植物醫師】實習植醫試辦 3 年，孫岩章：懂實務還會算效益，農民才有感
5. 【植物醫師】如何與農藥仙仔競爭？實務經驗是關鍵！－農傳媒
6. 【植物醫師】興大植物醫院年後開張，為作物土壤抓病灶－農傳媒
7. 儲備植物醫師為農民把關獲肯定農委會明年擬擴大召募
8. 農委會徵「植物醫師」 底薪 36K+年終 1.5 月
9. 植物醫師出招，三星蔥和雲林蒜頭農藥大減！學者籲推動立法刻不容緩
10. 植物生病了該怎麼辦？淺談「植物醫師」制度－PanSci 泛科學
11. 作物生產整合管理（農委會）
12. 「植物醫師」在農村，美濃的第一次實驗
13. 植物保護技師證照推動介紹（農委會）
14. 斗南鎮農會安全食材守護者
15. 水稻主要病蟲害整合性管理（IPM）
16. 立法院第 10 屆第 4 會期經濟委員會第 9 次全體委員會議
17. 立法院議案關係文書 院總第 1053 號 委員提案第 26002 號（PDF）
18. 農委會苦推立法十三年立法院終於進一小步降農損、拚出口該許植物醫師一個名分－今周刊
19. 植醫四校育才之道！從課綱到實習，全面落實學用合一－農傳媒

• 本文與台灣科技媒體中心合作，內文經泛科學改寫。
• 本文轉載整合自台灣科技媒體中心《英國基因編輯技術 ( 精準育種 ) 法案 新聞稿》
• 資料更新至 2022 年 6 月 24 日，完整文章請見上方連結

英國環境食品與鄉村事務部（DEFRA）於今（2022）年 5 月 25 日提出的《基因技術（精準育種）法案》（Genetic Technology (Precision Breeding) Bill），6 月 15 日已過二讀討論，6 月 28 日將進入下一個審議階段。該法案針對精準育種的動植物，以及由這些動植物生產出的食品與飼料，提供開放銷售相關的風險評估。

台灣科技媒體中心邀請專家說明目前的研究與技術，4 位專家皆解釋精準育種技術更能縮短育種作物的時程，並指出該法案可供臺灣參考的面向。

法案修訂，提升糧食生產策略的重要性

臺灣大學生物科技研究所教授 兼 生物資源暨農學院副院長 劉嚞睿 表示，目前各國用基因編輯技術，做為基礎開發的新興精準育種技術產品，管理方式並不一致。所以目前國際上，是否以基因改造生物的規範來管理新興的精準育種技術產品，仍未達成共識，會影響新興精準育種技術產品的開發。

成功大學生物科技與產業科學系副教授 郭瑋君 指出，過去，美國對科技作物相對開放，而多年來歐盟強力反對。英國作為歐洲的三大強權之一，提出此修訂案，開放精準育種作物的產業研發及銷售，反應出此技術不再只是美國自身的國際貿易考量，而是提升未來糧食生產的重要策略。

郭瑋君認為，這對全球有顯著的指標作用，相信此舉也會帶動歐盟未來思量修改相關法案。但郭瑋君也指出，該法案所提的專一基因編輯，在臺灣的精準育種技術只在研究單位進行，以分析作物的基因功能為主，目前仍未發展於產業育種。

郭瑋君表示，精準育種技術可以直接修改植物的基因，因此最大的潛力是可以去除造成植物生長弱勢的基因，而提高生長能力及永續栽培方法的應用。她說，精準育種技術可以顯著縮短育種時程，從 10 年縮短到 1 年半，這在因應氣候變遷造成每年極端氣候，加快培育有抗性的作物品種，有極大的助益。

郭瑋君舉例，自精準育種技術於 2013 年成功改變植物基因後，2017 年美國食品藥物管理局（FDA）即已核準了精準育種可抗旱的大豆、増加含油量的亞麻，及不會變黑的蘑菇上市。

臺灣大學農藝學系副教授 蔡育彰 表示，英國提出修訂精準育種法案，是繼美國、澳洲、日本等國之後，將基因編輯作物與基因改造作物做出區別。

目前已訂定法規中允許的精準育種作物，主要是影響作物本身特定的基因表現。

蔡育彰認為，這種改變原本特定基因表現的作物，與現行一般育種方法所育成的作物相似，若再輔以目前成熟的全基因組定序分析技術，可完整的比對出精準育種作物與對照品種的基因組序列差異，後續相關安全性評估可與過去一般品種育成的流程相似。

臺灣海洋大學水產養殖學系副教授／前系主任 龔紘毅，同時也是執行科技部、農委會與多項產學合作的計畫主持人。龔紘毅指出，精準育種技術幫助我們減少對農藥及抗生素的依賴，減少對環境的影響並改善動物福利，增加動植物的營養價值，從而提高糧食系統的生產力、復原力及可持續性。

龔紘毅說明，臺灣現在發展的精準育種技術有「基因體選育」（Genome selection）與「基因體編輯技術」，前者需要有明顯不同性狀的族群樣品並選育物種，但相對也會投入很高的成本，較適合少數高產量與高經濟規模的物種。

龔紘毅表示，臺灣在農業基因體學和遺傳技術有豐沛的能量及基礎研究，可借鏡英國法規，制定輕度監管的方式，釋放研發及促進農業產業發展的能量，且制定符合台灣最大效益的規則。龔紘毅提到，日本專家及政府在制訂精準育種法規的前瞻性、推廣經驗與鼓勵新創，也值得臺灣加以借鏡學習。

他指出，日本與臺灣均為水產消費大國，日本雖然在基因改造生物（GMO）法規上嚴格管理，但學界與政府認為基因編輯技術在精準育種具有龐大的發展潛力，因此在基因編輯法規超前部署，制定明確且兼顧產業發展與生物安全的法規制度。同時在科學教育及注重新興技術與民眾溝通、宣導和知的權利。

精準育種，相對縮短培育時程

劉嚞睿說明，依臺灣「食品安全衛生管理法」定義，基因改造是指使用基因工程或分子生物技術，將遺傳物質轉移或轉殖到活細胞或生物體，產生基因重組現象。基因改造技術食品含有外源基因，對人體健康與環境生態可能有影響。

不過他舉例，三種基因編輯技術中，其中兩種技術的衍生產品，不含有外源基因。所以除了歐盟仍以基因改造生物的規範進行管理以外，大多數國家認定風險與安全性應與傳統育種無異，故認為不屬於基因改造產品。

劉嚞睿指出，基因編輯技術可在不含外源基因的情況下，精準快速的改變生物體內特定的基因序列，大幅縮短育種時間，帶動新興精準育種技術的發展。但此精準育種技術，透過人為的操控物種基因體，甚至影響物種的基因多樣性，仍引起諸多道德倫理與社會價值的矛盾與衝突。

蔡育彰說明，精準育種使用的基因編輯技術，與傳統基因改造不同，傳統基因改造是經由外加的基因。他指出，實際應用的困難在於，精準育種此技術應用在不同作物、品種和品系上，效率也都不同。由於目前法規允許的精準育種技術有限制 DNA 序列的變異型式，應用於許多現行栽培的作物種類上可能預期效果較有限。蔡育彰也提醒，精準育種技術的應用也需要對目標作物的基因組序列有完整的了解。

郭瑋君指出，基因改造主要技術核心是，永久放置「非植物」的基因片段於農作物體內，如抗病或抗蟲或抗農藥基因，可能來源是昆蟲或細菌，以提高基因改造作物的產量。因此這些外來基因在作物內會產生外來的蛋白質，可能栽種時造成其它生物如昆蟲的生長或演化上的變異，在食用時可能成為人類食物的過敏源。

郭瑋君解釋，精準育種技術是直接去除或變異「植物」本身的基因片段，最終的育種作物不會有外來的基因或蛋白質。

龔紘毅解釋，精準育種中的基因編輯技術，讓科學家能幫助農民和生產者開發出有益處的植物和動物品種，這些也能通過傳統育種和自然過程發生，但基因編輯可以更有效和更精準的大幅縮短選育新品種所需的時間。

台灣科技媒體中心表示，目前英國的精準育種技術仍屬於基因改造生物（GMO）法規的監管下，若此法案通過，將有利於精準育種技術與產業發展，但是，使用精準育種技術的作物是否納入或獨立於「基改作物」的法規規範，仍待持續關注與討論。雖然英國、紐西蘭、澳洲等都有專家長年持續的討論基因改造作物與基因編輯作物的技術，但在臺灣仍十分缺少對此科學議題的專業看法與討論。

台灣科技媒體中心總結，透過科學家說明目前的研究與技術，能幫助在科學技術被誤解之前，提供正確的資訊以利討論。雖然這次是在英國提出的精準育種法案，但未來臺灣若有相關發展，也可以做為參考的資料。

本文轉載自中央研究院研之有物，泛科學為宣傳推廣執行單位。

• 採訪撰文│林承勳
• 美術設計│林洵安

自動化音樂展演的可能性

人工智慧（簡稱 AI）技術日新月異，不只打敗人類圍棋高手，現在更用在醫療、交通、金融、資安各領域，遍佈了你我的日常生活。中央研究院資訊科學研究所副研究員蘇黎讓 AI 又多了一項新技能：自動化音樂展演。「虛擬音樂家系統」創造出具有動畫形象的虛擬人物，配合真人一同演出，而且演奏動畫和音樂伴奏皆可自動產生。未來，經營 VTuber（虛擬 YouTuber）背後可能不再需要龐大製作團隊，只要專注在企劃和劇本，其他讓 AI 幫你一鍵生成！

真實與虛擬合奏的貝多芬小提琴奏鳴曲

虛擬音樂家系統，這是蘇黎與其團隊最近的研究成果，他將 AI 應用到音樂表演現場，並試圖推展到整個多媒體產業。這套系統已實際在舞台演示，並與多個音樂展演團隊合作，包括：沛思文教基金會、清大 AI 樂團、長笛家林怡君、口口實驗室等。

以近年蘇黎舉辦的音樂會為例，主要可分為兩部分，一個是台上親手彈奏著貝多芬〈春〉第一樂章伴奏部分的真人鋼琴家；另一個，即為該場演奏的特別之處：正在螢幕裡演奏主旋律的虛擬小提琴音樂家。這場表演是人類與「虛擬音樂家系統」的巧妙組合，真人鋼琴家彈奏的過程中，虛擬音樂家系統除了負責合奏，同時還要生成螢幕上虛擬演奏者的動畫身影。

不放槍、不搶拍的自動伴奏系統

虛擬音樂家系統的「自動伴奏」，不同於卡拉 OK 的機器伴奏，演奏者不需配合伴唱音樂，而是程式控制伴唱音樂以配合演奏者，讓演奏者自由詮釋樂曲。但因為要配合真人演出的現場發揮與不確定性，自動伴奏的運算必須又快又準。蘇黎指出，這也是研究中比較具有挑戰性的部分。

自動伴奏系統的音樂偵測器、音樂追蹤器與位置估算單元，讓虛擬音樂家精準掌握真人演奏實況。

舉例來說，想要跟人合奏，首先要確定能同步開始，這個重責大任就由自動伴奏系統中的「音樂偵測器」擔綱。「音樂偵測器是偵測音樂什麼時候發出，但現場會有其他聲音，不可以讓機器聽到雜音就以為演奏開始了。」蘇黎說，因此團隊會先將整個樂譜，輸入到虛擬音樂家的自動伴奏系統中，並在演奏會場早早就讓系統持續待命，只要音樂偵測器偵測到樂譜的第一個音，伴奏隨即啟動。

自動伴奏系統在確認演奏開始之後，馬上又有另一項任務：追蹤音樂進度。因為每位音樂家會有自己的演奏風格，而且真人不管如何熟練，都還是有可能出現搶拍或延遲等變數。追蹤音樂進度的這項任務，便由自動伴奏系統中的「音樂追蹤器」和「位置估算單元」來執行。

「音樂追蹤器採用多執行緒線上動態時間校正（online dynamic time warping）演算法，每一個執行緒在最短時間內各自計算並取平均值，以找出最貼近該音樂家當下演奏速度的數值。」蘇黎解釋，追蹤器抓到現場演奏速度後拿來跟參考音樂檔案比對，就能推測多久後會演奏下一個音。至於位置估算單元，則是用來估計當下已演奏到整個樂譜的哪個位置。

虛擬音樂家系統藉由上述的自動伴奏技術，追蹤真人演奏進度，並自動觸發並演奏相應的聲部。目前團隊已經將偵測到觸發伴奏的平均延遲控制在 0.1 秒左右，但蘇黎的目標是要降低到「0.01」秒內。蘇黎表示，音樂心理學已證實，就算是沒有經過專業訓練的一般人，0.1 秒的誤差聽起來仍非常明顯，「延遲 0.01 秒可以勉強不引起業餘人士的注意；但面對專業音樂家時，延遲可能要到 0.001 秒左右才能過關。」

訓練 AI 自動生成虛擬音樂家動畫形象

現場音樂表演是影音的雙重享受，所以虛擬音樂家除了擁有自動伴奏的「聲音」，還需要擁有將表演動作形象化的動畫「影像」。

真人音樂家演奏時，不論是情感的表達、與其他合奏者及觀眾互動、還有操作樂器的動作等，都存在個人差異，沒有一套固定標準。例如拉琴的手勢，10 個音樂家可以有 10 種不同的習慣。因此蘇黎與研究團隊採取的方法是：取得大量影音資料，讓 AI 學習如何製造虛擬音樂家的肢體動作。

首先，徵求多位專業小提琴演奏者，穿上有標記點的特殊衣服，站在有動態捕捉裝置的空間中，演奏不同風格曲目。蘇黎使用的 3D 動作偵測技術，會偵測音樂家全身骨骼的關節點，作為虛擬音樂家動畫生成的訓練資料，並在訓練動畫生成模型的過程中，重點關注持弓的右手如何移動。

透過 U 型網路、自注意力機制等核心技術，來輸出虛擬音樂家動態肢體影像。

在訓練 AI 與生成動畫影像的過程中，需要卷積神經網路來協助完成工作。蘇黎團隊採用的模型是 U 型網路（U-net），負責圖像之間的轉換，由編碼圖層傳到解碼圖層。它的優點是速度快，而且輸入輸出格式相對容易設計，能一次輸出大量資料點。「 U-net 可以一次輸出單一時間的所有肢體骨架點，而非一個一個骨架點逐步輸出。」蘇黎說。

除此之外，還有自注意力（self-attention）機制，讓 AI 學習判斷肢體動作與音樂的相關性。因為肢體動作跟音樂都是序列形式，有時間上的關聯性，假設真人音樂家某個動作在大鼓響起時一直出現，就會判定兩者存在關聯。之後自注意力機制在虛擬動作生成過程中，只要聽到該音樂的大鼓聲出現，就會發出明顯訊號，認為此時要搭配相應的肢體動作。

簡單來說，想要自動化生出虛擬小提琴家，不僅聲音要到位，動畫也要足夠精準。音樂需要自動伴奏系統，即時追蹤真人演奏者的進度並觸發伴奏；而相應的肢體動作，則有賴透過 U 型網路與自注意力機制，讓 AI 在音樂現場了解此時要搭配何種動作。

進階挑戰：由聽覺到視覺的跨感官轉換

自動生成聲音和影像後，研究團隊還有一個更進階的目標。「我們想讓機器聽到某一首歌，就聯想到一幅畫。但坦白講，這種音樂到視覺風格轉換（music-to-visual style transfer）非常困難。」蘇黎說。當初有學生向他提出這個構想，想要訓練 AI 將音樂與畫面連結。只是這設定一開始就困難重重，因為最重要的訓練資料幾乎是無法取得。

AI 並非無中生有，機器學習有賴龐大、高品質的資料。

想要讓 AI 學習聽音樂聯想畫面，就必須要有真人示範，聆聽音樂並畫出心中所浮現的畫面來當作訓練資料。找人聽音樂不難，但找來的人未必善於繪畫；即使花大錢請畫家參與實驗，人少沒有代表性，人多則風格又可能大相逕庭。「演奏動作還有跡可循，但大家聽音樂腦補的畫面都不一樣，這樣是沒辦法當作訓練素材的。」蘇黎點出其中關鍵。

研究團隊決定退而求其次，改成在一組音樂跟一組影像資料庫，透過兩者之間共享的語義標註（labels），試圖建立起對應關係。就像是電腦在連連看，如果配對起來共通點還算合理就成功。此時問題又來了，所謂「合理」實在難以界定，於是執行標準只好再一次降低，音樂與畫面的共同標註越簡單越好。

「雖然這跟當初想像中的差距非常大，但目前我們也只能用創作年代來當標註。」蘇黎說，經由創作年代這個共同標註，電腦聽到 1800 年的樂曲就會連到同樣年代的圖畫。即使不符原本理想，模型建立起來後，在虛擬音樂家系統裡還是可以發揮一些功能，像是為演奏會搭配符合音樂年代的背景畫面，或色彩效果。

如何成為音樂資訊研究者？

在虛擬音樂家系統之前，蘇黎與實驗室團隊（音樂與文化科技實驗室）在自動音樂採譜方面的研究已經有豐厚成果，他們研發出開源工具《Omnizart》。

《Omnizart》是音樂與文化科技實驗室研究成果集大成的實用開源工具。

它具備當前全世界最多樣樂器組合的分析功能，只要輸入一段音樂，不管是鋼琴獨奏、多重樂器、打擊樂，還是和弦辨識、節拍偵測，甚至是困難的人聲處理，都會幫你分析。

「像鋼琴這類樂器的話，是音樂進去《Omnizart》，生出 MIDI；而人聲進去會輸出成供電腦判讀的數位資料。」蘇黎解釋，透過這些數字化的音訊數據能了解每一瞬間的音高變化，或是泛音、抖音等手法。研究自動採譜 AI 是因為，蘇黎想探究如蕭邦的夜曲等，這些百年來不斷被重複演奏超過千百次的古典樂，在不同時代、風格迥異的音樂家手中究竟是如何被詮釋。

而這次蘇黎用 AI 創造虛擬音樂家系統，同樣也是源於本身對音樂的喜愛與好奇。不是科班出身的他能彈奏鋼琴、吉他，會吹小號，喜歡聽經典的古典樂。對蘇黎來說，興趣是驅使研究向前的一大動力，他認為身為研究者必須要時常探索新的領域，因此常會要求自己不斷接觸世界各國的在地歌謠。

蘇黎的下一步，是以現有虛擬音樂家系統為基礎，加入更多細膩動作（例如臉部表情）的虛擬多人樂團。他也坦言目前自動伴奏系統、肢體生成還有風格轉換這三項技術，都還有很大的進步空間。想訓練電腦產生出更貼近真人演奏者動作的虛擬音樂家，必須花大量人力取得更多影片資料。「民眾常以為不用多做什麼 AI 就會自己學習，但真相是沒有夠好的資料什麼都不用談。」蘇黎解釋，AI 研究者的時間幾乎都耗在蒐集資料上。

同時，研究室也在規劃下一場發表。蘇黎認為，實體演奏會是考驗研究品質最好的方式。除了訓練好模型，現場還有很多要克服的變數，像是很多音樂廳沒有網路，團隊必須將整場演奏會所需的模型，事先設計成用一台筆電就能執行。「總不可能演奏到一半，資料量太大電腦跑不動，然後要跑出去連網路吧。」蘇黎笑著說，音樂會現場要面對很多做研究時不曾碰到的狀況，是很刺激、有挑戰性的任務。

AI 將是未來主流，是好、是壞終究取決於人心。

AI 出現之後，自然也面臨許多批判，例如工作是否會被 AI 取代，甚至以 AI 操控虛假言論或用在軍事用途，但蘇黎覺得，主導權終究還是躲在背後操作的「人」。同樣，隨著虛擬音樂家系統日漸完善，真人音樂家是否擔心未來飯碗被搶走？令人意外的是，蘇黎說身邊最期待這個系統的反而就是與他合作的藝術家，「別小看他們，藝術家可是一群勇敢、期待新事物、信仰未來的人。」

延伸閱讀：

• 蘇黎（2021）。〈我們與機器的距離：與人類互動的虛擬音樂家系統〉，《中研院訊》。
• 張凱鈞（2017）。〈天才莫札特的傳說很狂？現在只要一鍵就做得到！〉，《研之有物》。
• 音樂與文化科技實驗室，《Omnizart: Music Transcription Made Easy》。
• Wu, Y. T., Chen, B., & Su, L. (2020). Multi-Instrument Automatic Music Transcription With Self-Attention-Based Instance Segmentation.IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, 2796–2809.