0

1
0

文字

分享

0
1
0

喜歡教書、喜歡台灣自由的研究學風 ,要讓語音助理「賈維斯」成真——陳縕儂專訪

Suzuki
・2019/12/11 ・2748字 ・閱讀時間約 5 分鐘 ・SR值 460 ・五年級

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

「其實我已經不是最年輕的老師了!」陳縕儂笑著說,臺大資工系已經有比她更年輕的老師了,不到30歲就回臺任教不算少見。至於外界好奇她為何捨棄微軟千萬年薪工作回臺大當教授,她的答案很簡潔就是「喜歡」。

陳縕儂在四年半拼完博士,回台任教是當時臺大最年輕的教授之一(圖片提供/陳縕儂)。

喜歡教書、喜歡台灣自由的研究學風,做自己喜歡的事情比較重要。陳縕儂有著不隨波逐流的精神,十年前她選擇「語音辨識」作為研究領域時,資訊界盛行的研究是網路搜尋系統。

就讀研究所時,她跟著李琳山老師做語音辨識系統,當時在訓練機器做錄音和影片中的自動關鍵字擷取,主要是讓機器單向理解人類語言,後來至卡内基梅隆大學攻讀博士,開始做雙向的對話系統,機器不只要理解你說什麼,還要回應、給予相關的協助。

她的目標是讓機器成為鋼鐵人語音助理「賈維斯」(Jarvis)一樣,不只跟你說話,還會幫完成你交辦的訂機票、分析報表等一切任務。隨著深度學習演算法提出,這件事在將來變得可能。

不過,現階段開發的語音助理Siri或Alexa都離Jarvis還有段距離。陳縕儂表示,訓練語音助理的一切事宜,包括:語言理解、自然語言處理、對話系統和機器智慧,都是她的研究範圍。

訓練一位Jarvis要克服哪些問題呢?現在就讓陳縕儂為我們解答吧~

和機器聊天有何困難?

你有沒有發現使用Siri時,常常話不投機半句多,更別說要幫忙處理訂車票、推薦飯店等雜事了。陳縕儂表示,機器要做到可以對話及像真人般的助理服務,從麥克風收音、語音轉成文字、語意理解,最後到協助擷取有用的資訊,每一步都是難關。


Siri是大家常接觸的語音聊天機器人,但它的功能還不算完備(圖片提供/Wikipedia)。

雖然「神經網絡」架構提升語音辨識之準確度,但比起影像辨識或單純語意理解,對話困難許多,因為每句話都有關聯性,百種人有百種答案,而百種答案可能也有百種的回應方式,因此傳統單純塞資料給機器的學習法是行不通的。

陳縕儂表示,要克服這個難題,通常會設計兩台機器,將所有使用者的問題灌入機器中,一台機器當客服人員、一台機器當顧客開始互動,互動一段時間開放真人互動,想辦法讓互動變得更順暢,這是現行最好的方式了。

假使機器與人類可以對答如流,下一步面臨的問題就是機器能不能幫你辦事,當你跟他說「想去東京玩」時,他不會打哈哈叫你搭飛機去東京,而是能依據你的需求,提供你機票、住宿和旅遊景點的建議。

這下可就複雜了,試想你若是個旅行專員,除了回答自己已知的事項,如:旅遊注意事項、服務內容說明,還需要將各地的旅遊景點、飯店和餐廳資訊倒背如流,這對機器來說就得去找自己資料庫外的內容,可能是看完google的資訊或旅遊雜誌,才能回應客戶的需求。

結構化資料與非結構化資料的比較圖(圖片提供/陳縕儂)。

陳縕儂表示,語音助理若要成為Jarvis必須要擅長處理結構化(structured data)和非結構化(unstructured)兩種類型的數據資料。結構化數據是指已經整理成表格的資料,有欄位和數據,可立即做數據分析,這類似語音助理已經內建、整理好的資料庫,提到相關問題可以立即回覆,不需要額外找資料。

然而,大部分的資料都是非結構化資料,像是文字、圖片、網頁和影片等,因此如何快速將沒結構化的資料結構化就是挑戰,這將大大影響機器人提供服務的速度與品質。陳縕儂坦言,目前這兩部分都做得不夠完善,因此她的研究會朝這部分努力。

遇到口音問題怎麼辦?

讓機器成為個人助理之前,更根本的是解決「聽不懂人話」問題,不同的口音確實常讓機器混肴,若把「台式餐廳」聽成「泰式餐廳」,助理找出來的東西就完全不同了!

因此,語音辨識得考慮聲音的錯誤,人才能順暢地與機器對話。陳縕儂表示,她是以跟BERT類似的GPT-2架構來做預訓練模型。概略來說,就是訓練機器學習語言的架構,然後讓機器會根據語音的內容去推估後面兩個字,這部分從Siri轉成文字很像,能依據你講的內容選字。

此時,再把語音的差異納入考量,並將發音相似的字像是「泰、台」調整為同個向量,使得機器得以辨識類似的發音,當機器判讀可能發生誤聽的狀況時,便能再次向使用者確認。

不過陳縕儂坦言,這並不容易,因為聲音資料取得困難,大部分拿到的都是文字資料,再加上機器會算出最合適的語詞和句子結構,所以不同選字會影響後面的詞彙選取,「如何讓機器辨析口音問題」就是個挑戰。

熱愛教學 實踐夢想

語言理解、對話系統和機器智慧是很廣泛的領域,不缺研究主題,陳縕儂認為自己很幸運搭上這股熱潮,且最終回到研究自由度高的台灣繼續努力,她一點都不覺得捨棄微軟工作很可惜。

「教學是很快樂的事情!」她笑說,把自己會的東西交給學生,看到學生從不懂到成為專家,可以跟妳一起討論研究問題,是一件無比有成就感的事。

找一找陳老師在哪裡?陳縕儂表示,跟學生一起學習成長,比待在微軟的研究部門更快樂(圖片提供/陳縕儂)。

今年初,陳縕儂帶領臺大團隊在科技部「科技大擂台:與AI對話」比賽拿下冠軍,成績甚至超越華碩電腦達文西實驗室。她形容這是場艱難的馬拉松,從初賽、複賽至決賽比了快一年,決賽題目比照「華語文能力測驗」,機器在比賽現場得聽完一段文章和選項,並選出正確答案,除了選擇題,還有簡答題。

陳縕儂笑說,學生為了訓練機器、調整類神經網絡,以及整合成一個系統熬了無數個夜,這對學生和她來說是個難得的體驗,目前團隊決賽成績是1000題中拿下約54%的正確率,希望未來能再提高,讓機器的成績有機會超過人類。

陳縕儂老師與李宏毅老師帶領臺大資工系學生在今年「科技大擂台:與AI對話」比賽拿下冠軍(圖片提供/陳縕儂)。

很多學生覺得自己不夠聰明,沒辦法學好code,陳縕儂認為,聰明確實可以幫你快速掌握code的規則,但是多練習也可以補足,它不會像物理或數學一樣轉不過來就是沒辦法。

她坦言,自己博班時也很拼,一部分是課業負擔重,一部分則是想縮短臺美遠距離戀愛的時間,所以硬是在四年半拼完博士。每天只睡四、五個小時,一睜開眼就坐在電腦前打code,「不過該玩的還是有玩,我是寧可犧牲睡眠,也要玩到的人!」

陳縕儂表示,她比其他人幸運,能一路延續研究旨趣,選到自己熱愛的研究主題。她建議國高中課程可以提早將寫程式納入課程中,這就像Excel和輸入法一樣是未來必備的技能,從中學生也可以挖掘未來志趣,對資訊科學有興趣的,就一起進來努力吧!

陳縕儂認為玩樂與課業應該並重,生活才會多采多姿,圖為她與指導教授在卡内基梅隆大學的合影(圖片提供/陳縕儂)。
文章難易度
Suzuki
18 篇文章 ・ 0 位粉絲
超純社會組學生,對未知的一切感到好奇,意外掉入科技與科學領域,希望在猛點頭汲取知識的同時,也能將箇中妙趣分享給大家。

0

1
0

文字

分享

0
1
0
準備出國啦!Surfshark VPN 快趁黑五買起來,上網購物最安心
鳥苷三磷酸 (PanSci Promo)_96
・2022/11/01 ・2113字 ・閱讀時間約 4 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

本文由 Surfshark VPN 贊助。

兩、三年以來的防疫生活,終於迎來全面 0+7 的這一天啦!返國之後不再需要隔離的一天來了,冰友們,你是不是已經收拾好心情、收拾好行李,在進行機+酒的比價了呢?除了規劃好出國行程、找好景點與美食店家,想要讓自己不可或缺的網路生活也更加安全,一定要趁即將到來了感恩節黑五期間,把超優惠的 Surfshark VPN 服務買起來,為自己的網路生活加買最平安的保險!

Surfshark 黑五限時 18 折折扣,額外加送兩個月
專屬連結:https://lihi2.cc/8XwRN

在疫情下,網購成為了更多人的日常。不僅各樣的在地購物節為網友帶來眾多優惠,全球化的購物活動,台灣當然也不會缺席!美國感恩節(Thanksgiving)都是 11 月第四個星期四,但是感恩節後的週五,便是聖誕節前的購物佳期啟動日,這一天通常都會業績超標(在收支表上呈現正向收入(顯示為黑色字體,而非赤字的紅色字體),各家的瘋狂優惠都會在黑五祭出!相信許多精打細算的朋友,對黑五購物節絕對不陌生(很可能還搶過很多優惠!!)

網購怎能漏掉「亞馬遜」!

雅虎奇摩之於台灣,就像是亞馬遜(Amazon.com)之於美國那麼的有名!絕對也是什麼都賣、什麼都不奇怪的最佳代表。

如果你平常就很喜愛一些美國品牌,趁著黑五的日子到亞馬遜清空購物車,覺對優惠不會讓你失望。這時候,透過 Surfshark 連線到亞馬遜美國站,絕對會顯示的價格絕對讓你眼睛為之一亮,這時候最新搭載 M2 晶片的 iPad Pro,獨家支援動態島顯示的 iPhone 14 Pro,絕對是最好入手的時機。除此之外,亞馬遜平台經典的 Kindle 閱讀器,也是超合適的禮物,送禮自用兩相宜啊!另外要特別留意,購買時可以確認商品有沒有幫忙送到台灣,如果還沒有,可以先跟美國的朋友確認一下,邀請他們回國時幫你一起帶回來!

跨國追劇最爽快

對於喜愛追劇的朋友,品味可能相當豐富且多元,畢竟欣賞優秀影視作品,不現語言,更是不限地區啊!只不過,若是你訂閱 Netflix 等跨國 OTT 服務,都會有各地不同的上架影視作品,可能會讓你無法在第一時間就能夠立即「追」到劇,讓你等得心癢癢!還好這一切只要連上 Surfshark VPN 都能解決,Surfshark 支援超過 100 國的 VPN 連線,無論你想看韓國、日本還是哪一國的最新戲劇,通通讓你一秒追到最新進度!

Surfshark 黑五限時 18 折折扣,額外加送兩個月

專屬連結:https://lihi2.cc/8XwRN

出差大陸翻牆超方便

在過往出國、返國都需要隔離的階段,肯定讓不少工作上需要經常往返多國之間的朋友,感到生活驟變。所幸,在防疫政策解封之後,一切都可逐漸恢復正常。對於經常有需要到中國大陸出差的朋友,肯定都會感受到網路斷聯的不方便,因為無論是 LINE、Facebook Messenger、YouTube、Gmail 等你可很能天天都在使用的網路服務,大陸都無法使用。這還不打緊,連跟家人、朋友報平安也很不便。這時候 Surfshark 連上,就可以幫助你輕鬆「翻牆」,跟台灣親人網路無距離!

 

上網不留痕跡,不被追蹤最自由

對於一個人來說,最私密的資料之一,除了你的個資,就屬我們每天耗費大量時間逗留的網路。我們所在網路上留下的痕跡,絕對是超真實的自己,當然你不會期待這樣的自己被「搜尋引擎」、「網路廣告」公司了解得太透徹,好像你在網路上的一言一行,都被監視著。

..0000000\0;也可隱藏IP位置,避免被廣告商追蹤;更可以為你我阻擋惡意程式、釣魚軟體等,讓你防止被攻擊,以及被網路充斥的廣告打擾,好處多又多!

如果對於 Surfshark 還覺得不夠熟悉的話,不得不告訴大家,今年 Surfshark 榮獲第六屆 CyberSecurity Breakthrough 頒發的「VPN 年度最佳解決方案」(VPN Solution of the Year),也就是成為今年最推薦的 VPN 方案。CyberSecurity Breakthrough 是全球領先的獨立市場情報組織,致力於表揚當今全球資訊安全市場上的頂尖企業、技術和產品。有了他們「掛保證」,代表 Surfshark 絕對是品質、信譽都讓你安心的VPN 服務。

講了這麼多,是不是讓你感到很心動了。如果你原本就是網路重度使用者,用來上網的設備是樣樣都有,Surfshark 一個帳號就能支援所有設備,CP 值超高!趁著年度超狂黑五購物節的到來,送給你自己兩年安心無虞的網路生活,肯定是送自己的最好禮物!

Surfshark 黑五限時 18 折折扣,額外加送兩個月
專屬連結:https://lihi2.cc/8XwRN

文章難易度
鳥苷三磷酸 (PanSci Promo)_96
155 篇文章 ・ 268 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

3
2

文字

分享

0
3
2
關於Deepfake色情影像:雖然內容是假的,但傷害是真的
雷雅淇 / y編_96
・2022/01/29 ・3412字 ・閱讀時間約 7 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

2021 年 5 月,鏡週刊的深度報導《臉被偷走之後——無法可管的數位性暴力?台灣 Deepfake 事件獨家調查》中,揭露了早在 2020 年就已經存在、利用 Deepfake 深度造假技術製作收費色情影片的 Telegram 群組,並訪問了數位影片中的受害女性。

2021 年 10 月,臺灣警方透過 Twitter 上的換臉色情影片追蹤到了該群組,逮捕了相關涉案人,「被換臉」的人除了名人之外,也包含一般人的換臉影片。此案在臺灣掀起了翻天覆地的討論,內容圍繞在 Deepfake 技術的濫用、和數位性暴力等相關議題。

到底 Deepfake 色情內容有多氾濫?而它又造成了什麼樣的傷害呢?

大部分的 Deepfake 影片都是色情內容

圖/envato elements

「Deepfake」指的是利用人工智慧深度學習技術,在某人沒有說過、拍過和錄過某些內容的狀況下,生成他的聲音、圖像或影片。(延伸閱讀:Deepfake 不一定是問題,不知道才是大問題!關於 Deepfake,你需要知道的是⋯⋯?

早在 2016 年,來自斯坦福大學、馬克斯普朗克研究所和埃爾蘭根-紐倫堡大學的研究人員,就已經創建了一個名為 Face2Face 的系統,透過捕捉演員的面部表情,在其他人臉上生成一樣表情的影像。不過,我們現在熟悉的「Deepfake」一詞,卻是 2017 年才現身;而且它最早的姿態,便是色情內容:由一位名為「deepfake」的 Reddit 的用戶,上傳的明星假性愛影片。

Face2Face: Real-time Face Capture and Reenactment of RGB Videos (CVPR 2016 Oral)

直到現在,網路上雖然不乏一些迷因、或是跟政治人物相關的 Deepfake 影片到處散播,而且數量越來越多,但 Deepfake 應用最多的,仍是色情內容。人工智慧公司 Sensity AI 的統計發現,自 2018 年以來,網路上的虛假影片每六個月成長一倍,截自 2020 年 12 月為止,他們透過自己的檢測技術,偵測到至少85047 個假影片在網路上流傳。

2019 年,Sensity AI(在當初的名稱為 Deeptrace)的報告統計,有 96%的 Deepfake 影片是色情內容,在色情網站上的內容幾乎百分之百都是以女性為主,被觀看次數超過 1.34 億次。由此可見,「色情內容」無疑是所有 Deepfake 應用中,內容最多、製造速度最快、傳播廣的類型。

色情網站龍頭 Pornhub

此外,儘管色情網站龍頭 Pornhub 指出,他們不會容許包含 Deepfake 影片在內的任何非自願性質的內容出現,但根據 Deeptrace 的統計,2019 年排名前十的色情網站中,有 8 個網站裡有 Deepfake 的內容,另外還有 9 個 only for Deepfake 的色情網站,而這些網站裡的內容,佔了 Deepfake 色情內容的九成以上。

雖然,這些影片中被換臉的主角通常是名人,但受到 Deepfake 色情內容所苦的,不只有他們。

雖然內容是假的,但傷害是真的

2019 年 6 月 23 日,一個叫做 DeepNude 的網站上線:它提供可以免費下載的應用程式,利用生成對抗網路(Generative Adversarial Network,簡稱GAN)技術,將女性有穿衣服的照片生成為裸照。雖然由它生成的照片都有浮水印,但只要付費就能把浮水印變小;重點是,它的使用方法很傻瓜,只需要一張女性的照片就行了,而且「穿越少」效果「越好」。

這個應用程式因為 Motherboard 的報導而爆紅,甚至一度因為下載量過大,導致網站不堪負荷。諷刺的是,Motherboard 報導的目的,原本是為了要批評 DeepNude 對於女性的傷害。雖然DeepNude 隨後在 6 月 27 日下架(其後又在同年 7 月 19 日以 30000 美元出售給匿名買家);但其應用程式直到今天,仍在一些開源社群、種子網站等地方被不斷的上傳下載。

圖/envato elements

2020 年,Sensity AI 發現了另一個與 DeepNude 很相似的 Telegram bot,只要向這隻機器人傳送照片,便能直接生成裸照、且可以透過付費,得到去除浮水印或免等候等服務。根據統計,這當中起碼有十多萬名女性被生成裸照,當中包含未成年人。雖然被報導之後,相關群組一樣已經被官方刪除,但這絕對不會是最後一次,Deepfake 被這樣惡性利用。

雖然 DeepNude 的創辦人表示,他當初設計這個程式的初衷,是被小時候在雜誌上看到的「X 光眼鏡」所啟發(其 logo 也是為此致敬),他有想過這個程式會不會傷害到人,但他也表示能用 DeepNude 做到的事,任何人用 Photoshop 也能做到;如果有任何人懷有惡意想要做壞事,那有沒有 DeepNude 並不會有影響。然而情況卻是,有人因為類似應用被威脅,甚至遭受到復仇式色情(Revenge porn,本用詞為俗稱,目前有倡議應稱呼「未經同意即散布之私密影像(Non-consensual pornography)」,以避免簡化問題本質)的攻擊。

所謂「復仇式色情」,指的是未經過他人同意,任意散佈含有他人色情內容之照片或影片等影像的報復手段。美國心理學會的一項研究發現,每 12 名女性中,就有一名最終在她們生命的某個階段成為復仇式色情片的受害者。在過往,合意或是被偷拍的親密影像在非自願的狀況下外流就已經夠難防了,有了 Deepfake 之後就更難了:因為當事人根本不會意識到有這樣的影像的存在。而這些內容被用於勒索,甚或是威脅名人、記者等案例層出不窮。

圖/envato elements

「我要怎麼證明那不是我?我走在路上、搭捷運,可能有一些陌生人,他看我或交頭接耳的時候,我都會覺得,是不是他們看過那個影片?覺得我是那樣的女生?覺得我是很糟糕的人?」在鏡週刊的訪問中,被換臉的 Youtuber 球球這樣說道。儘管那真的不是自己,儘管內容是假的,但這類的色情內容造成的傷害卻是真實的。

波士頓大學法律學教授 Dielle Citron 在他的著作《網路空間裡的仇恨犯罪(Hate Crimes in Cyberspace)》中提到:Deepfake技術正在成為針對女性的武器,這些性愛影片當中的身體雖然不是自己的,卻會對當事人造成影響,讓他們不想再上網、難以獲得或維持工作、並且感到不安。

Deepfake 最大的傷害不是來自技術,而是使用方式

從大量資料到一張照片、從專家操作到素人也行、從粗糙到以假亂真,Deepfake 的技術一直進步,而這已然打開的潘朵拉的盒子,要關上的方法,也必然需要人與科技的協力。

從辨偽技術的進步(延伸閱讀:Deepfake 辨偽技術如何在魔高一尺時,能道高一丈呢?)、法規制度的更新(延伸閱讀:應對Deepfake濫用,台灣修正刑法夠用嗎?),到協助被害人刪除與爭取權益等制度的完善,以及不看、不擴散,多理解技術對社會可能的影響:在面對 Deepfake 色情內容所造成的傷害,沒有人是局外人。

參考資料

  1. Deepfake Porn Nearly Ruined My Life
  2. How to Detect a Deepfake Online: Image Forensics and Analysis of Deepfake Videos – Sensity
  3. THE STATE OF DEEPFAKES
  4. Deepnude: The Horrifying App Undressing Women
  5. 臉被偷走之後:無法可管的數位性暴力?台灣Deepfake 事件獨家調查- 鏡週刊Mirror Media
  6. Deepfake porn is ruining women’s lives. Now the law may finally ban it. | MIT Technology Review
  7. Deepfakes have got Congress panicking. This is what it needs to do. | MIT Technology Review
  8. A deepfake bot is being used to “undress” underage girls | MIT Technology Review
  9. Nonconsensual Pornography Among US Adults: A Sexual Scripts Framework on Victimization, Perpetration, and Health Correlates fo
  10. An AI app that “undressed” women shows how deepfakes harm the most vulnerable | MIT Technology Review
  11. Deepfakes have got Congress panicking. This is what it needs to do. | MIT Technology Review
  12. The biggest threat of deepfakes isn’t the deepfakes themselves | MIT Technology Review
  13. How to Detect a Deepfake Online: Image Forensics and Analysis of Deepfake Videos – Sensity
  14. The year deepfakes went mainstream | MIT Technology Review
  15. Inside the strange new world of being a deepfake actor | MIT Technology Review
  16. I Was The Victim Of A Deepfake Porn Plot Intended To Silence Me | HuffPost UK News
雷雅淇 / y編_96
37 篇文章 ・ 885 位粉絲
之前是總編輯,代號是(y.),是會在每年4、7、10、1月密切追新番的那種宅。中興生技學程畢業,台師大科教所沒畢業,對科學花心的這個也喜歡那個也愛,彷徨地不知道該追誰,索性決定要不見笑的通吃,因此正在科學傳播裡打怪練功衝裝備。

1

4
3

文字

分享

1
4
3
Deepfake 不一定是問題,不知道才是大問題!關於 Deepfake,你需要知道的是⋯⋯?
TingWei
・2022/01/24 ・3489字 ・閱讀時間約 7 分鐘

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

 

編按:你的理智知道「眼見不為憑」,但你的眼睛還是會背叛你的理智,不自覺得被眼前的影像所吸引,儘管你真的、真的知道他是假的。Youtuber 小玉於2021年底涉嫌利用 Deepfake 技術,偽造多位名人的色情影音內容並販售的事件,既不是第一起、也不是唯一、更不會是最後一個利用「深偽技術」進行科技犯罪的事件。

當科技在走,社會和法律該如何跟上甚至超前部署呢?本次 Deepfake 專題,由泛科學和法律白話文合作,從Deepfake 技術與辨偽技術、到法律如何因應,讓我們一起全方位解析Deepfake!

第一篇,讓我們就 Deepfake 技術做一基礎的介紹,那我們就開始囉!

什麼是 Deepfake?

深偽技術 Deepfake 於 2017 年陸續開始進入大眾的目光中。原文 Deepfake 源自於英文「deep learning」(深度學習)和「fake」(偽造)組合,主要意指應用人工智慧深度學習的技術,合成某個(不一定存在的)人的圖像或影片、甚至聲音。最常見的應用,就是將影片中的人臉替換為另一張臉(常是名人),讓指定的臉在影片中做出自己從未說過或做過的事情。

利用深度學習技術合成或是置換人臉的技術,都是屬於Deepfake。圖 / stephenwolfram

現今談到 Deepfake,大多數人想到的可能是偽造的成人影片,就如前述 Youtuber 小玉的事件,Deepfake 一開始受到關注,主要與名人或明星的臉部影像被合成到成人影片有關,然而,Deepfake 的功能遠不僅於此,相關的技術使用還包括了替換表情、合成一整張臉、合成語音等等。

除了像是讓過去或現在的名人在影片中「栩栩如生」做出使用者想要的表情與動作,之前在社群媒體上曾有好幾款 APP一度風靡,包括上傳一張照片就可以看看「變老」「變性」自己的 FaceApp,甚至於讓自己的臉在經典電影中講上一段台詞的「去演」APP,這類的功能也是應用前述 Deepfake 的技術。

雖然有些線索顯示這類 APP 常有潛在的資安疑慮[註],但好歹技術的成果多屬搏君一燦自娛娛人,尚可視為無傷大雅。

「栩栩如生」的愛因斯坦

而過往電影的影音產業要仿造人臉需要應用許多複雜、耗時、昂貴的電腦模擬,有了 Deepfake 相關的技術,也使得許多只能抱憾放棄的事情出現了彌補的空間。最有名的應用應是好萊塢電影《玩命關頭7》與《星際大戰》系列。《玩命關頭7》拍攝期間主角保羅・沃克(Paul William Walker IV)意外身亡,剩下的戲份後來由弟弟擔綱演出,劇組再以 Deepfake 的技術讓哥哥弟弟連戲,整部電影才得以殺青上映。

Weta Digital 說明如何讓保羅・沃克的弟弟 Brian O’Conner 能透過 Deefake 的技術,繼續協助 保羅・沃克演完《玩命關頭7》

Deepfake 讓「變臉」變得太容易了?

想想過去的電影如《魔戒》中的咕嚕、或是 2008 年布萊德・彼特主演的《班傑明的奇幻旅程》,將影片或照片中人物「換臉」「變老」的修圖或 CG 技術,在 Deepfake 出世之前就已經存在了。Deepfake 受到關注的核心關鍵在於,應用 AI 的深度學習的演算法,加上越來越強大的電腦與手機運算能力,讓「影片換臉」這件事情變得越來越隨手可得、並且天衣無縫。

利用CG技術把布萊德・彼特「變老」。 圖 / © 2008 – Paramount Pictures

過往電影中採用的 CG 技術要花好幾個月由專業人士進行後製,才能取得難辨真偽的影像效果,而應用了 AI 演算法,只需要一台桌上型電腦甚或是手機,上網就可以取得軟體、有機會獲得差強人意的結果了。

進一步,傳統軟體演算法主要依靠工程師的持續修改調整,而如 Deepfake 這類技術,內部的演算法會經過訓練持續進化。有許多技術被應用於提高 Deepfake 的偽造效果,其中最常見的一個作法被稱為「生成對抗網路(Generative Adversarial Network, GAN)」,這裡面包含了兩組神經網路「生成器(Generator)」和「辨識器(Discriminator)」。

在投入訓練資料之後,這兩組神經網路會相互學習訓練,有點像是坐在主人頭上的小天使與小惡魔會互相吐槽、口才越來越好、想出更好的點子;在練習的過程中,「生成器」會持續生成偽造的影像,而「辨識器」則負責評分,反覆訓練下來,偽造生成的技術進步,辨識偽造的技術也得以進步。

舉例來說,This Person Does Not Exist 這個網站就充滿了使用 GAN 架構建構的人臉,這個網站中的人臉看上去非常真實,實際上都是 AI 製造出來的「假臉」。

This Person Does Not Exist 裡的「假臉」。

Deepfake 影片不一定是問題,不知道是 Deepfake 才是問題

現今的 Deepfake 技術得以持續進步、騙過人眼是許多人努力的成果,也不見得都是壞事。像是《星際大戰:俠盜一號》片尾,年輕的萊婭公主出面驚鴻一瞥,就帶給許多老粉絲驚喜。這項技術應用癥結在於,相關演算法輕易就能取得,除了讓有心人可以藉以產製色情影片(這類影片佔了Deepfake濫用的半數以上),Deepfake 製造的影片在人們不知情的情況下,很有可能成為虛假訊息的載體、心理戰的武器,甚至於影響選戰與輿情。

因此,Deepfake 弄假似真不是問題,閱聽者因此「不辨真假」才將是最大的問題所在。

歐巴馬的 Deepfake 影片

相關的研究人員歸納了幾個這類「變臉」影片常見的特徵,可以用來初步辨識眼前的影片是不是偽造的。

首先,由於 AI 尚無法非常細緻的處理一些動作細節,因此其眨眼、視線變化或臉部抽蓄的動作會較不自然。其次,通常在邊緣處,如髮絲、臉的邊緣線、耳環等區域會出現不連貫的狀況。最後,在一些結構細節會出現不合理的陰影瑕疵,像是嘴角的角度位置等。

由於現階段的 Deepfake 通常需要大量的訓練資料(影像或影片)才能達到理想的偽造成果,因此會遭到「換臉」的受害者,主要集中在影像資源豐富的名人,如電影明星、Youtuber、政治人物等。需要注意的是,如果有人意圖使用 Deepfake 技術製造假消息,其所製造的影片不見得需要非常完美,有可能反而降低解析度、非常粗糙,一般人如用手機瀏覽往往難辨真假。

人眼已經難辨真假,那麼以子之矛攻彼之盾,以 AI 技術辨識找出 Deepfake 的成品,有沒有機會呢?隨著 Deepfake 逐漸成為熱門的議題,有許多團隊也開始試圖藉由深度學習技術,辨識偽造影像。2020 年臉書與微軟開始舉辦的「換臉偵測大賽」(Deepfake Detection Challenge)就提供高額獎金,徵求能夠辨識造假影片的技術。然而成果只能說是差強人意,面對從未接觸過的影片,第一名辨識的準確率僅為 65.18%。

「換臉偵測大賽」(Deepfake Detection Challenge)的辨識素材。圖/MetaAi

對於 Deepfake 可能遭到的濫用,某部分我們可以寄望技術的發展未來終將「道高一尺」,讓社群平台上的影像不致於毫無遮攔、照單全收;然而技術持續「魔高一丈」讓防範的科技追著跑,也是顯而易見的。

社群網路 FB 在 2020 年宣布全面禁止 Deepfake 產生的影片,一旦有確認者立即刪除,twitter 則強制註記影片為造假影片。Deepfake 僅僅是未來面對 AI 浪潮,科技社會所需要應對的其中一項議題,法律、社會規範如何跟上?如何解決箇中的著作權與倫理問題?這些都將是需要經過層層討論與驗證的重要課題。

至少大家應該心知肚明,過往的網路流行語:「有圖有真相」已經過去,接下來即將面臨的,是一個「有影片也難有真相」的網路世界了。

  • 註解:推出 FaceApp 與「去演」的兩家公司其軟體皆要求註冊,且對於上傳資料之後續處理交代不清,被認為有侵犯使用者隱私權之疑慮。

參考資料

  1. Deepfakes and the New AI-Generated Fake Media Creation-Detection Arms Race – Scientific American
  2. What To Do About Deepfakes | March 2021 | Communications of the ACM
  3. Tolosana, R., Vera-Rodriguez, R., Fierrez, J., Morales, A., & Ortega-Garcia, J. (2020). Deepfakes and beyond: A survey of face manipulation and fake detection. Information Fusion, 64, 131-148.
  4. Deepfake 深偽技術的技術濫用與道德困境,大眾正要開始面對 | TechNews 科技新報
  5. 台灣團隊研究辨識Deep Fake影片 深偽技術的正邪之戰開打 | 台灣事實查核中心 (tfc-taiwan.org.tw)

所有討論 1
TingWei
13 篇文章 ・ 10 位粉絲
據說一生科科的生科中人,不務正業嗜好以書櫃堆滿房間,努力養活雙貓為近期的主要人生目標。