臉部超科學回春！光影、老化與比例對外觀的影響

• 作者／賴昭正｜前清大化學系教授、系主任、所長；合創科學月刊

我擔心人工智慧可能會完全取代人類。如果人們能設計電腦病毒，那麼就會有人設計出能夠自我改進和複製的人工智慧。 這將是一種超越人類的新生命形式。

——史蒂芬．霍金（Stephen Hawking）　英國理論物理學家

大約在八十年前，當第一台數位計算機出現時，一些電腦科學家便一直致力於讓機器具有像人類一樣的智慧；但七十年後，還是沒有機器能夠可靠地提供人類程度的語言或影像辨識功能。誰又想到「人工智慧」（Artificial Intelligent，簡稱 AI）的能力最近十年突然起飛，在許多（所有？）領域的測試中擊敗了人類，正在改變各個領域——包括假新聞的製造與散佈——的生態。

圖形處理單元（graphic process unit，簡稱 GPU）是這場「人工智慧」革命中的最大助手。它的興起使得九年前還是個小公司的 Nvidia（英偉達）股票從每股不到 $5，上升到今天（5 月 24 日）每股超過 $1000（註一）的全世界第三大公司，其創辦人（之一）兼首席執行官、出生於台南的黃仁勳（Jenson Huang）也一躍成為全世界排名 20 內的大富豪、台灣家喻戶曉的名人！可是多少人了解圖形處理單元是什麼嗎？到底是時勢造英雄，還是英雄造時勢？

在回答這問題之前，筆者得先聲明筆者不是學電腦的，因此在這裡所能談的只是與電腦設計細節無關的基本原理。筆者認為將原理轉成實用工具是專家的事，不是我們外行人需要了解的；但作為一位現在的知識分子或公民，了解基本原理則是必備的條件：例如了解「能量不滅定律」就可以不用仔細分析，即可判斷永動機是騙人的；又如現在可攜帶型冷氣機充斥市面上，它們不用往室外排廢熱氣，就可以提供屋內冷氣，讀者買嗎？

CPU 與 GPU

不管是大型電腦或個人電腦都需具有「中央處理單元」（central process unit，簡稱 CPU）。CPU 是電腦的「腦」，其電子電路負責處理所有軟體正確運作所需的所有任務，如算術、邏輯、控制、輸入和輸出操作等等。雖然早期的設計即可以讓一個指令同時做兩、三件不同的工作；但為了簡單化，我們在這裡所談的工作將只是執行算術和邏輯運算的工作（arithmetic and logic unit，簡稱 ALU），如將兩個數加在一起。在這一簡化的定義下，CPU 在任何一個時刻均只能執行一件工作而已。

在個人電腦剛出現只能用於一般事物的處理時，CPU 均能非常勝任地完成任務。但電腦圖形和動畫的出現帶來了第一批運算密集型工作負載後，CPU 開始顯示心有餘而力不足：例如電玩動畫需要應用程式處理數以萬計的像素（pixel），每個像素都有自己的顏色、光強度、和運動等, 使得 CPU 根本沒辦法在短時間內完成這些工作。於是出現了主機板上之「顯示插卡」來支援補助 CPU。

1999 年，英偉達將其一「具有集成變換、照明、三角形設定／裁剪、和透過應用程式從模型產生二維或三維影像的單晶片處理器」（註二）定位為「世界上第一款 GPU」，「GPU」這一名詞於焉誕生。不像 CPU，GPU 可以在同一個時刻執行許多算術和邏輯運算的工作，快速地完成圖形和動畫的變化。

依序計算和平行計算

一部電腦 CPU 如何計算 7×5+6/3 呢？因每一時刻只能做一件事，所以其步驟為：

• 計算 7×5；
• 計算 6/3；
• 將結果相加。

總共需要 3 個運算時間。但如果我們有兩個 CPU 呢？很多工作便可以同時（平行）進行：

• 同時計算 7×5 及 6/3；
• 將結果相加。

只需要 2 個運算時間,比單獨的 CPU 減少了一個。這看起來好像沒節省多少時間，但如果我們有 16 對 a×b 要相加呢？單獨的 CPU 需要 31 個運算的時間（16 個 × 的運算時間及 15 個 + 的運算時間），而有 16 個小 CPU 的 GPU 則只需要 5 個運算的時間（1 個 × 的運算時間及 4 個 + 的運算時間）！

現在就讓我們來看看為什麼稱 GPU 為「圖形」處理單元。圖一左圖《我愛科學》一書擺斜了，如何將它擺正成右圖呢？ 一句話：「將整個圖逆時針方向旋轉 θ 即可」。但因為左圖是由上百萬個像素點（座標 x, y）組成的，所以這句簡單的話可讓 CPU 忙得不亦樂乎了：每一點的座標都必須做如下的轉換

x’ = x cosθ + y sinθ

y’ = -x sinθ+ y cosθ

即每一點均需要做四個 × 及兩個 + 的運算！如果每一運算需要 10^-6 秒，那麼讓《我愛科學》一書做個簡單的角度旋轉，便需要 6 秒，這豈是電動玩具畫面變化所能接受的？

人類的許多發明都是基於需要的關係，因此電腦硬件設計家便開始思考：這些點轉換都是獨立的，為什麼我們不讓它們同時進行（平行運算，parallel processing）呢？於是專門用來處理「圖形」的處理單元出現了——就是我們現在所知的 GPU。如果一個 GPU 可以同時處理 10⁶ 運算，那上圖的轉換只需 10^-6 秒鐘！

GPU 的興起

GPU 可分成兩種：

• 整合式圖形「卡」（integrated graphics）是內建於 CPU 中的 GPU，所以不是插卡，它與 CPU 共享系統記憶體，沒有單獨的記憶體組來儲存圖形／視訊，主要用於大部分的個人電腦及筆記型電腦上；早期英特爾（Intel）因為不讓插卡 GPU 侵蝕主機的地盤，在這方面的研發佔領先的地位，約佔 68% 的市場。
• 獨立顯示卡（discrete graphics）有不與 CPU 共享的自己專用內存；由於與處理器晶片分離，它會消耗更多電量並產生大量熱量；然而，也正是因為有自己的記憶體來源和電源，它可以比整合式顯示卡提供更高的效能。

2007 年，英偉達發布了可以在獨立 GPU 上進行平行處理的軟體層後，科學家發現獨立 GPU 不但能夠快速處理圖形變化，在需要大量計算才能實現特定結果的任務上也非常有效，因此開啟了為計算密集型的實用題目編寫 GPU 程式的領域。如今獨立 GPU 的應用範圍已遠遠超出當初圖形處理，不但擴大到醫學影像和地震成像等之複雜圖像和影片編輯及視覺化，也應用於駕駛、導航、天氣預報、大資料庫分析、機器學習、人工智慧、加密貨幣挖礦、及分子動力學模擬（註三）等其它領域。獨立 GPU 已成為人工智慧生態系統中不可或缺的一部分，正在改變我們的生活方式及許多行業的遊戲規則。英特爾在這方面發展較遲，遠遠落在英偉達（80%）及超微半導體公司（Advance Micro Devices Inc.，19%，註四）之後，大約只有 1% 的市場。

事實上現在的中央處理單元也不再是真正的「單元」，而是如圖二可含有多個可以同時處理運算的核心（core）單元。GPU 犧牲大量快取和控制單元以獲得更多的處理核心，因此其核心功能不如 CPU 核心強大，但它們能同時高速執行大量相同的指令，在平行運算中發揮強大作用。現在電腦通常具有 2 到 64 個核心；GPU 則具有上千、甚至上萬的核心。

結論

我們一看到《我愛科學》這本書，不需要一點一點地從左上到右下慢慢掃描,即可瞬間知道它上面有書名、出版社等，也知道它擺斜了。這種「平行運作」的能力不僅限於視覺，它也延伸到其它感官和認知功能。例如筆者在清華大學授課時常犯的一個毛病是：嘴巴在講，腦筋思考已經不知往前跑了多少公里，常常為了追趕而越講越快，將不少學生拋到腦後！這不表示筆者聰明，因為研究人員發現我們的大腦具有同時處理和解釋大量感官輸入的能力。

人工智慧是一種讓電腦或機器能夠模擬人類智慧和解決問題能力的科技，因此必須如人腦一樣能同時並行地處理許多資料。學過矩陣（matrix）的讀者應該知道，如果用矩陣和向量（vector）表達，上面所談到之座標轉換將是非常簡潔的（註五）。而矩陣和向量計算正是機器學習（machine learning）演算法的基礎！也正是獨立圖形處理單元最強大的功能所在！因此我們可以了解為什麼 GPU 會成為人工智慧開發的基石：它們的架構就是充分利用並行處理，來快速執行多個操作，進行訓練電腦或機器以人腦之思考與學習的方式處理資料——稱為「深度學習」（deep learning）。

黃仁勳在 5 月 22 日的發布業績新聞上謂：「下一次工業革命已經開始了：企業界和各國正與英偉達合作，將價值數萬億美元的傳統資料中心轉變為加速運算及新型資料中心——人工智慧工廠——以生產新商品『人工智慧』。人工智慧將為每個產業帶來顯著的生產力提升，幫助企業降低成本和提高能源效率，同時擴大收入機會。」

附錄

人工智慧的實用例子：下面一段是微軟的「copilot」代書、谷歌的「translate」代譯之「one paragraph summary of GPU and AI」。讀完後，讀者是不是認為筆者該退休了？

GPU（圖形處理單元）和 AI（人工智慧）之間的協同作用徹底改變了高效能運算領域。GPU 具有平行處理能力，特別適合人工智慧和機器學習所需的複雜資料密集運算。這導致了影像和視訊處理等領域的重大進步，使自動駕駛和臉部辨識等技術變得更加高效和可靠。NVIDIA 開發的平行運算平台 CUDA 進一步提高了 GPU 的效率，使開發人員能夠透過將人工智慧問題分解為更小的、可管理的、可同時處理的任務來解決這些問題。這不僅加快了人工智慧研究的步伐，而且使其更具成本效益，因為 GPU 可以在很短的時間內執行與多個 CPU 相同的任務。隨著人工智慧的不斷發展，GPU 的角色可能會變得更加不可或缺，推動各產業的創新和新的可能性。大腦透過神經元網路實現這一目標，這些神經元網路可以獨立但有凝聚力地工作，使我們能夠執行複雜的任務，例如駕駛、導航、觀察交通信號、聽音樂並同時規劃我們的路線。此外，研究表明，與非人類動物相比，人類大腦具有更多平行通路，這表明我們的神經處理具有更高的複雜性。這個複雜的系統證明了我們認知功能的卓越適應性和效率。我們可以一邊和朋友聊天一邊走在街上，一邊聽音樂一邊做飯，或一邊聽講座一邊做筆記。人工智慧是模擬人類腦神經網路的科技，因此必須能同時並行地來處理許多資料。研究人員發現了人腦通訊網路具有一個在獼猴或小鼠中未觀察獨特特徵：透過多個並行路徑傳輸訊息,因此具有令人難以置信的多任務處理能力。

註解

（註一）當讀者看到此篇文章時，其股票已一股換十股，現在每一股約在 $100 左右。

（註二）組裝或升級過個人電腦的讀者或許還記得「英偉達精視 256」（GeForce 256）插卡吧?

（註三）筆者於 1984 年離開清華大學到 IBM 時，就是參加了被認為全世界使用電腦時間最多的量子化學家、IBM「院士（fellow）」Enrico Clementi 的團隊：因為當時英偉達還未有可以在 GPU 上進行平行處理的軟體層，我們只能自己寫軟體將 8 台中型電腦（非 IBM 品牌！）與一大型電腦連接來做平行運算，進行分子動力學模擬等的科學研究。如果晚生 30 年或許就不會那麼辛苦了?

（註四）補助個人電腦用的 GPU 品牌到 2000 年時只剩下兩大主導廠商：英偉達及 ATI（Array Technology Inc.）。後者是出生於香港之四位中國人於 1985 年在加拿大安大略省成立，2006 年被超微半導體公司收購，品牌於 2010 年被淘汰。超微半導體公司於 2014 年 10 月提升台南出生之蘇姿豐（Lisa Tzwu-Fang Su）博士為執行長後，股票從每股 $4 左右，上升到今天每股超過 $160，其市值已經是英特爾的兩倍，完全擺脫了在後者陰影下求生存的小眾玩家角色，正在挑戰英偉達的 GPU 市場。順便一題：超微半導體公司現任總裁（兼 AI 策略負責人）為出生於台北的彭明博（Victor Peng）；與黃仁勳及蘇姿豐一樣，也是小時候就隨父母親移居到美國。

（註五）或。

延伸閱讀

• 「熱力學與能源利用」，《科學月刊》，1982 年 3 月號；收集於《我愛科學》（華騰文化有限公司，2017 年 12 月出版），轉載於「嘉義市政府全球資訊網」。
• 「網路安全技術與比特幣」，《科學月刊》，2020 年 11 月號；轉載於「善科教育基金會」的《科技大補帖》專欄。

2021年末，小玉的「Deepfake 換臉事件」讓大眾正視 Deepfake 技術的濫用問題。  Deepfake 發展至今不只有造假技術在進步，辨偽也是：目前任職於成大統計所的許志仲老師，從 2018 年開始便在這個主題中專研，並於 2020 年發表相關研究結果，該篇文章起今已有超過 50 次的引用次數。「以這篇論文發表的期刊影響指數（Impact Factor，簡稱IF值）來說，這個引用數相對來說是高的，這代表 Deepfake 辨偽的議題開始變得重要，但研究的人可能沒那麼多。」

許志仲坦言，自己 2018 年研究 Deepfake 辨偽時，Deepfake 影片品質並沒有特別好。沒想到短短兩三年的時間，Deepfake 的效果就已經好到可能會造成問題了。

雙面刃的 Deepfake

Deepfake 技術起初是希望能藉由電腦產生各種不同的逼真圖片或影片，來因應特效製作或老照片修復之類的工作，而要產生逼真圖片或影片，有許多不同的方法都能達成這個目的，目前 Deepfake 最常使用的方法為 2014 年提出的「生成對抗網路（Generative Adversarial Network, 簡稱 GAN）」，透過生成網路與判別網路的對抗，產生逼真的圖片或影片，因此說到 DeepFake，通常都會說起 GAN。

「我們會說 Deepfake 就是 GAN，是因為就目前生成技術還是以 GAN 最好，當然也有新的方法正在發展，所以未來未必還是以 GAN 作為主體，可能用別的方法偽造，也能做得很漂亮。」

許志仲也表示，Deepfake 的發展目標是正面的，技術本身是中立的，但使用者怎麼使用這項技術，就成了重要問題。而在不能確保使用者心態的情況下，辨偽技術成了這項技術的最後一道防線。而 Deepfake 辨識的主要問題，可以分為偏向研究的「偽造特徵不固定」，以及偏向實務面的「辨偽系統的使用情境差異」兩個面向。

Deepfake 辨識的研究困難：偽造特徵不固定

現在已經有可以辨識貓狗、車牌等物體的影像辨識系統，這些辨識系統也相當成熟可靠，直覺來說，要做出一套辨識 Deepfake 的辨識系統，應該也不會太困難吧？

但實際上卻並非如此，過往辨識系統的做法是抓取容易辨別的特徵，例如貓與狗兩者在形態上就有明顯的差異，只要給電腦夠多的訓練資料，就能有一組精確區分貓與狗的判別式，且能用到各種需要分辨貓與狗的情況下。

先不談分辨人臉真假，就人臉辨識本身來說，就是個值得研究的問題，每個人的臉都長得差不多，差異在於五官的相對位置、形狀或大小有微小的差異，這使人臉辨識本身就難有通則可以去分辨。而不同方法生成相似的 Deepfake 圖片，並不一定具有相同的偽造特徵，從人臉特徵到偽造特徵都不固定，使得 Deepfake 辨識具有一定的困難度。

此外，即便用同一種方法製作同樣的 Deepfake 圖片，也會因為當初給的資料不同，使得偽造特徵出現差異，這讓「一組判別式就能判斷是否為 Deepfake」成為近乎不可能實現的夢。

也許，偽造特徵根本不在人臉上!?

面對 Deepfake 辨識的棘手問題，許志仲說：「要辨識的特徵太多元。我們覺得倒不如去尋找有什麼線索是 GAN 一致會產生的，這線索也許是我們眼睛看不到的，但是電腦可以透過學習的方式去挖掘，所以我就用了這種學習機制去抓出，會不會大部分的這種生成系統，都可能有共同的瑕疵。」

一張 Deepfake 照片並不只有人臉與五官，也包含了背景。而許志仲的論文指出，Deepfake 的偽造特徵，經常出現在背景，或是背景與人臉的交界處：

「臉通常都合成的很漂亮，但是背景跟臉的交界處會不自然。通常在髮絲的地方，髮絲的地方會糊掉這是一種，或是眉毛或者是額頭中的髮線也會有明顯差異。另外就是背景，會明顯看不出背景是什麼東西。大家都忽略看這裡（背景）很正常，而實驗結果也確實看到這些部分具有相對好的辨識度。」

然而，即便該篇論文是近期發布的，許志仲也不敢肯定這套辨識方式是否能套用在目前的狀況下，他表示目前每半年，GAN 生成的 Deepfake 影像的逼真度，就會有顯著的突破，且沒有消退的趨勢。

Deepfake 辨識的實務困難：辨偽系統的使用情境差異

在實務上，許志仲認為目前還有更為棘手的問題需要解決，那就是辨偽系統的使用情境差異。以一段 Deepfake 影片上傳 Youtube 平台為例，上傳的時候 YouTube 就會先對影片進行壓縮，這時原有的 Deepfake 偽造特徵很可能會因為壓縮而被破壞，許志仲解釋：「有些人會故意加上一些雜訊、加一些後處理，比方說整個畫面做類似美肌之類的處理，這些都會破壞掉偽造的線索，我們發現這些狀況十分常見，而且很難克服。這也是為什麼現在幾乎沒有軟體或網站，提供 Deepfake 辨識服務。」

在實驗室裡，我們可以拿到 GAN 生成的原始影像去做分析，但在網路世界裡，每一個影像都可能像上述的情況一樣，做了各種後處理才放到網路上，就算現在有研究指出某種辨認方式是有效的，也未必真的能應對網路上的複雜情況。

許志仲表示，目前看到有希望突破壓縮這個問題的辨認方式，是去抓人臉在一段影片中的五官變化是否足夠自然，這個線索可以克服壓縮的一點點問題，因爲是藉由五官相對位置的變化來偵測，這就跟壓縮沒太大關係。但正如前面提到的，人臉辨識是困難的，人臉的五官定位本身就無法做到精準，真要使用這套方法辨識 Deepfake，還需要更多研究來確認可行性。

也有研究者認為 GAN 理論雖然看似完美無瑕，但在產出 Deepfake 過程中仍可能會出現某些關鍵操作，只要藉由偵測畫面中是否有經歷這些操作，就能間接推測這個畫面是否為 Deepfake，不過這個做法的缺點也很明顯，那就是這些關鍵操作，也很可能只是正常的影片後製造成的，並造成不是 Deepfake 的影像也被歸類到 Deepfake 中。

情境逐個突破，讓研究能落地使用

說到這裡，許志仲語重心長地說：「我們研究做了這麼多偵測 Deepfake 的方法，但都不一定能在真實世界使用，這讓我非常意外，而上述的這些情境，也只是冰山一角。」

其實大家都在研究差不多的特徵，像是五官的落差，說話的時候嘴巴的動態變化會比較小或模糊之類的，但這些特徵面在真實的使用情境中，還能有多少辨識度，就真的是未知數。考量到真實情境的複雜度，目前許志仲認為逐個突破不同的情境下它們適合的辨偽方式，才是比較實實際的。

「我們必須先確認好問題是正確的，才能找到正確的答案。」許志仲說，要在實驗室裡做出一套數據漂亮的辨識系統並不困難，但要做出實際能用的辨識系統卻非常不簡單。

許志仲也嘗試將自己的研究成果運用在實際情境中，但面對製作公司精心製作的 Deepfake 影片，許志仲換了好幾套模型，也只有一套能判別出來，也呼應了「使用情境差異」才是辨識 Deepfake 無法落地的最大問題。

各界都在防範 Deepfake 影響生活

GAN 要能生成以假亂真的 Deepfake 圖像，必須建構在有訓練完善的生成模型上，而一個訓練完善的生成模型，並不是隨便餵幾筆資料給 GAN 就會跑出來的，必須要有足夠算力的電腦，配合大量的資料才能完成。除了像 Google 或 Facebook 這種規模的公司有能力製作外，也只有部分研究單位，能做出這種以假亂真的生成模型。

許志仲說：「由於 Deepfake 對社會的影響很大，現在他們都只公開自己的程式碼，但不會公開自己的模型，主要就是怕模型被拿去幹壞事。」許志仲也坦承，對於辨偽技術的研究來說，目前的狀況是非常不利的，這代表研究者必須自己用程式碼生出不那麼精良的模型，來製作 Deepfake 圖片測試。

面對未來 Deepfake 是否會無法辨別，許志仲表示就影像上來說，這件事情是做得到的，總會有方法做出不被任何辨識系統偵測，堪稱完美的 Deepfake 影像。但身為防禦方的我們，並不是只能靠圖片辨識真偽，上傳的使用者、社群平台的 meta-data，這些能標示來源的訊息，都可能是我們辨識這部影片是否為 Deepfake 的線索。

面對持續進化，仍看不見消退的 Deepfake 技術，許志仲也希望未來能有更多人一同加入 Deepfake 辨偽的研究行列，針對 Deepfake 辨偽系統的使用情境，我們還有非常多的問題等著被解答。