用十分鐘向 nand2tetris 學會設計處理器

• 作者／賴昭正｜前清大化學系教授、系主任、所長；合創科學月刊

我擔心人工智慧可能會完全取代人類。如果人們能設計電腦病毒，那麼就會有人設計出能夠自我改進和複製的人工智慧。 這將是一種超越人類的新生命形式。

——史蒂芬．霍金（Stephen Hawking）　英國理論物理學家

大約在八十年前，當第一台數位計算機出現時，一些電腦科學家便一直致力於讓機器具有像人類一樣的智慧；但七十年後，還是沒有機器能夠可靠地提供人類程度的語言或影像辨識功能。誰又想到「人工智慧」（Artificial Intelligent，簡稱 AI）的能力最近十年突然起飛，在許多（所有？）領域的測試中擊敗了人類，正在改變各個領域——包括假新聞的製造與散佈——的生態。

圖形處理單元（graphic process unit，簡稱 GPU）是這場「人工智慧」革命中的最大助手。它的興起使得九年前還是個小公司的 Nvidia（英偉達）股票從每股不到 $5，上升到今天（5 月 24 日）每股超過 $1000（註一）的全世界第三大公司，其創辦人（之一）兼首席執行官、出生於台南的黃仁勳（Jenson Huang）也一躍成為全世界排名 20 內的大富豪、台灣家喻戶曉的名人！可是多少人了解圖形處理單元是什麼嗎？到底是時勢造英雄，還是英雄造時勢？

在回答這問題之前，筆者得先聲明筆者不是學電腦的，因此在這裡所能談的只是與電腦設計細節無關的基本原理。筆者認為將原理轉成實用工具是專家的事，不是我們外行人需要了解的；但作為一位現在的知識分子或公民，了解基本原理則是必備的條件：例如了解「能量不滅定律」就可以不用仔細分析，即可判斷永動機是騙人的；又如現在可攜帶型冷氣機充斥市面上，它們不用往室外排廢熱氣，就可以提供屋內冷氣，讀者買嗎？

CPU 與 GPU

不管是大型電腦或個人電腦都需具有「中央處理單元」（central process unit，簡稱 CPU）。CPU 是電腦的「腦」，其電子電路負責處理所有軟體正確運作所需的所有任務，如算術、邏輯、控制、輸入和輸出操作等等。雖然早期的設計即可以讓一個指令同時做兩、三件不同的工作；但為了簡單化，我們在這裡所談的工作將只是執行算術和邏輯運算的工作（arithmetic and logic unit，簡稱 ALU），如將兩個數加在一起。在這一簡化的定義下，CPU 在任何一個時刻均只能執行一件工作而已。

在個人電腦剛出現只能用於一般事物的處理時，CPU 均能非常勝任地完成任務。但電腦圖形和動畫的出現帶來了第一批運算密集型工作負載後，CPU 開始顯示心有餘而力不足：例如電玩動畫需要應用程式處理數以萬計的像素（pixel），每個像素都有自己的顏色、光強度、和運動等, 使得 CPU 根本沒辦法在短時間內完成這些工作。於是出現了主機板上之「顯示插卡」來支援補助 CPU。

1999 年，英偉達將其一「具有集成變換、照明、三角形設定／裁剪、和透過應用程式從模型產生二維或三維影像的單晶片處理器」（註二）定位為「世界上第一款 GPU」，「GPU」這一名詞於焉誕生。不像 CPU，GPU 可以在同一個時刻執行許多算術和邏輯運算的工作，快速地完成圖形和動畫的變化。

依序計算和平行計算

一部電腦 CPU 如何計算 7×5+6/3 呢？因每一時刻只能做一件事，所以其步驟為：

• 計算 7×5；
• 計算 6/3；
• 將結果相加。

總共需要 3 個運算時間。但如果我們有兩個 CPU 呢？很多工作便可以同時（平行）進行：

• 同時計算 7×5 及 6/3；
• 將結果相加。

只需要 2 個運算時間,比單獨的 CPU 減少了一個。這看起來好像沒節省多少時間，但如果我們有 16 對 a×b 要相加呢？單獨的 CPU 需要 31 個運算的時間（16 個 × 的運算時間及 15 個 + 的運算時間），而有 16 個小 CPU 的 GPU 則只需要 5 個運算的時間（1 個 × 的運算時間及 4 個 + 的運算時間）！

現在就讓我們來看看為什麼稱 GPU 為「圖形」處理單元。圖一左圖《我愛科學》一書擺斜了，如何將它擺正成右圖呢？ 一句話：「將整個圖逆時針方向旋轉 θ 即可」。但因為左圖是由上百萬個像素點（座標 x, y）組成的，所以這句簡單的話可讓 CPU 忙得不亦樂乎了：每一點的座標都必須做如下的轉換

x’ = x cosθ + y sinθ

y’ = -x sinθ+ y cosθ

即每一點均需要做四個 × 及兩個 + 的運算！如果每一運算需要 10^-6 秒，那麼讓《我愛科學》一書做個簡單的角度旋轉，便需要 6 秒，這豈是電動玩具畫面變化所能接受的？

人類的許多發明都是基於需要的關係，因此電腦硬件設計家便開始思考：這些點轉換都是獨立的，為什麼我們不讓它們同時進行（平行運算，parallel processing）呢？於是專門用來處理「圖形」的處理單元出現了——就是我們現在所知的 GPU。如果一個 GPU 可以同時處理 10⁶ 運算，那上圖的轉換只需 10^-6 秒鐘！

GPU 的興起

GPU 可分成兩種：

• 整合式圖形「卡」（integrated graphics）是內建於 CPU 中的 GPU，所以不是插卡，它與 CPU 共享系統記憶體，沒有單獨的記憶體組來儲存圖形／視訊，主要用於大部分的個人電腦及筆記型電腦上；早期英特爾（Intel）因為不讓插卡 GPU 侵蝕主機的地盤，在這方面的研發佔領先的地位，約佔 68% 的市場。
• 獨立顯示卡（discrete graphics）有不與 CPU 共享的自己專用內存；由於與處理器晶片分離，它會消耗更多電量並產生大量熱量；然而，也正是因為有自己的記憶體來源和電源，它可以比整合式顯示卡提供更高的效能。

2007 年，英偉達發布了可以在獨立 GPU 上進行平行處理的軟體層後，科學家發現獨立 GPU 不但能夠快速處理圖形變化，在需要大量計算才能實現特定結果的任務上也非常有效，因此開啟了為計算密集型的實用題目編寫 GPU 程式的領域。如今獨立 GPU 的應用範圍已遠遠超出當初圖形處理，不但擴大到醫學影像和地震成像等之複雜圖像和影片編輯及視覺化，也應用於駕駛、導航、天氣預報、大資料庫分析、機器學習、人工智慧、加密貨幣挖礦、及分子動力學模擬（註三）等其它領域。獨立 GPU 已成為人工智慧生態系統中不可或缺的一部分，正在改變我們的生活方式及許多行業的遊戲規則。英特爾在這方面發展較遲，遠遠落在英偉達（80%）及超微半導體公司（Advance Micro Devices Inc.，19%，註四）之後，大約只有 1% 的市場。

事實上現在的中央處理單元也不再是真正的「單元」，而是如圖二可含有多個可以同時處理運算的核心（core）單元。GPU 犧牲大量快取和控制單元以獲得更多的處理核心，因此其核心功能不如 CPU 核心強大，但它們能同時高速執行大量相同的指令，在平行運算中發揮強大作用。現在電腦通常具有 2 到 64 個核心；GPU 則具有上千、甚至上萬的核心。

結論

我們一看到《我愛科學》這本書，不需要一點一點地從左上到右下慢慢掃描,即可瞬間知道它上面有書名、出版社等，也知道它擺斜了。這種「平行運作」的能力不僅限於視覺，它也延伸到其它感官和認知功能。例如筆者在清華大學授課時常犯的一個毛病是：嘴巴在講，腦筋思考已經不知往前跑了多少公里，常常為了追趕而越講越快，將不少學生拋到腦後！這不表示筆者聰明，因為研究人員發現我們的大腦具有同時處理和解釋大量感官輸入的能力。

人工智慧是一種讓電腦或機器能夠模擬人類智慧和解決問題能力的科技，因此必須如人腦一樣能同時並行地處理許多資料。學過矩陣（matrix）的讀者應該知道，如果用矩陣和向量（vector）表達，上面所談到之座標轉換將是非常簡潔的（註五）。而矩陣和向量計算正是機器學習（machine learning）演算法的基礎！也正是獨立圖形處理單元最強大的功能所在！因此我們可以了解為什麼 GPU 會成為人工智慧開發的基石：它們的架構就是充分利用並行處理，來快速執行多個操作，進行訓練電腦或機器以人腦之思考與學習的方式處理資料——稱為「深度學習」（deep learning）。

黃仁勳在 5 月 22 日的發布業績新聞上謂：「下一次工業革命已經開始了：企業界和各國正與英偉達合作，將價值數萬億美元的傳統資料中心轉變為加速運算及新型資料中心——人工智慧工廠——以生產新商品『人工智慧』。人工智慧將為每個產業帶來顯著的生產力提升，幫助企業降低成本和提高能源效率，同時擴大收入機會。」

附錄

人工智慧的實用例子：下面一段是微軟的「copilot」代書、谷歌的「translate」代譯之「one paragraph summary of GPU and AI」。讀完後，讀者是不是認為筆者該退休了？

GPU（圖形處理單元）和 AI（人工智慧）之間的協同作用徹底改變了高效能運算領域。GPU 具有平行處理能力，特別適合人工智慧和機器學習所需的複雜資料密集運算。這導致了影像和視訊處理等領域的重大進步，使自動駕駛和臉部辨識等技術變得更加高效和可靠。NVIDIA 開發的平行運算平台 CUDA 進一步提高了 GPU 的效率，使開發人員能夠透過將人工智慧問題分解為更小的、可管理的、可同時處理的任務來解決這些問題。這不僅加快了人工智慧研究的步伐，而且使其更具成本效益，因為 GPU 可以在很短的時間內執行與多個 CPU 相同的任務。隨著人工智慧的不斷發展，GPU 的角色可能會變得更加不可或缺，推動各產業的創新和新的可能性。大腦透過神經元網路實現這一目標，這些神經元網路可以獨立但有凝聚力地工作，使我們能夠執行複雜的任務，例如駕駛、導航、觀察交通信號、聽音樂並同時規劃我們的路線。此外，研究表明，與非人類動物相比，人類大腦具有更多平行通路，這表明我們的神經處理具有更高的複雜性。這個複雜的系統證明了我們認知功能的卓越適應性和效率。我們可以一邊和朋友聊天一邊走在街上，一邊聽音樂一邊做飯，或一邊聽講座一邊做筆記。人工智慧是模擬人類腦神經網路的科技，因此必須能同時並行地來處理許多資料。研究人員發現了人腦通訊網路具有一個在獼猴或小鼠中未觀察獨特特徵：透過多個並行路徑傳輸訊息,因此具有令人難以置信的多任務處理能力。

註解

（註一）當讀者看到此篇文章時，其股票已一股換十股，現在每一股約在 $100 左右。

（註二）組裝或升級過個人電腦的讀者或許還記得「英偉達精視 256」（GeForce 256）插卡吧?

（註三）筆者於 1984 年離開清華大學到 IBM 時，就是參加了被認為全世界使用電腦時間最多的量子化學家、IBM「院士（fellow）」Enrico Clementi 的團隊：因為當時英偉達還未有可以在 GPU 上進行平行處理的軟體層，我們只能自己寫軟體將 8 台中型電腦（非 IBM 品牌！）與一大型電腦連接來做平行運算，進行分子動力學模擬等的科學研究。如果晚生 30 年或許就不會那麼辛苦了?

（註四）補助個人電腦用的 GPU 品牌到 2000 年時只剩下兩大主導廠商：英偉達及 ATI（Array Technology Inc.）。後者是出生於香港之四位中國人於 1985 年在加拿大安大略省成立，2006 年被超微半導體公司收購，品牌於 2010 年被淘汰。超微半導體公司於 2014 年 10 月提升台南出生之蘇姿豐（Lisa Tzwu-Fang Su）博士為執行長後，股票從每股 $4 左右，上升到今天每股超過 $160，其市值已經是英特爾的兩倍，完全擺脫了在後者陰影下求生存的小眾玩家角色，正在挑戰英偉達的 GPU 市場。順便一題：超微半導體公司現任總裁（兼 AI 策略負責人）為出生於台北的彭明博（Victor Peng）；與黃仁勳及蘇姿豐一樣，也是小時候就隨父母親移居到美國。

（註五）或。

延伸閱讀

• 「熱力學與能源利用」，《科學月刊》，1982 年 3 月號；收集於《我愛科學》（華騰文化有限公司，2017 年 12 月出版），轉載於「嘉義市政府全球資訊網」。
• 「網路安全技術與比特幣」，《科學月刊》，2020 年 11 月號；轉載於「善科教育基金會」的《科技大補帖》專欄。

 Google 新出的 Pixel 7 Pro，其核心繼續沿用上一代開始自行研發的晶片，並且升級為 Google Tensor G2。

由 Google 開發、號稱專為 AI 設計打造的 Tensor 晶片，尤其著重在 TPU。打開處理器 Google Tensor 一探究竟，裡面放著 CPU、GPU，以及擁有 AI 運算能力的 TPU（Tensor Processing Unit）張量處理單元。

什麼是 TPU？與 CPU、GPU 有什麼不同？要了解 TPU，先來看看他的前輩 CPU 和 GPU 是如何運作的吧！

TPU 處理器晶片是什麼？先從了解 CPU 開始！

不論手機、電腦還是超級電腦，當代計算機的通用架構，都是使用以圖靈機為概念設計出來的馮紐曼架構，這個程式指令記憶體和資料記憶體合併在一起的概念架構，從 1945 年提出後就一直被使用到現在。

除了輸入輸出設備外，架構中還包含了三大結構：記憶體 Memory、控制單元 CU 與算術邏輯單元 ALU。在電腦主機中，控制單元 CU 和算術邏輯單元 ALU 都被包在中央處理器 CPU（Central Processing Unit）中；記憶體則以不同形式散佈，依存取速度分為：暫存器（Register）、快取（Cache）、主記憶體（Main memory）與大量儲存裝置（Mass storage）。

算術邏輯單元 ALU 負責運算，透過邏輯閘進行加減乘除、邏輯判斷、平移等基礎運算，透過一次次的運算，完成複雜的程式。有了精密的算術邏輯單元，還有一個很重要的，也是控制單元 CU 最主要的工作——流程管理。

為了加速計算，CU 會分析任務，把需要運行的資料與程式放進離 ALU 最近、存取速度最快的暫存器中。在等 ALU 完成任務的同時，CU 會判斷接下來的工作流程，事先將後面會用到的資料拉進快取與主記憶體，並在算術邏輯單元完成任務後，安排下一個任務給它，然後把半完成品放到下一個暫存器中等待下一步的運算。

CPU 就像是一間工廠，ALU 則是負責加工的機器，CU 則作為流水線上的履帶與機械手臂，不斷將原料與半成品運向下一站，同時控制工廠與倉庫間的物流運輸，讓效率最大化。

然而隨著科技發展，人們需要電腦處理的任務量越來越大。就以照片為例，隨手拍的一張 1080p 相片就含有1920*1080 共 2073600 個像素，不僅如此，在彩色相片中，每一個像素還包含 R、G、B 三種數值，如果是有透明度的 PNG 圖片，那還多一個 Alpha 值（A值），代表一張相片就有 800 萬個元素要做處理，更不用說現在的手機很多都已經能拍到 4K 以上的畫質，這對於 CPU 來說實在過於辛苦。

由於 CPU 只有一條生產線，能做的就是增加生產線的數量；工程師也發現，其實在影像處理的過程中，瓶頸不是在於運算的題目過於困難，而是工作量非常龐大。CPU 是很強沒錯，但處理量能不夠怎麼辦？

那就換狂開產線的 GPU！

比起增加算術邏輯單元的運算速度，不如重新改建一下原有的工廠！在廠房中盡可能放入更多構造相同的流水線，而倉庫這種大型倉儲空間則可以讓所有流水線共同使用，這樣不僅能增加單位體積中的運算效能，在相同時間內，也可以產出更多的東西，減少一張相片運算的時間。

顯卡大廠 NVIDIA 在 1999 年首次提出了將圖形處理器獨立出來的構想，並發表了第一個為加速圖形運算而誕生、歷史上第一張顯卡—— GPU（Graphics Processing Unit）NVIDIA GeForce 256。

在一顆 GPU 中會有數百到數千個 ALU，就像是把許多小 CPU 塞在同一張顯卡上；在影像處理的過程中，CU 會把每一格像素分配給不同的 ALU，當處理相同的工作時，GPU 就可以大幅提升處理效率。

這也是為什麼加密貨幣市場中的「礦工」們，大部分都以 GPU 作為挖礦工具；由於礦工們實際在做的計算並不困難，重點是需要不斷反覆計算，處理有龐大工作量的「工作量證明機制」問題，利用 GPU 加速就是最佳解。

不過，影像處理技術的需求隨著時代變得更加複雜，這就是人工智慧的範疇了。以一張相片來說，要能認出是誰，就需要有一道處理工序來比較、綜合諮詢以進行人臉辨識；如果要提升準度，就要不斷加入參數，像是眼鏡的有無、臉上的皺紋、髮型，除此之外還要考慮到人物在相片中的旋轉、光線造成的明暗對比等。

每一次的參數判斷，在機器學習中都是一層不同的過濾器（filter）。在每一次計算中，AI 會拿著這個過濾器，在相片上從左至右，從上至下，去找相片中是否有符合這個特徵；每一次的比對，就會給一個分數，總分越高，代表這附近有越高的機率符合過濾器想找的對象，就像玩踩地雷一樣，當這邊出現高分數的時候，就是找到目標了。

而這種方式被稱為卷積神經網路（Convolutional Neural Networks, CNN），為神經網路的一種，被大量使用在影像辨識中。除了能增進影像辨識的準確度外，透過改變過濾器的次數、移動時的快慢、共用的參數等，還可以減少矩陣的運算次數、加快神經網路的計算。

然而即便如此，工作量還是比傳統影像處理複雜多了。為應對龐大的矩陣運算，我們的主角 TPU（Tensor Processing Unit）張量處理單元就誕生了！

TPU 如何優化 AI 運算

既然 CNN 的關鍵就是矩陣運算，那就來做一個矩陣運算特別快的晶片吧！

TPU 在處理矩陣運算上採用脈動陣列（Systolic Array）的方式；比起 GPU 中每個 ALU 都各做各的，在 TPU 裡面的資料會在各個 ALU 之間穿梭，每個 ALU 專門負責一部分，共同完成任務。這麼做有兩個好處，一是每個人負擔的工作量更少，代表每個 ALU 的體積可以再縮小；二是半成品傳遞的過程可以直接在 ALU 之間進行，不再需要把半成品借放在暫存區再拿出來，大幅減少了儲存與讀取的時間。

在這樣的架構下，比起只能塞進約 4000 個核心的 GPU，TPU 可以塞進 128＊128 共 1.6 萬個核心，加上每個核心負擔的工作量更小，運算速度也就更快、耗電量更低。我們經常使用的 google 服務，許多也是用了 TPU 做優化，像是本身就是全球最大搜尋引擎的 google、google 翻譯、google map 上都大量使用了 TPU 和神經網路來加速。

2021 年，Google 更把 TPU 導入到自家手機產品中，也就是前面我們提到的 Google Tensor；今年更是在 Pixel 7 中放入升級後的 Google Tensor G2。

Google 表示新款人工智慧晶片可以加快 60% 的機器學習速度，也加快語音助理的處理速度與增加功能、在通話時去除雜音增進通話品質等，不過最有感的還是圖像處理，像是透過 AI 多了修復模糊處理，不僅可以修正手震，還能把舊相片也變得清晰。

現在新款的手機為凸顯不同，越來越強調自家晶片設計與效能的差異；除了 Google 的 TPU 外，其他公司也朝著 AI 晶片的方向前進，包括蘋果、高通、聯發科、中國的寒武紀等，也都發表了自行研發的神經網路處理器 NPU。

歡迎訂閱 Pansci Youtube 頻道 獲取更多深入淺出的科學知識！