深度攝影機與即時3D建模技術

十九世紀初，倫敦一家樂器行走出來一位十幾歲的學徒，他握著剛領到的工資，興奮地又來到附近的舊書攤買書。這一次他的目光被一本描述伏打 (Alessandro Volta) 所作電學實驗的書給吸引住，但他身上的錢不夠，而且這是本法文書，他還得再買本辭典才能看得懂。他還是下定決心將手中的錢給老闆當訂金，並在之後攢夠錢時將書與辭典買回家。

研讀之後，他找了哥哥一起打造書中所述的伏打電池，但只剩零錢不夠買所需的銅片。他靈光一閃，根本不用買，就拿手上的銅板便士 (penny) 取代就行啦！這就是惠斯登，從小就努力追求新知，並展露發明的天份。

他的發明橫跨不同領域。除了在自己的本行上發明六角形手風琴，他也是全世界最先發明 3D 圖片顯示裝置的人──他讓左右兩眼同時各自觀看 45 度角的反射鏡，而產生立體效果。他發現不同的金屬放電時產生的火花，透過稜鏡會呈現各自特有的光譜，為光譜學開啟了先河。他還發明一種矩陣加密法 (Playfair cipher)，而廣被軍隊採用，直到第二次世界大戰初期仍被部分英軍使用。

不過他奉獻最多的還是在電磁學方面。他將電線從中切開，接上萊頓瓶，再用快速旋轉的鏡子測量跳過電線缺口的火花延遲的時間，而估算出電流的速度。雖然他得出的數值比真正的電流速度還快了 50%，但他所發明的旋轉鏡卻在後來物理學家測量光速時派上用場。他和威廉・庫克 (William F. Cooke) 於 1837 年共同發明電報，不但成為最早的發明者，並且在兩年後沿著鐵路建造了世界上第一條商用電報線路。他改良別人的設計而發明的「惠斯登電橋」(Wheatstone bridge) 至今仍被廣泛用來測量電阻。他也是最先在發電機中用電磁鐵取代永久磁鐵，而成為能產生大電流的工業用發電機的發明人之一。

惠斯登靠著自學，從一個樂器行的學徒變成一位多產的發明家，還成為英國皇家學會的一員，可說是事在人為的最佳例證。

本文同時收錄於《科學史上的今天：歷史的瞬間，改變世界的起點》，由究竟出版社出版。

報導/江書賢

在《關鍵報告》與《鋼鐵人》等科幻電影中，經常出現主角用手勢凌空操縱電腦資訊的場面，想必是許多人心目中對於未來科技的經典想像。不遠的未來，這種科幻技術就會實現了！運用「深度攝影機」設備，加上後端軟體演算法的開發，工研院目前正在著手研發手勢控制、即時3D建模等等技術，一步步創造出愈來愈加直覺化的人機互動介面。

「深度攝影機」(Depth Camera)和一般攝影機不同的是：目前一般的攝影機是將真實世界的三維空間影像儲存成二維XY軸的平面畫面，但是深度攝影機可以測量出每一個影像點和攝影機之間的Z軸距離，因此儲存的是三維的空間資訊。藉由深度攝影機的兩個鏡頭所擷取的影像，用演算法比較兩者的差異後就能得到影像點深度的Z軸資訊（有一些類型的深度攝影機還會在鏡頭處以紅外線等不可見光源，發射光線到拍攝目標，藉由反射回來的資訊計算各反射點與攝影機之間的距離）。

藉由深度攝影機所感測到的三維影像資訊，配合工研院研發團隊所開發的手部辨識演算法，目前已經可以讓使用者在不需要配戴任何感測元件的條件下，運用手部動作就可以進行電腦螢幕畫面中物件的抓取、移動、翻轉、縮放等操作。工研院將持續深入研發這一項技術，使辨識能力更加精細，具體的實用目標是應用在市場逐漸成長的智慧電視Smart TV上，使用者只要動一動手指，不需要遙控器，就可以進行各種複雜的操作。這一項技術也可以應用在互動大型電子看板、簡報會議系統等方面。

工研院南分院微系統中心視覺互動技術部的陳柏戎經理表示，研究團隊開發出一項創新的深度攝影機應用方式：即時性3D建模。目前要產生3D影像模型有以下幾種不同的方式：

1. 由3D動畫師做人工的電腦繪圖。
2. 動作擷取系統（motion capture）
3.  3D掃描器。

每一種方法都有各自的限制：

1. 由動畫師做人工繪圖無法達到快速、即時的需求。
2. 動作擷取系統，即目前許多結合實景、演員和動畫的3D電影所使用的技術，在演員身上貼上動作的感測器以擷取身體各部位的數據，這一項技術會受到器材架設、場地等等因素的限制。
3. 3D掃描器，通常能掃描的尺寸範圍有一定的限制。陳柏戎經理表示，在研發深度攝影機的應用時，想到了可以運用深度攝影機所拍攝的三維的空間資訊來做即時性的3D建模。也就是，使用者在深度攝影機前做身體的動作，拍攝影像之後，即時由後端的軟體演算法進行辨識，並且轉化成3D的動畫模型骨架。

　　這一項技術的重點在於從深度攝影機所拍攝的影像數據中進行人體動作的辨識，並且必須以足夠快的效率進行即時的運算處理，轉化成模型。研發團隊在演算法的設計上，引入牆壁、天花板等等做為參考空間平面，來更加精準的計算拍攝到的影像中運動的主體，如人、車等，在空間中的三維位置；並且特別著重於人的形狀，與手肘、膝等各部位的動作辨識的強化，肢體骨架的分析等等，來提高建模的效率。目前已經能夠達到每秒做出30張以上的圖，高於動畫所需的每秒24張的最低要求。能夠達成動畫的即時運算要求，便可能實現讓攝影機前的被拍攝者和電腦中轉換出來的3D動畫影像進行即時互動。

用深度攝影機來做3D建模，雖然目前在精細度上還比不上動作擷取系統和3D掃描器，但是具有設備輕便，而且相較之下較便宜的優點。陳柏戎經理表示，研發團隊將會持續改進系統的精細度，希望在未來這一項技術能夠取代動作擷取系統；並且在另一方面，打造出平價、用途廣的3D掃描技術，可以用來滿足未來大量成長的3D列印市場所渴望的3D模型設計圖的需求。而使用者與建模出來的3D物件進行即時互動的功能，更是未來的主要研發重點。

工研院所開發，利用深度攝影機進行體感與手勢辨識的技術，規格可參考：

1.  工研院網站 — 最新消息
2. 2012/07/06 活動報導：國產體感辨識深度攝影機只要1/2成本，搶smart TV市場
3. 參考網址：工業技術研究院
4. 工研院電子報第10004期

技術專頁:錄影即建3D模

更多創新技術歡迎瀏覽解密國家寶藏

報導/江書賢

在生活中各種時刻，拿起智慧型手機把所見的人事景物拍攝下來，或者透過網路攝影機和朋友視訊通話，對於許多人來說已經是生活不可或缺的部分。在不知不覺間，我們常常是透過屏幕來觀察實體世界；另一方面，我們更是經常透過屏幕來瀏覽網路等資訊世界裡的訊息。既然兩者都常常透過同樣一種媒介和我們接觸，資訊和實體兩個世界愈來愈加緊密的結合，便是一個不讓人意外的趨勢。例如我們藉由掃描印在實體物品上的QR code，來讀取連結的資訊，或者是用手機拍了照片以後，使用Line等軟體把相片加上可愛的熊大與兔兔貼圖，像這些把來自資訊世界裡的文字或者影像，附加在來自真實世界的物件影像上的需求，將會更加普遍的成長。

擴增實境(Augmented Reality，AR)是將電腦、網路等資訊世界中的虛擬影像（尤其是３Ｄ影像），和實體世界中的物品互相結合，並且實現使用者與虛擬影像物件之間互動的技術。想像我們手拿一張圖片，在手機鏡頭或Web cam前面輕輕一晃，屏幕中所顯示的影像，除了出我們手拿著實體圖片以外，還憑空長出一些3D的虛擬物件，比如說飛碟或機器人，會追著我們手拿的圖片跑，甚至我們可能可以和這些虛擬3D影像進行互動，是不是很有趣呢？又或許是拿著某個商品的包裝盒，屏幕中的包裝盒上就會浮現出盒內商品的３Ｄ影像，比起印刷在平面上的包裝照片來說，能更增加消費者和包裝商品的接觸感。擴增實境的技術，想必在未來的物聯網中將會是一項商品銷售競爭上的利器。

既然要達成虛擬物件和真實物件兩者之間的連結，就必須讓電腦具備能從攝影機所拍攝到的影像中辨識出實體物件的能力。目前比較普遍的是利用QR code標示在實體物件上，但是如果要更普遍的廣泛應用在各種物品上，大家應該不會喜歡見到隨處可見的各種物品都印上死板的黑白方框圖像吧？如果電腦能夠直接辨認出物件上本身就具有的紋理特徵，就可以讓虛實物件之間的整合更加自然而不留痕跡，這就是無圖標AR技術所要達成的目標。

工研院南分院微系統中心視覺互動技術部的陳柏戎經理表示，先前無圖框AR的技術已在外國發展一段時間，技術由外國公司掌握，若是國內的廠商想要將無圖框AR的技術應用在商品上，必須支付很高昂的授權費用，所以目前國內很少廠商能利用這一種技術。工研院為了提供國內廠商的底層技術支援，因此著手進行無圖框AR的自主技術開發。

研發團隊目前的軟體技術開發成果，除了能達成不需要有特定邊框圖案的物件紋理特徵辨識與追蹤以外，更可以容許辨識目標物有超過30度的旋轉，並且容許辨識目標30%的遮蔽，因此電腦能夠更容易的成功辨識物件，不會因為在實用情境下，物品沒有正對著鏡頭，或著因為手拿著物件時不小心遮蔽到一部分的圖樣，就無法成功辨識物品。

相較於QR code 使用方形邊框與黑白圖樣等預先規定的特定圖樣模式來作標示，無圖框AR的技術目標是要能辨識更加自由多樣的圖案或紋理特徵，所以圖樣辨識的演算法必然會比QR code的辨識要複雜上很多，辨識的運算速度因此成為技術開發上的一大挑戰。研發團隊在開發演算法時，必須設計目標物件紋理的不同特徵部位的定義與擷取方式、權重分配，並且考慮辨識目標在各種不同的情境，如光線、旋轉角度、目標物和鏡頭間的距離時，能夠自動選用一組適合的特徵定義方式來進行辨識，才能使執行速度夠快，以符合即時性的要求。

除了目標物件特徵辨識的演算法以外，研發團隊進行的另一項技術開發重點是實體物件的辨識系統與虛擬物件的3D繪圖引擎的整合。目前市面上的3D繪圖引擎有許多不同的廠牌與版本，若國內的產品開發廠商想請國外公司提供無圖標AR技術的服務，經常會碰上兩家公司所使用的軟體不一致的情況，國外的技術廠商不一定會願意為小型的客戶處理軟體的相容性問題，因此會造成技術運用上的障礙。工研院作為促進本國創新科技的研發與技術支援單位，進行自主技術的開發，可以為國內的業者提供無圖標AR系統與其他軟體相容性問題的解決服務，作為國內產業底層技術的後盾，並且促成國內相關廠商的技術合作與整合。工研院所研發的系統目前是在PC平台上運作，現在正把開發目標朝向跨平台的技術延伸，如智慧型手機等行動裝置與嵌入式系統上。

擴增實境(AR)技術的概念已經被提出了十幾到二十年的時間，但是過去因為取像與顯示設備的體積、重量、成本等等硬體的限制，所以仍未充分發展，但是隨著近年來這些硬體設備的快速發展，甚至如Google Glass這些隨身的穿戴式系統也開始崛起，擴增實境的技術未來將有很大的應用空間與成長機會。或許在不久後的將來，人們就可以戴著擴增實境眼鏡上街，像許多科幻電影中機器人的視野一般，眼中所見許多物品旁邊都附帶著凌空的立體虛擬圖像或者文字資訊。

技術專頁:無圖標AR技術 

更多創新技術歡迎瀏覽解密國家寶藏

報導/江書賢

在《關鍵報告》與《鋼鐵人》等科幻電影中，經常出現主角用手勢凌空操縱電腦資訊的場面，想必是許多人心目中對於未來科技的經典想像。不遠的未來，這種科幻技術就會實現了！運用「深度攝影機」設備，加上後端軟體演算法的開發，工研院目前正在著手研發手勢控制、即時3D建模等等技術，一步步創造出愈來愈加直覺化的人機互動介面。

「深度攝影機」(Depth Camera)和一般攝影機不同的是：目前一般的攝影機是將真實世界的三維空間影像儲存成二維XY軸的平面畫面，但是深度攝影機可以測量出每一個影像點和攝影機之間的Z軸距離，因此儲存的是三維的空間資訊。藉由深度攝影機的兩個鏡頭所擷取的影像，用演算法比較兩者的差異後就能得到影像點深度的Z軸資訊（有一些類型的深度攝影機還會在鏡頭處以紅外線等不可見光源，發射光線到拍攝目標，藉由反射回來的資訊計算各反射點與攝影機之間的距離）。

藉由深度攝影機所感測到的三維影像資訊，配合工研院研發團隊所開發的手部辨識演算法，目前已經可以讓使用者在不需要配戴任何感測元件的條件下，運用手部動作就可以進行電腦螢幕畫面中物件的抓取、移動、翻轉、縮放等操作。工研院將持續深入研發這一項技術，使辨識能力更加精細，具體的實用目標是應用在市場逐漸成長的智慧電視Smart TV上，使用者只要動一動手指，不需要遙控器，就可以進行各種複雜的操作。這一項技術也可以應用在互動大型電子看板、簡報會議系統等方面。

工研院南分院微系統中心視覺互動技術部的陳柏戎經理表示，研究團隊開發出一項創新的深度攝影機應用方式：即時性3D建模。目前要產生3D影像模型有以下幾種不同的方式：

1. 由3D動畫師做人工的電腦繪圖。
2. 動作擷取系統（motion capture）
3.  3D掃描器。

每一種方法都有各自的限制：

1. 由動畫師做人工繪圖無法達到快速、即時的需求。
2. 動作擷取系統，即目前許多結合實景、演員和動畫的3D電影所使用的技術，在演員身上貼上動作的感測器以擷取身體各部位的數據，這一項技術會受到器材架設、場地等等因素的限制。
3. 3D掃描器，通常能掃描的尺寸範圍有一定的限制。陳柏戎經理表示，在研發深度攝影機的應用時，想到了可以運用深度攝影機所拍攝的三維的空間資訊來做即時性的3D建模。也就是，使用者在深度攝影機前做身體的動作，拍攝影像之後，即時由後端的軟體演算法進行辨識，並且轉化成3D的動畫模型骨架。

　　這一項技術的重點在於從深度攝影機所拍攝的影像數據中進行人體動作的辨識，並且必須以足夠快的效率進行即時的運算處理，轉化成模型。研發團隊在演算法的設計上，引入牆壁、天花板等等做為參考空間平面，來更加精準的計算拍攝到的影像中運動的主體，如人、車等，在空間中的三維位置；並且特別著重於人的形狀，與手肘、膝等各部位的動作辨識的強化，肢體骨架的分析等等，來提高建模的效率。目前已經能夠達到每秒做出30張以上的圖，高於動畫所需的每秒24張的最低要求。能夠達成動畫的即時運算要求，便可能實現讓攝影機前的被拍攝者和電腦中轉換出來的3D動畫影像進行即時互動。

用深度攝影機來做3D建模，雖然目前在精細度上還比不上動作擷取系統和3D掃描器，但是具有設備輕便，而且相較之下較便宜的優點。陳柏戎經理表示，研發團隊將會持續改進系統的精細度，希望在未來這一項技術能夠取代動作擷取系統；並且在另一方面，打造出平價、用途廣的3D掃描技術，可以用來滿足未來大量成長的3D列印市場所渴望的3D模型設計圖的需求。而使用者與建模出來的3D物件進行即時互動的功能，更是未來的主要研發重點。

工研院所開發，利用深度攝影機進行體感與手勢辨識的技術，規格可參考：

1.  工研院網站 — 最新消息
2. 2012/07/06 活動報導：國產體感辨識深度攝影機只要1/2成本，搶smart TV市場
3. 參考網址：工業技術研究院
4. 工研院電子報第10004期

技術專頁:錄影即建3D模

更多創新技術歡迎瀏覽解密國家寶藏

三維的立體影像重在很多地方都有應用，像是模型的重建，物體大小或是物體表面量測等。各種的非接觸的方法雖然都已經發展很久，但是這些方法常常要依賴特殊的構造（雷射光點，多台攝影機等）常常不能高速的捕捉立體動態。

這影片介紹一種方式，利用投影機投影出有結構的圖案，再利用高速攝影機拍攝下來。投影出的圖形在不同曲度的表面上會產生變形，而這些變形就可以提供利用三角量測測距方法的基準，然後經由分析影像計算出每一點的距離。這樣的方式只需要一台投影機與一台攝影機，大幅減少了裝置上的難度。如果使用了高速攝影機，理論上就可以得到用超高速的立體影像，這在科學研究上有非常大的幫助，另外，同樣的方法也可以把圖型投影在顯微鏡下的物體上，這樣就同樣可以做出可以量測微小起伏的裝置！（類似的技術可以參考結構照明）

轉載自 科學影像 Scimage