0

0
0

文字

分享

0
0
0

如何運用 VR、AR、AV 與動作擷取技術,讓想像擴增於實境與虛境的交界?

活躍星系核_96
・2018/02/13 ・4530字 ・閱讀時間約 9 分鐘 ・SR值 587 ・九年級

  • 作者/ 曾靖越
    臺北市立大學視覺藝術學系助理教授,熱愛閱讀、電影、跑步與科技藝術。每天不喝咖啡就無法將大腦開機,期許自己的文字能對社會產生些許功能性。

拜影像辨識技術的進步與硬體價格的下降,動作擷取技術不但成熟而且容易取得;像是由日本影片製作人淺井宣通(Nobumichi Asai)團隊,所開發的臉部投影特效影片「OMOTE」,以及 58 屆葛萊美獎(Grammy Awards)頒獎典禮中,女神卡卡在表演開頭的即時妝容特效,都是透過高速攝影機等設備,辨識臉部與追蹤動態,並將視覺效果即時投影到表演者頭部,進行容貌的改變[1]這樣的作品運用了動作捕捉技術、配合光雕投影(Projection Mapping)呈現形式,讓科技展演有了新的可能性。


ABC Breaking News | Latest News Videos

光學動作擷取技術:將現實世界納入虛擬世界

前面提到的這種動作擷取技術技術,在本質上就是「光學動作擷取技術」;所謂光學動作擷取技術,是先將要偵測的人或物體,配戴一種特殊的光球(稱為Marker 或 Optical),接著運用多臺高解析度攝影機,來記錄偵測對象運作的軌跡;這些高解析度攝影機的周邊會設置紅外線發射器,並投射出肉眼不可見、高頻的紅外線閃光。

前面提到的光球,由於會反射紅外線的光點,再透過多台高解析度攝影機接收後,經過對比的運算後,取得光球在實體空間當中的三維 X、Y、Z位移動作,便可進一步得到被偵測物的動態;而由於光點是被動反射光線,所以稱為又稱「被動式」光學動作擷取系統[2]。動作擷取技術在實務的使用上已有很長一段時間,舉凡電影、遊戲、表演藝術幾乎都能看見它的應用,就其根本而言,將實體世界的動態轉譯為虛擬世界的形態變化,是一種跨越了虛實的科技。下面影片是《魔戒三部曲》中扮演咕嚕的知名英國導演、演員 Andy Serkis,談談動作擷取在電影中的應用。

-----廣告,請繼續往下閱讀-----

擴增實境:「神奇寶貝」出現在現實當中

就跨越虛實的科技而言,這裡我們來談談時下熱門的「擴增實境」(Augmented Reality,AR)技術,所謂擴增實境,是一種將數位訊息或是電腦產生的資訊,即時覆蓋在真實空間當中的一種技術,一般而言,擴增實境可以擴增人的「五感」,但現今大多數的擴增實境技術僅用來強化視覺感受[3]。這裡提到的所謂「即時覆蓋資訊」的手法,可以是直接讓觀眾直接用身體感官感受的,也可以是間接透過裝置進行體驗的[4]。舉凡近兩年席捲全球的熱門遊戲 Pokémon GO(即便過去AR功能總是被玩家關掉),以及最新的 iOS 11 ARKit 技術應用,就是家喻戶曉擴增實境的典型運用。

若以 1994 年 Milgram 等人,所提出的現實-虛擬連續系統(Reality-Virtuality Continuum)[5]下圖),則可以更清楚地知道,擴增實境(AR)是較為傾向以「真實環境」做為呈現基底。這與時下熱門的「虛擬實境」(Virtual Reality, VR)不同,擴增實境技術主要試圖將虛擬物件嵌入現實當中,因此「真實空間」在擴增實境當中被視為一項非常重要的元素[6]。總體而言,擴增實境可視為介於全真實環境與全虛擬環境的一種「混合物」或是「中間地帶」[7]。這是當代社會一個非常奇特的現象,透過數位科技,我們把想像與真實介接在一起,並且穿梭往來兩地進行工作、娛樂與生活。

現實-虛擬的連續系統,Milgram, P., et al. (1995). Augmented reality: a class of displays on the reality-virtuality continuum.  圖/作者轉載自 Augmented or Virtual: How Do You Like Your Reality?(By MJ Anderson)

透過「擴增」貼近舞蹈的核心

還記得多年以前,在松菸有一個很特別的展覽:「與佛塞同步─威廉‧佛塞新媒體藝術系列展覽」,這個展覽,運用資訊視覺化的方式,讓我們得以用更貼近編舞家的想法,去看透、欣賞一件舞作。一般近年來我們看到的表演藝術,若要使用互動科技於其中,大多是運用各種電子感測器,即時偵測表演者的位置與動作,並讓電腦或機械設備(如空拍機、機械手臂),反饋出對應的視覺影像或是物件動態,與表演者一同在舞台上呈現。但「與佛塞同步」這個展覽,卻不是即時的,是一種「好好紀錄當下的軌跡,儲存、分析後,再用不同手法進行再現」的表演藝術。

Synchronous Objects Project, The Ohio State University and The Forsythe Company 圖/作者轉載自 2011 第十三屆台北藝術節官網

與佛塞同步」整個展覽的內容,基本上都是來自於名為「Synchronous Objects」的計畫,該計畫由舞蹈家威廉 ‧ 佛塞(William Forsythe),與美國俄亥州立大學共同合作,目的在於以佛塞 2000 年舞作《重製一道平面》(One Flat Thing, reproduced)為基礎,藉由科技進行不同型態的紀錄與分析,讓舞蹈以不同的方式再現。進入「Synchronous Objects」官網,可以在副標題發現計畫的核心概念:「透過將舞蹈轉化為資料,再轉為物件,讓編舞結構進行視覺再現」(visualizing choreographic structure from dance to data to objects)官網當中收錄很多整體製作的細節、參與學生的構想等等文字、靜態、動態影像之資料,簡直就是一座寶庫,充分地呼應了展覽的主訴求,也讓觀眾用不同的角度去瞭解所謂舞蹈、編舞,其底層所呈現的訊息。

-----廣告,請繼續往下閱讀-----

若不以即時互動的角度進行檢視,大致上「Synchronous Objects」計畫某種程度上也運用了科技,去擴增了原始舞蹈的實境;而透過這種「擴增」,作品則提供了一種新的、較為客觀方式來看待「編舞」,讓觀眾可以直接感受到編舞家的感受,而不只是透過專家、或舞評家的看法[8]

「混合實境」科技表演,捕捉現場混合虛擬

談到科技表演,最近有一個很有趣的作品:《CyberCube》,這是以黑川互動媒體藝術(新媒體藝術家胡縉祥)為主導,整合多個藝術創作團隊所進行的新媒體展演。《CyberCube》讓表演者進行立方體表演,並透過即時追蹤的技術(運用本文最前面的動作擷取技術),配合 LED光條、電腦燈、以及網路直播(呈現即時特效),形塑了一個「混合實境」(Mixed Reality)跨界創新創作展現。《CyberCube》靈感來自於科幻小說作家威廉 ‧ 吉布森(William Gibson)的作品《神經漫遊者》(Neuromancer),故事描述由於科技的快速發展,人類穿梭在真實與虛擬兩個的世界中的痛苦與掙扎[9]

《CyberCube》中的 LED 立方體象徵網路世界,表演者操控著立方體直到無法自拔,暗喻人在虛實空間中,存在、逃離、融合、穿梭等不同的面向。表演空間當中,設置了數台高速攝影機,這些攝影機,所偵測到的表演者動態,將即時運算後,影響立方體的 LED 光條變化,與現場的電腦燈投射效果;此外,攝影機所捕捉的實景與 3D 物件結合後,透過網路直播的方式,讓線上觀眾實際看到虛擬與現實交融的視覺效果,靈活地將整個表演場域,轉化為被重新定義的有機生命體,更是此表演的一大亮點[10]

《CyberCube》新媒體展演 圖/作者轉載自 PeppeCorns 黑川互動媒體藝術臉書

低成本強化情境:快來動手做吧!

本文最末,再來談一下另一個感覺上不太一樣,但我個人認為本質雷同的趣味應用:Nintendo Labo,這是任天堂公司於 2018/1/18 日,發表了一個針對 Nintendo Switch 主機所開發的新玩法。透過任天堂所釋出的影片可以知道,這些新的遊戲包含紙板、繩子、橡皮筋等動手做的材料,讓玩家自行組合諸如:釣竿、遙控器、鋼琴、設備背包、踏板等物件。

-----廣告,請繼續往下閱讀-----

遊戲無非就是要讓玩家沈浸到一種情境的體驗當中,任天堂採取的這個策略,是材質上相對較為便宜的手段(連橡皮筋都跟官方買應該也很貴),去強化一種體驗的情境,讓玩家無論從動手做,一直到上手玩,都可以徹底擴大、加深感官的體驗,讓遊玩的時候,更能投入的遊戲所建構的虛擬情境當中。

若回到本文前面所提到的,現實─虛擬連續系統(Reality-Virtuality Continuum),Nintendo Labo 應可以被視為「擴增虛境」(Augmented Virtuality,簡稱 AV),這是將真實世界的訊息,加入到虛擬環境裡;Nintendo Labo透過橡皮筋、紙板等物件,讓玩家能夠保持遊戲應有的動作與姿勢,進而將現實中才有的重力、肢體運作軌跡,加入到遊戲中,用來調整、控制遊戲的運作[11]

Nintendo Labo Robot Kit 圖/作者轉載自任天堂官網

有一篇很不錯的文章〈擴增不到的實境,是沒有陰陽眼的焦慮:關於Pokémon Go的一點人類學觀察與解讀(二)〉[12]曾提過,關於「虛擬實境」(VR)與「擴增實境」(AR)的區別可以歸納成以下的公式:

VR虛擬實境 vs. AR擴增實境 = 觀落陰 vs. 陰陽眼

沒有錯!這種比喻真是恰到好處,當數位裝置已成了現代人的新感官之後,虛擬世界所發生的事情,只要你透過螢幕這道跨越虛實的窗,就能看見。

-----廣告,請繼續往下閱讀-----

人在虛境與實境之間穿梭往來的生活型態,其實很早就有這樣的概念,但直至現今,數位科技運算的強大能力,才讓許多不可思議的應用不斷發生。數位化強化了影像的製作與傳播能力,並降低製作門檻與成本,再透過行動裝置的普及,大小螢幕所呈現的影像,更是充斥在生活各種細節當中,不斷地引導觀眾沉浸到內容開發者其所安排的幻覺當中,讓人人都可以在虛擬與真實的世界來去自如。

注解:

本文轉自 nmlab《想像擴增於實境與虛境的交界

文章難易度
活躍星系核_96
752 篇文章 ・ 120 位粉絲
活躍星系核(active galactic nucleus, AGN)是一類中央核區活動性很強的河外星系。這些星系比普通星系活躍,在從無線電波到伽瑪射線的全波段裡都發出很強的電磁輻射。 本帳號發表來自各方的投稿。附有資料出處的科學好文,都歡迎你來投稿喔。 Email: contact@pansci.asia

0

7
1

文字

分享

0
7
1
快!還要更快!讓國家級地震警報更好用的「都會區強震預警精進計畫」
鳥苷三磷酸 (PanSci Promo)_96
・2024/01/21 ・2584字 ・閱讀時間約 5 分鐘

-----廣告,請繼續往下閱讀-----

本文由 交通部中央氣象署 委託,泛科學企劃執行。

  • 文/陳儀珈

從地震儀感應到地震的震動,到我們的手機響起國家級警報,大約需要多少時間?

臺灣從 1991 年開始大量增建地震測站;1999 年臺灣爆發了 921 大地震,當時的地震速報系統約在震後 102 秒完成地震定位;2014 年正式對公眾推播強震即時警報;到了 2020 年 4 月,隨著技術不斷革新,當時交通部中央氣象局地震測報中心(以下簡稱為地震中心)僅需 10 秒,就可以發出地震預警訊息!

然而,地震中心並未因此而自滿,而是持續擴建地震觀測網,開發新技術。近年來,地震中心執行前瞻基礎建設 2.0「都會區強震預警精進計畫」,預計讓臺灣的地震預警系統邁入下一個新紀元!

-----廣告,請繼續往下閱讀-----

連上網路吧!用建設與技術,換取獲得地震資料的時間

「都會區強震預警精進計畫」起源於「民生公共物聯網數據應用及產業開展計畫」,該計畫致力於跨部會、跨單位合作,由 11 個執行單位共同策畫,致力於優化我國環境與防災治理,並建置資料開放平台。

看到這裡,或許你還沒反應過來地震預警系統跟物聯網(Internet of Things,IoT)有什麼關係,嘿嘿,那可大有關係啦!

當我們將各種實體物品透過網路連結起來,建立彼此與裝置的通訊後,成為了所謂的物聯網。在我國的地震預警系統中,即是透過將地震儀的資料即時傳輸到聯網系統,並進行運算,實現了對地震活動的即時監測和預警。

地震中心在臺灣架設了 700 多個強震監測站,但能夠和地震中心即時連線的,只有其中 500 個,藉由這項計畫,地震中心將致力增加可連線的強震監測站數量,並優化原有強震監測站的聯網品質。

-----廣告,請繼續往下閱讀-----

在地震中心的評估中,可以連線的強震監測站大約可在 113 年時,從原有的 500 個增加至 600 個,並且更新現有監測站的軟體與硬體設備,藉此提升地震預警系統的效能。

由此可知,倘若地震儀沒有了聯網的功能,我們也形同完全失去了地震預警系統的一切。

把地震儀放到井下後,有什麼好處?

除了加強地震儀的聯網功能外,把地震儀「放到地下」,也是提升地震預警系統效能的關鍵做法。

為什麼要把地震儀放到地底下?用日常生活來比喻的話,就像是買屋子時,要選擇鬧中取靜的社區,才不會讓吵雜的環境影響自己在房間聆聽優美的音樂;看星星時,要選擇光害比較不嚴重的山區,才能看清楚一閃又一閃的美麗星空。

-----廣告,請繼續往下閱讀-----

地表有太多、太多的環境雜訊了,因此當地震儀被安裝在地表時,想要從混亂的「噪音」之中找出關鍵的地震波,就像是在搖滾演唱會裡聽電話一樣困難,無論是電腦或研究人員,都需要花費比較多的時間,才能判讀來自地震的波形。

這些環境雜訊都是從哪裡來的?基本上,只要是你想得到的人為震動,對地震儀來說,都有可能是「噪音」!

當地震儀靠近工地或馬路時,一輛輛大卡車框啷、框啷地經過測站,是噪音;大稻埕夏日節放起絢麗的煙火,隨著煙花在天空上一個一個的炸開,也是噪音;台北捷運行經軌道的摩擦與震動,那也是噪音;有好奇的路人經過測站,推了推踢了下測站時,那也是不可忽視的噪音。

因此,井下地震儀(Borehole seismometer)的主要目的,就是盡量讓地震儀「遠離塵囂」,記錄到更清楚、雜訊更少的地震波!​無論是微震、強震,還是來自遠方的地震,井下地震儀都能提供遠比地表地震儀更高品質的訊號。

-----廣告,請繼續往下閱讀-----

地震中心於 2008 年展開建置井下地震儀觀測站的行動,根據不同測站底下的地質條件,​將井下地震儀放置在深達 30~500 公尺的乾井深處。​除了地震儀外,站房內也會備有資料收錄器、網路傳輸設備、不斷電設備與電池,讓測站可以儲存、傳送資料。

既然井下地震儀這麼強大,為什麼無法大規模建造測站呢?簡單來說,這一切可以歸咎於技術和成本問題。

安裝井下地震儀需要鑽井,然而鑽井的深度、難度均會提高時間、技術與金錢成本,因此,即使井下地震儀的訊號再好,若非有國家建設計畫的支援,也難以大量建置。

人口聚集,震災好嚴重?建立「客製化」的地震預警系統!

臺灣人口主要聚集於西半部,然而此區的震源深度較淺,再加上密集的人口與建築,容易造成相當重大的災害。

-----廣告,請繼續往下閱讀-----

許多都會區的建築老舊且密集,當屋齡超過 50 歲時,它很有可能是在沒有耐震規範的背景下建造而成的的,若是超過 25 年左右的房屋,也有可能不符合最新的耐震規範,並未具備現今標準下足夠的耐震能力。 

延伸閱讀:

在地震界有句名言「地震不會殺人,但建築物會」,因此,若建築物的結構不符合地震規範,地震發生時,在同一面積下越密集的老屋,有可能造成越多的傷亡。

因此,對於發生在都會區的直下型地震,預警時間的要求更高,需求也更迫切。

-----廣告,請繼續往下閱讀-----

地震中心著手於人口密集之都會區開發「客製化」的強震預警系統,目標針對都會區直下型淺層地震,可以在「震後 7 秒內」發布地震警報,將地震預警盲區縮小為 25 公里。

111 年起,地震中心已先後完成大臺北地區、桃園市客製化作業模組,並開始上線測試,當前正致力於臺南市的模組,未來的目標為高雄市與臺中市。

永不停歇的防災宣導行動、地震預警技術研發

地震預警系統僅能在地震來臨時警示民眾避難,無法主動保護民眾的生命安全,若人民沒有搭配正確的防震防災觀念,即使地震警報再快,也無法達到有效的防災效果。

因此除了不斷革新地震預警系統的技術,地震中心也積極投入於地震的宣導活動和教育管道,經營 Facebook 粉絲專頁「報地震 – 中央氣象署」、跨部會舉辦《地震島大冒險》特展、《震守家園 — 民生公共物聯網主題展》,讓民眾了解正確的避難行為與應變作為,充分發揮地震警報的效果。

-----廣告,請繼續往下閱讀-----

此外,雖然地震中心預計於 114 年將都會區的預警費時縮減為 7 秒,研發新技術的腳步不會停止;未來,他們將應用 AI 技術,持續強化地震預警系統的效能,降低地震對臺灣人民的威脅程度,保障你我生命財產安全。

文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
194 篇文章 ・ 298 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

1

2
0

文字

分享

1
2
0
你會想試試「VR 睡眠」嗎?直到睡著前都在虛擬實境之中——《元宇宙超圖解》
azothbooks_96
・2023/09/26 ・857字 ・閱讀時間約 1 分鐘

-----廣告,請繼續往下閱讀-----

「VR 睡眠」能讓你我感受到實體世界絕對無法實現的入眠體驗。

在元宇宙的世界裡,現在還興起了一種「VR 睡眠」的文化。

它並不是指玩家在遊戲過程中不小心打盹的「睡著」,而是置身在虛擬實境中,直接戴著VR眼鏡睡著。

這種直到睡著前都能置身同好社群,和同伴共度的體驗,很受好評,讓人直呼「簡直就像校外教學的晚上一樣」,引人入勝。

這種直到睡著前都能置身同好社群,和同伴共度的體驗。圖/azothbooks

還有,在現實世界裡,我們會和別人同床共枕;而在元宇宙裡還有更不一樣的體驗,就是可以在 VR 才能去得了的地方,例如南極的冰上、崖邊、太空、動物的背上等,一直待到睡著為止。

-----廣告,請繼續往下閱讀-----

這正是「方便好用」的虛擬實境才做得到的獨門絕活。

今後,為了讓這些體驗更普及,VR 眼鏡等裝置可望朝更輕巧、更安靜的方向進化。

另外,「VR 睡眠直播」活動也蔚為話題。據了解,這個活動是由當紅的虛擬替身,在虛擬實境上直播睡眠時的模樣。

它的目的,是為了向那些對 VR 還不太熟悉的使用者,介紹 VR 睡眠的概念。

-----廣告,請繼續往下閱讀-----

這場長達八小時以上的直播,共有逾百位使用者一路守著直播到天亮,收視總人數更達三千人之多。

簡直就像校外教學的晚上?

「VR 睡眠直播」可以去平常去不了的地方,例如南極的冰上、崖邊、太空、動物的背上等,一直待到睡著為止。圖/azothbooks

——本文摘自《元宇宙超圖解:從刀劍神域到寶可夢,一小時讀懂78個概念,掌握本世紀最大商機》,2023 年 9 月,漫遊者文化出版,未經同意請勿轉載。

所有討論 1
azothbooks_96
53 篇文章 ・ 21 位粉絲
漫遊也許有原因,卻沒有目的。 漫遊者的原因就是自由。文學、人文、藝術、商業、學習、生活雜學,以及問題解決的實用學,這些都是「漫遊者」的範疇,「漫遊者」希望在其中找到未來的閱讀形式,尋找新的面貌,為出版文化找尋新風景。

0

16
2

文字

分享

0
16
2
元宇宙的始祖:《刀劍神域》帶我們開始一連串的想像——《元宇宙超圖解》
azothbooks_96
・2023/09/25 ・741字 ・閱讀時間約 1 分鐘

-----廣告,請繼續往下閱讀-----

《刀劍神域》就是元宇宙的世界

這部動畫作品中,具體的描述了對元宇宙世界的想像。

二○一二年開播的電視動畫《刀劍神域》,是一部以「五感都沉浸在虛擬實境裡的遊戲」為背景,所描寫的作品。

作品裡的玩家並不是透過電腦或智慧型手機的螢幕來玩遊戲,而是要戴上一個覆蓋住整個頭部的頭戴式顯示器,躺在床上,把自己的五種感官系統完全交給遊戲,沉浸到虛擬實境裡。

而在遊戲當中,玩家可選擇自己喜歡的外型,自由移動。

你我在現實世界平常就會做的那些動作,包括走路、跑步和坐下等,都會直接在元宇宙裡重現。

-----廣告,請繼續往下閱讀-----

正當動畫主角等人完全進入虛擬實境的沉浸感之際,遊戲主宰者竟宣布,直到有人破關之前,所有人都無法離開這個虛擬實境。

作品內容就是描述虛擬實境中接連有新遊戲啟動,主角持續戰鬥,最後花了兩年才破關的故事。

儘管動畫的主角是因為發生意外,才被「關」在虛擬實境裡,但劇情中也描述到有些玩家本來就完全沉浸在這個元宇宙裡生活,可見這部動畫作品已經預見「有人選擇活在虛擬實境」的那一天,終將到來。

「完全潛行」到虛擬實境裡

這部動畫作品已經預見「有人選擇活在虛擬實境」的那一天,終將到來。圖/azothbooks

——本文摘自《元宇宙超圖解:從刀劍神域到寶可夢,一小時讀懂78個概念,掌握本世紀最大商機》,2023 年 9 月,漫遊者文化出版,未經同意請勿轉載。

-----廣告,請繼續往下閱讀-----
azothbooks_96
53 篇文章 ・ 21 位粉絲
漫遊也許有原因,卻沒有目的。 漫遊者的原因就是自由。文學、人文、藝術、商業、學習、生活雜學,以及問題解決的實用學,這些都是「漫遊者」的範疇,「漫遊者」希望在其中找到未來的閱讀形式,尋找新的面貌,為出版文化找尋新風景。

0

0
0

文字

分享

0
0
0
如何運用 VR、AR、AV 與動作擷取技術,讓想像擴增於實境與虛境的交界?
活躍星系核_96
・2018/02/13 ・4530字 ・閱讀時間約 9 分鐘 ・SR值 587 ・九年級

  • 作者/ 曾靖越
    臺北市立大學視覺藝術學系助理教授,熱愛閱讀、電影、跑步與科技藝術。每天不喝咖啡就無法將大腦開機,期許自己的文字能對社會產生些許功能性。

拜影像辨識技術的進步與硬體價格的下降,動作擷取技術不但成熟而且容易取得;像是由日本影片製作人淺井宣通(Nobumichi Asai)團隊,所開發的臉部投影特效影片「OMOTE」,以及 58 屆葛萊美獎(Grammy Awards)頒獎典禮中,女神卡卡在表演開頭的即時妝容特效,都是透過高速攝影機等設備,辨識臉部與追蹤動態,並將視覺效果即時投影到表演者頭部,進行容貌的改變[1]這樣的作品運用了動作捕捉技術、配合光雕投影(Projection Mapping)呈現形式,讓科技展演有了新的可能性。


ABC Breaking News | Latest News Videos

光學動作擷取技術:將現實世界納入虛擬世界

前面提到的這種動作擷取技術技術,在本質上就是「光學動作擷取技術」;所謂光學動作擷取技術,是先將要偵測的人或物體,配戴一種特殊的光球(稱為Marker 或 Optical),接著運用多臺高解析度攝影機,來記錄偵測對象運作的軌跡;這些高解析度攝影機的周邊會設置紅外線發射器,並投射出肉眼不可見、高頻的紅外線閃光。

前面提到的光球,由於會反射紅外線的光點,再透過多台高解析度攝影機接收後,經過對比的運算後,取得光球在實體空間當中的三維 X、Y、Z位移動作,便可進一步得到被偵測物的動態;而由於光點是被動反射光線,所以稱為又稱「被動式」光學動作擷取系統[2]。動作擷取技術在實務的使用上已有很長一段時間,舉凡電影、遊戲、表演藝術幾乎都能看見它的應用,就其根本而言,將實體世界的動態轉譯為虛擬世界的形態變化,是一種跨越了虛實的科技。下面影片是《魔戒三部曲》中扮演咕嚕的知名英國導演、演員 Andy Serkis,談談動作擷取在電影中的應用。

-----廣告,請繼續往下閱讀-----

擴增實境:「神奇寶貝」出現在現實當中

就跨越虛實的科技而言,這裡我們來談談時下熱門的「擴增實境」(Augmented Reality,AR)技術,所謂擴增實境,是一種將數位訊息或是電腦產生的資訊,即時覆蓋在真實空間當中的一種技術,一般而言,擴增實境可以擴增人的「五感」,但現今大多數的擴增實境技術僅用來強化視覺感受[3]。這裡提到的所謂「即時覆蓋資訊」的手法,可以是直接讓觀眾直接用身體感官感受的,也可以是間接透過裝置進行體驗的[4]。舉凡近兩年席捲全球的熱門遊戲 Pokémon GO(即便過去AR功能總是被玩家關掉),以及最新的 iOS 11 ARKit 技術應用,就是家喻戶曉擴增實境的典型運用。

若以 1994 年 Milgram 等人,所提出的現實-虛擬連續系統(Reality-Virtuality Continuum)[5]下圖),則可以更清楚地知道,擴增實境(AR)是較為傾向以「真實環境」做為呈現基底。這與時下熱門的「虛擬實境」(Virtual Reality, VR)不同,擴增實境技術主要試圖將虛擬物件嵌入現實當中,因此「真實空間」在擴增實境當中被視為一項非常重要的元素[6]。總體而言,擴增實境可視為介於全真實環境與全虛擬環境的一種「混合物」或是「中間地帶」[7]。這是當代社會一個非常奇特的現象,透過數位科技,我們把想像與真實介接在一起,並且穿梭往來兩地進行工作、娛樂與生活。

現實-虛擬的連續系統,Milgram, P., et al. (1995). Augmented reality: a class of displays on the reality-virtuality continuum.  圖/作者轉載自 Augmented or Virtual: How Do You Like Your Reality?(By MJ Anderson)

透過「擴增」貼近舞蹈的核心

還記得多年以前,在松菸有一個很特別的展覽:「與佛塞同步─威廉‧佛塞新媒體藝術系列展覽」,這個展覽,運用資訊視覺化的方式,讓我們得以用更貼近編舞家的想法,去看透、欣賞一件舞作。一般近年來我們看到的表演藝術,若要使用互動科技於其中,大多是運用各種電子感測器,即時偵測表演者的位置與動作,並讓電腦或機械設備(如空拍機、機械手臂),反饋出對應的視覺影像或是物件動態,與表演者一同在舞台上呈現。但「與佛塞同步」這個展覽,卻不是即時的,是一種「好好紀錄當下的軌跡,儲存、分析後,再用不同手法進行再現」的表演藝術。

-----廣告,請繼續往下閱讀-----

Synchronous Objects Project, The Ohio State University and The Forsythe Company 圖/作者轉載自 2011 第十三屆台北藝術節官網

與佛塞同步」整個展覽的內容,基本上都是來自於名為「Synchronous Objects」的計畫,該計畫由舞蹈家威廉 ‧ 佛塞(William Forsythe),與美國俄亥州立大學共同合作,目的在於以佛塞 2000 年舞作《重製一道平面》(One Flat Thing, reproduced)為基礎,藉由科技進行不同型態的紀錄與分析,讓舞蹈以不同的方式再現。進入「Synchronous Objects」官網,可以在副標題發現計畫的核心概念:「透過將舞蹈轉化為資料,再轉為物件,讓編舞結構進行視覺再現」(visualizing choreographic structure from dance to data to objects)官網當中收錄很多整體製作的細節、參與學生的構想等等文字、靜態、動態影像之資料,簡直就是一座寶庫,充分地呼應了展覽的主訴求,也讓觀眾用不同的角度去瞭解所謂舞蹈、編舞,其底層所呈現的訊息。

若不以即時互動的角度進行檢視,大致上「Synchronous Objects」計畫某種程度上也運用了科技,去擴增了原始舞蹈的實境;而透過這種「擴增」,作品則提供了一種新的、較為客觀方式來看待「編舞」,讓觀眾可以直接感受到編舞家的感受,而不只是透過專家、或舞評家的看法[8]

「混合實境」科技表演,捕捉現場混合虛擬

談到科技表演,最近有一個很有趣的作品:《CyberCube》,這是以黑川互動媒體藝術(新媒體藝術家胡縉祥)為主導,整合多個藝術創作團隊所進行的新媒體展演。《CyberCube》讓表演者進行立方體表演,並透過即時追蹤的技術(運用本文最前面的動作擷取技術),配合 LED光條、電腦燈、以及網路直播(呈現即時特效),形塑了一個「混合實境」(Mixed Reality)跨界創新創作展現。《CyberCube》靈感來自於科幻小說作家威廉 ‧ 吉布森(William Gibson)的作品《神經漫遊者》(Neuromancer),故事描述由於科技的快速發展,人類穿梭在真實與虛擬兩個的世界中的痛苦與掙扎[9]

-----廣告,請繼續往下閱讀-----

《CyberCube》中的 LED 立方體象徵網路世界,表演者操控著立方體直到無法自拔,暗喻人在虛實空間中,存在、逃離、融合、穿梭等不同的面向。表演空間當中,設置了數台高速攝影機,這些攝影機,所偵測到的表演者動態,將即時運算後,影響立方體的 LED 光條變化,與現場的電腦燈投射效果;此外,攝影機所捕捉的實景與 3D 物件結合後,透過網路直播的方式,讓線上觀眾實際看到虛擬與現實交融的視覺效果,靈活地將整個表演場域,轉化為被重新定義的有機生命體,更是此表演的一大亮點[10]

《CyberCube》新媒體展演 圖/作者轉載自 PeppeCorns 黑川互動媒體藝術臉書

低成本強化情境:快來動手做吧!

本文最末,再來談一下另一個感覺上不太一樣,但我個人認為本質雷同的趣味應用:Nintendo Labo,這是任天堂公司於 2018/1/18 日,發表了一個針對 Nintendo Switch 主機所開發的新玩法。透過任天堂所釋出的影片可以知道,這些新的遊戲包含紙板、繩子、橡皮筋等動手做的材料,讓玩家自行組合諸如:釣竿、遙控器、鋼琴、設備背包、踏板等物件。

遊戲無非就是要讓玩家沈浸到一種情境的體驗當中,任天堂採取的這個策略,是材質上相對較為便宜的手段(連橡皮筋都跟官方買應該也很貴),去強化一種體驗的情境,讓玩家無論從動手做,一直到上手玩,都可以徹底擴大、加深感官的體驗,讓遊玩的時候,更能投入的遊戲所建構的虛擬情境當中。

-----廣告,請繼續往下閱讀-----

若回到本文前面所提到的,現實─虛擬連續系統(Reality-Virtuality Continuum),Nintendo Labo 應可以被視為「擴增虛境」(Augmented Virtuality,簡稱 AV),這是將真實世界的訊息,加入到虛擬環境裡;Nintendo Labo透過橡皮筋、紙板等物件,讓玩家能夠保持遊戲應有的動作與姿勢,進而將現實中才有的重力、肢體運作軌跡,加入到遊戲中,用來調整、控制遊戲的運作[11]

Nintendo Labo Robot Kit 圖/作者轉載自任天堂官網

有一篇很不錯的文章〈擴增不到的實境,是沒有陰陽眼的焦慮:關於Pokémon Go的一點人類學觀察與解讀(二)〉[12]曾提過,關於「虛擬實境」(VR)與「擴增實境」(AR)的區別可以歸納成以下的公式:

VR虛擬實境 vs. AR擴增實境 = 觀落陰 vs. 陰陽眼

沒有錯!這種比喻真是恰到好處,當數位裝置已成了現代人的新感官之後,虛擬世界所發生的事情,只要你透過螢幕這道跨越虛實的窗,就能看見。

-----廣告,請繼續往下閱讀-----

人在虛境與實境之間穿梭往來的生活型態,其實很早就有這樣的概念,但直至現今,數位科技運算的強大能力,才讓許多不可思議的應用不斷發生。數位化強化了影像的製作與傳播能力,並降低製作門檻與成本,再透過行動裝置的普及,大小螢幕所呈現的影像,更是充斥在生活各種細節當中,不斷地引導觀眾沉浸到內容開發者其所安排的幻覺當中,讓人人都可以在虛擬與真實的世界來去自如。

注解:

本文轉自 nmlab《想像擴增於實境與虛境的交界

文章難易度
活躍星系核_96
752 篇文章 ・ 120 位粉絲
活躍星系核(active galactic nucleus, AGN)是一類中央核區活動性很強的河外星系。這些星系比普通星系活躍,在從無線電波到伽瑪射線的全波段裡都發出很強的電磁輻射。 本帳號發表來自各方的投稿。附有資料出處的科學好文,都歡迎你來投稿喔。 Email: contact@pansci.asia