0

2
0

文字

分享

0
2
0

鑑識故事系列:用立體動畫呈現分屍遺骸

胡中行_96
・2022/09/19 ・1956字 ・閱讀時間約 4 分鐘

一名英國女子失蹤了,警方展開搜索。事件發生前,曾與該女子一同出現的男人,不僅在她失蹤隔天購買地毯,新地毯的下面還殘留血跡。經 DNA 鑑定,是她的血液無誤。於是這個男人和他的夥伴,被以綁架及謀殺的罪嫌逮捕。[1]

接著,警方從兩個相互間隔 25 公尺的棄屍處,找到用黑色塑膠袋包裹的人類遺骸。屍體看起來曾遭火燒,而且可能被動物碰過。當地的醫院初步驗屍,發現缺少胸部、左腿與左腳掌。所幸這些部位於二週後,在上述棄屍地點附近被尋獲。警方將所有屍塊蒐集起來,委託給英國 Warwick 大學的數位掃描與 3D 列印鑑識中心(Forensic Centre for Digital Scanning and 3D Printing),希望他們深入研究。[1]

碎屍萬段的遺骸,該如何拼湊回來?圖/Viktor Forgacs on Unsplash

女子的屍體被兇手碎屍萬段,其中 12 塊帶有骨頭,警方與醫院把後者裝進密封的塑膠盒中,送去大學的鑑識中心。鑑識團隊決定以顯微電腦斷層掃描(micro-computed tomography,簡稱 micro-CT),錄存其未受侵入性檢驗的原貌。[1]一般電腦斷層掃描(簡稱 CT是用不同角度的平面X光攝影,來產出立體的影像;而 micro-CT,則是特別設計來研究直徑 1 mm 到 20 cm 物件的高畫質 CT。[2]

辨識各屍塊的骨骼部位,並逐一編號。圖/參考資料1,Figure 1(CC BY 4.0)

鑑識團隊辨別各屍塊的骨骼部位,例如:顱骨或是頸椎第幾節等;將它們逐一編號;記錄掃描所使用的機器型號、影像處理軟體以及立體像素;並以視覺呈現的方式,描述屍體創傷的位置、尺寸和類型,好比:刮痕或切割等。[1]特別是被害人骨骸的幾個支解點附近,共有 14 處被反覆割傷的痕跡,[1]正是兇手分屍決心的展現。[3]這些都被納入鑑識報告。[1]

標示出創傷的位置。圖/參考資料1,Figure 3(CC BY 4.0)
紅色箭頭處,為反覆切割的痕跡。圖/參考資料1,Figure 2(CC BY 4.0)

Micro-CT 有許多優點:

-----廣告,請繼續往下閱讀-----
  1. 在數位檢驗的過程中,能有效率地排除與謀殺、分屍等無關的傷害。[1]比方說,如果有個人在被殺害前,曾經自己意外摔斷腿,骨折的舊傷不應被判讀為兇案證據。
  2. 以 X 光為基礎,包含 micro-CT 在內的技術,能夠分別物質密度。因此,可以用來過濾骨頭上軟組織的影像。檢驗人員沒必要花數週,用物理浸漬法(physical maceration),[1]戴乳膠手套,拿鑷子、手術刀和絲瓜布等工具,剝除骨頭上的組織,並用水清洗。[4]這回團隊僅佔用遺體4天,然後就把它送去殯儀館,明顯減少家屬等候領屍的時間。[1]此外,物理浸漬法有不小心破壞證據的風險,[4]能避免絕對是好事。
  3. 雖然此案屍體的身份是經由 DNA 鑑定,但將來若有其他屍體的 DNA 已遭破壞,依然能經由 micro-CT 的影像比對,拼湊形狀吻合的遺骸碎片。[1]
  4. 在家屬同意下,可將未經侵入性檢驗的屍骨影像完整保存,集中建立資料庫,以便未來研究時搜尋。[1]

不過,沒有一種科技是完美的,micro-CT 仍有其限制:

  1. 從掃描、分析到製作法庭上要用的簡報,團隊還是耗費了大約 10 個小時,而且要訓練過的專業人員才有辦法操作。[1]
  2. 龐大的數據、專業的軟體,以及安全的資料儲存,都得要高階的電腦設備配合。這次的案子之所以有此機會,是基於警方和學術圈緊密的合作關係。換句話說,其他行政區的警政單位,未必能複製此經驗。[1]
在法庭上,以動畫呈現被害人顱骨的各個角度。圖/參考資料1,Figure 5(CC BY 4.0)

這份報告若僅是警方辦案的根據也罷,然而要定二名兇嫌的罪,還必須讓沒有鑑識背景的陪審團理解證據。鑑識團隊為此準備了一組能從各個角度觀看創傷,而且不被其他身體部位遮蔽的 micro-CT 動畫,安插在投影片裡,方便檢方在法庭上,搭配鑑識病理學家的證詞做簡報。相較於直接展示原始的碎屍照片,這種方法既可減輕陪審團的心理負擔,又不至於犧牲關鍵資訊。[1]

最後,在檢警與鑑識團隊合作無間的努力下,二名加害人被以謀殺罪名,判處終身監禁。[1]

  

-----廣告,請繼續往下閱讀-----

參考資料

  1. MSc KA, Norman DG, Baier W, et al. (2022) ‘Advantages of micro-CT in the case of a complex dismemberment’. Journal of Forensic Sciences, 67, 3, pp. 1258-1266.
  2. Jay Black. ‘Micro-Computed Tomography’. University of Melbourne. (Accessed on 13 SEP 2022)
  3. Symes SA, Chapman EN, Rainwater CW, et al. (DEC 2010) ‘Knife and Saw Toolmark Analysis in Bone: A Manual Designed for the Examination of Criminal Mutilation and Dismemberment’. The U.S. Department of Justice.
  4. Couse T & Connor M. (2015) ‘A Comparison of Maceration Techniques for Use in Forensic Skeletal Preparations’. Journal of Forensic Investigation, 3 (1): 6.
-----廣告,請繼續往下閱讀-----
文章難易度
胡中行_96
169 篇文章 ・ 67 位粉絲
曾任澳洲臨床試驗研究護理師,以及臺、澳劇場工作者。 西澳大學護理碩士、國立台北藝術大學戲劇學士(主修編劇)。邀稿請洽臉書「荒誕遊牧」,謝謝。

0

2
1

文字

分享

0
2
1
ECU: 汽車大腦的演化與挑戰
鳥苷三磷酸 (PanSci Promo)_96
・2025/07/02 ・3793字 ・閱讀時間約 7 分鐘

-----廣告,請繼續往下閱讀-----

本文與 威力暘電子 合作,泛科學企劃執行。

想像一下,當你每天啟動汽車時,啟動的不再只是一台車,而是一百台電腦同步運作。但如果這些「電腦」突然集體當機,後果會有多嚴重?方向盤可能瞬間失靈,安全氣囊無法啟動,整台車就像失控的高科技廢鐵。這樣的「系統崩潰」風險並非誇張劇情,而是真實存在於你我日常的駕駛過程中。

今天,我們將深入探討汽車電子系統「逆天改運」的科學奧秘。究竟,汽車的「大腦」—電子控制單元(ECU),是如何從單一功能,暴增至上百個獨立系統?而全球頂尖的工程師們,又為何正傾盡全力,試圖將這些複雜的系統「砍掉重練」、整合優化?

第一顆「汽車大腦」的誕生

時間回到 1980 年代,當時的汽車工程師們面臨一項重要任務:如何把汽油引擎的每一滴燃油都壓榨出最大動力?「省油即省錢」是放諸四海皆準的道理。他們發現,關鍵其實潛藏在一個微小到幾乎難以察覺的瞬間:火星塞的點火時機,也就是「點火正時」。

如果能把點火的精準度控制在「兩毫秒」以內,這大約是你眨眼時間的百分之一到千分之一!引擎效率就能提升整整一成!這不僅意味著車子開起來更順暢,還能直接省下一成的油耗。那麼,要如何跨過這道門檻?答案就是:「電腦」的加入!

-----廣告,請繼續往下閱讀-----

工程師們引入了「微控制器」(Microcontroller),你可以把它想像成一顆專注於特定任務的迷你電腦晶片。它能即時讀取引擎轉速、進氣壓力、油門深度、甚至異常爆震等各種感測器的訊號。透過內建的演算法,在千分之一秒、甚至微秒等級的時間內,精準計算出最佳的點火角度,並立刻執行。

從此,引擎的性能表現大躍進,油耗也更漂亮。這正是汽車電子控制單元(ECU)的始祖—專門負責點火的「引擎控制單元」(Engine Control Unit)。

汽車電子控制單元的始祖—專門負責點火的「引擎控制單元」(Engine Control Unit)/ 圖片來源:shutterstock

ECU 的失控暴增與甜蜜的負荷

第一顆 ECU 的成功,在 1980 年代後期點燃了工程師們的想像:「這 ECU 這麼好用,其他地方是不是也能用?」於是,ECU 的應用範圍不再僅限於點火,燃油噴射量、怠速穩定性、變速箱換檔平順度、ABS 防鎖死煞車,甚至安全氣囊的引爆時機……各種功能都交給專屬的 ECU 負責 。

然而,問題來了:這麼多「小電腦」,它們之間該如何有效溝通?

-----廣告,請繼續往下閱讀-----

為了解決這個問題,1986 年,德國的博世(Bosch)公司推出了一項劃時代的發明:控制器區域網路(CAN Bus)。你可以將它想像成一條專為 ECU 打造的「神經網路」。各個 ECU 只需連接到這條共用的線路上,就能將訊息「廣播」給其他單元。

更重要的是,CAN Bus 還具備「優先通行」機制。例如,煞車指令或安全氣囊引爆訊號這類攸關人命的重要訊息,絕對能搶先通過,避免因資訊堵塞而延誤。儘管 CAN Bus 解決了 ECU 之間的溝通問題,但每顆 ECU 依然需要獨立的電源線、接地線,並連接各種感測器和致動器。結果就是,一輛汽車的電線總長度可能達到 2 到 4 公里,總重量更高達 50 到 60 公斤,等同於憑空多載了一位乘客的重量。

另一方面,大量的 ECU 與錯綜複雜的線路,也讓「電子故障」開始頻繁登上汽車召回原因的榜首。更別提這些密密麻麻的線束,簡直是設計師和維修技師的惡夢。要檢修這些電子故障,無疑讓人一個頭兩個大。

大量的 ECU 與錯綜複雜的線路,也讓「電子故障」開始頻繁登上汽車召回原因的榜首。/圖片來源:shutterstock

汽車電子革命:從「百腦亂舞」到集中治理

到了2010年代,汽車電子架構迎來一場大改革,「分區架構(Zonal Architecture)」搭配「中央高效能運算(HPC)」逐漸成為主流。簡單來說,這就像在車內建立「地方政府+中央政府」的管理系統。

-----廣告,請繼續往下閱讀-----

可以想像,整輛車被劃分為幾個大型區域,像是車頭、車尾、車身兩側與駕駛艙,就像數個「大都會」。每個區域控制單元(ZCU)就像「市政府」,負責收集該區所有的感測器訊號、初步處理與整合,並直接驅動該區的馬達、燈光等致動器。區域先自理,就不必大小事都等中央拍板。

而「中央政府」則由車用高效能運算平台(HPC)擔任,統籌負責更複雜的運算任務,例如先進駕駛輔助系統(ADAS)所需的環境感知、物體辨識,或是車載娛樂系統、導航功能,甚至是未來自動駕駛的決策,通通交由車輛正中央的這顆「超級大腦」執行。

乘著這波汽車電子架構的轉型浪潮中, 2008 年成立的台灣本土企業威力暘電子,便精準地切入了這個趨勢,致力於開發整合 ECU 與區域控制器(Domain Controller)功能的模組化平台。他們專精於開發電子排檔、多功能方向盤等各式汽車電子控制模組。為了確保各部件之間的溝通順暢,威力暘提供的解決方案,就像是將好幾個「分區管理員」的職責,甚至一部分「超級大腦」的功能,都整合到一個更強大的硬體平台上。

這些模組不僅擁有強大的晶片運算能力,可同時支援 ADAS 與車載娛樂,還能兼容多種通訊協定,大幅簡化車內網路架構。如此一來,車廠在追求輕量化和高效率的同時,也能顧及穩定性與安全性。

-----廣告,請繼續往下閱讀-----
2008 年威力暘電子致力於開發整合 ECU 與區域控制器(Domain Controller)功能的模組化平台 /圖片來源:shutterstock

萬無一失的「汽車大腦」:威力暘的四大策略

然而,「做出來」與「做好」之間,還是有差別。要如何確保這顆集結所有功能的「汽車大腦」不出錯?具體來說,威力暘電子憑藉以下四大策略,築起其產品的可靠性與安全性:

  1. AUTOSAR : 導入開放且標準化的汽車軟體架構 AUTOSAR。分為應用層、運行環境層(RTE)和基礎軟體層(BSW)。就像在玩「樂高積木」,ECU 開發者能靈活組合模組,專注在核心功能開發,從根本上提升軟體的穩定性和可靠性。
  2. V-Model 開發流程:這是一種強調嚴謹、能在早期發現錯誤的軟體開發流程。就像打勾 V 字形般,左側從上而下逐步執行,右側則由下而上層層檢驗,確保每個階段的安全要求都確實落實。
  3. 基於模型的設計 MBD(Model-Based Design) 威力暘的工程師們會利用 MatLab®/Simulink® 等工具,把整個 ECU 要控制的系統(如煞車),用數學模型搭建起來,然後在虛擬環境中進行大量的模擬和測試。這等於在實體 ECU 誕生前,就能在「數位雙生」世界中反覆演練、預先排除設計缺陷,,並驗證安全機制是否有效。
  4. Automotive SPICE (ASPICE) : ASPICE 是國際公認的汽車軟體「品質管理系統」,它不直接評估最終 ECU 產品本身的安全性,而是深入檢視團隊在軟體開發的「整個過程」,也就是「方法論」和「管理紀律」是否夠成熟、夠系統化,並只根據數據來評估品質。

既然 ECU 掌管了整輛車的運作,其能否正常運作,自然被視為最優先項目。為此,威力暘嚴格遵循汽車業中一本堪稱「安全聖經」的國際標準:ISO 26262。這套國際標準可視為一本針對汽車電子電氣系統(特別是 ECU)的「超嚴格品管手冊」和「開發流程指南」,從概念、設計、測試到生產和報廢,都詳細規範了每個安全要求和驗證方法,唯一目標就是把任何潛在風險降到最低

有了上述這四項策略,威力暘確保其產品從設計、生產到交付都符合嚴苛的安全標準,才能通過 ISO 26262 的嚴格檢驗。

然而,ECU 的演進並未就此停下腳步。當ECU 的數量開始精簡,「大腦」變得更集中、更強大後,汽車產業又迎來了新一波革命:「軟體定義汽車」(Software-Defined Vehicle, SDV)。

-----廣告,請繼續往下閱讀-----

軟體定義汽車 SDV:你的愛車也能「升級」!

未來的汽車,會越來越像你手中的智慧型手機。過去,車輛功能在出廠時幾乎就「定終身」,想升級?多半只能換車。但在軟體定義汽車(SDV)時代,汽車將搖身一變成為具備強大運算能力與高速網路連線的「行動伺服器」,能夠「二次覺醒」、不斷升級。透過 OTA(Over-the-Air)技術,車廠能像推送 App 更新一樣,遠端傳送新功能、性能優化或安全修補包到你的車上。

不過,這種美好願景也將帶來全新的挑戰:資安風險。當汽車連上網路,就等於向駭客敞開潛在的攻擊入口。如果車上的 ECU 或雲端伺服器被駭,輕則個資外洩,重則車輛被遠端鎖定或惡意操控。為了打造安全的 SDV,業界必須遵循像 ISO 21434 這樣的車用資安標準。

威力暘電子運用前面提到的四大核心策略,確保自家產品能符合從 ISO 26262 到 ISO 21434 的國際認證。從品質管理、軟體開發流程,到安全認證,這些努力,讓威力暘的模組擁有最高的網路與功能安全。他們的產品不僅展現「台灣智造」的彈性與創新,也擁有與國際大廠比肩的「車規級可靠度」。憑藉這些實力,威力暘已成功打進日本 YAMAHA、Toyota,以及歐美 ZF、Autoliv 等全球一線供應鏈,更成為 DENSO 在台灣少數核准的控制模組夥伴,以商用車熱系統專案成功打入日系核心供應鏈,並自 2025 年起與 DENSO 共同展開平台化量產,驗證其流程與品質。

毫無疑問,未來車輛將有更多運作交由電腦與 AI 判斷,交由電腦判斷,比交由人類駕駛還要安全的那一天,離我們不遠了。而人類的角色,將從操作者轉為監督者,負責在故障或斷網時擔任最後的保險。透過科技讓車子更聰明、更安全,人類甘願當一個「最弱兵器」,其實也不錯!

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

0

2
0

文字

分享

0
2
0
用顯微鏡查「秋毫」 找出破案關鍵
顯微觀點_96
・2024/10/08 ・1865字 ・閱讀時間約 3 分鐘

本文轉載自顯微觀點

圖/顯微觀點

用於鑑識科學的比較顯微鏡受到 1929 年的情人節黑幫大屠殺事件影響,有了進一步的發展。但是,除了比較顯微鏡外,還有哪些顯微鏡應用在鑑識科學呢?這篇文章帶你來一探究竟。

通常物證有許多種類和樣式,因此調查中會使用多種類型的顯微鏡和鑑識工具。現場通常使用的簡單放大鏡或低倍率(7-50X)立體顯微鏡,可幫助檢測和收集微量證據。另外,也會針對犯罪現場進行拍照,建立和犯罪行為之間的關聯。

彈道、毛髮、纖維和工具痕跡比較

還記得當時卡爾文‧戈達德(Calvin Goddard)協助調查情人節黑幫大屠殺案件,為了釐清涉案槍枝來源,而開發了識別子彈和彈殼的比較顯微鏡,最後確認槍枝並非來自警方。

-----廣告,請繼續往下閱讀-----

比較顯微鏡是一種可並排分析樣本的設備,由透過光橋連接的兩個顯微鏡組成。樣本被放置在兩個載物台上,並使用連接兩個觀察頭光橋中的內置分割畫面同時觀察、比較可疑和已知的樣本。

用於比較彈道的比較顯微鏡具有長工作距離光學元件,還包括子彈座、鹵素或 LED 照明選項、偏光濾光片、放大倍率轉換器以及用於調整放大倍率和工作距離的輔助鏡頭。由於每支槍管內表面的製造痕跡都不相同,留在彈頭的細微特徵也不會一致。

加上射擊時,從裝填子彈到退出彈殼,彈殼在各步驟因為和槍枝組件的相互作用而留下獨特的痕跡,例如:撞針撞擊底火的撞針痕、火藥爆炸,彈殼向後撞擊槍機面所形成的彈底紋、只有具抓子鈎槍枝才會留下的抓子痕等。因此透過比較顯微鏡的比對鑑定可以用來確認涉案槍枝。

除了彈道比對外,比較顯微鏡還可以透過並排比較來確認簽名真偽,或是在確定歷史日期時使用。

-----廣告,請繼續往下閱讀-----

凡「做過」必留下痕跡

根據法國法醫學家羅卡(Edmond Locard)提出的羅卡定律(Locard exchange principle, 又稱羅卡交換定律):「凡兩個物體接觸,必會產生轉移現象」,也就是犯罪(嫌疑)者必然會帶走一些東西、也會留下一些東西,現場必會留下微量跡證。

因此,犯罪現場除了槍枝、子彈、彈頭和彈殼等物證外,槍擊殘留物(gunshot residues,GSR)或微量跡證(trace evidence)也是破解案件的關鍵。GSR是由槍擊後槍口排出的所有顆粒組成,主要包括炸藥底火、推進劑(火藥)、穩定劑和其他添加劑的燃燒或未燃燒完的顆粒。

GSR 顆粒最常見的特徵是其形狀和化學成分,華萊士(J.S. Wallace)和麥奎蘭(J. McQuillan)發現,所有檢測到的顆粒尺寸均在1微米到12微米之間,呈球形和不規則狀,主要成分為鉛、銻和鋇,可用掃描電子顯微鏡(SEM)配備能量色散X射線光譜偵測器加以檢測鑑定。

GSR通常是從嫌疑槍手的手上或其他物體上收集到,如果嫌疑者手上存在特徵性 GSR,通常會推測此人可能是開槍射擊者、開槍時靠近槍支,或處理被殘留物污染的槍枝或其他物體。

-----廣告,請繼續往下閱讀-----
J.S. Wallace和J. McQuillan使用SEM搭配能量色散X射線光譜偵測器比較K58和Gevelot手槍的GSR。
J.S. Wallace 和 J. McQuillan 使用 SEM 搭配能量色散 X 射線光譜偵測器比較 K58 和 Gevelot 手槍的 GSR。圖/顯微觀點

而在暴力犯罪中,體液是常見的證據。雖然現今常用 DNA分析,但顯微鏡仍發揮其作用。尤其位相差顯微鏡,可將樣品所造成的細微光程差轉變成明顯的光強度對比,能清楚觀察到在明野下透明的樣品,因此常用於自強姦受害者收集的陰道拭子中尋找精子。

另外,土壤也是調查犯罪的重要關鍵。偏光顯微鏡可對土壤顆粒的顏色、形狀和大小,以及當中的礦物質進行分類和分析。因此嫌疑犯鞋子上、屍體運送到埋葬地點的車輛外側或內部的土壤證據,都可能對調查起很大的作用。

土壤鑑測也很重要
土壤鑑測也很重要。圖/Adobe Stock

參考資料:

  • Bullets for my Valentine
  • Lee, H. C. (1998). Applying Microscopy in Forensic Science. Microscopy and Microanalysis4(S2), 490–491
  • Wallace, J.S., & McQuillan, J. (1984). Discharge Residues from Cartridge-operated Industrial Tools. Journal of The Forensic Science Society, 24, 495-508.
  • 孟憲輝(2015)。物證鑑識在槍擊現場偵查上的應用。刑事政策與犯罪研究論文集,18,313-340。
  • Gunshot Residue (GSR)

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

0

3
0

文字

分享

0
3
0
OpenAI 新突破!為什麼 Sora 可以產出這麼流暢的動畫?你不可錯過的技術文件大解密!
泛科學院_96
・2024/02/26 ・2968字 ・閱讀時間約 6 分鐘

什麼?不需要拍攝團隊與剪輯師,一句話就可以生成短片?!

OpenAI 近來發布的短影片生成器——Sora,能依據各種「咒語」生成難分真偽的流暢影片。

是什麼技術讓它如此強大?讓我們來一探究竟吧!

你被 Sora 了嗎?這幾天 Sora 佔據了各大版面,大家都在說 OpenAI 放大絕,不止 YouTuber,連好萊塢都要崩潰啊啊啊!

但真有這麼神嗎?我認真看了下 Sora 的官方說明以及參考資料,發現這東西,還真的挺神的!這東西根本不是 AI 取代人或單一產業,而是 AI 變成人,根本是通用型人工智慧 AGI 發展的里程碑啊!

別怕,要讓 Sora 為你所用,就先來搞懂到底是什麼神奇的訓練方法讓 Sora 變得那麼神,這就要從官網說明中唯一的斜體字——diffusion transformer 說起了。

這集我們要來回答三個問題,第一,Sora 跟過去我們產圖的 Midjourney、Dall-E,有什麼不同?第二,Diffusion transformer 是啥?第三,為什麼 Diffusion transformer 可以做出這麼絲滑的動畫?

-----廣告,請繼續往下閱讀-----

最後,我想說說我的感想,為什麼我會覺得 Sora 很神,不只是取代坐在我旁邊的剪接師,而是 AI 變人的里程碑。

我們已經很習慣用 Midjourney、Dall-E 這些 Diffusion 模型產圖了,從 logo 到寫真集都能代勞,他的原理我們在泛科學的這裡,有深入的解說,簡單來說就像是逐格放大後,補上圖面細節的過程。不過如果你要讓 Diffusion 產影片,那後果往往是慘不忍睹,就像這個威爾史密斯吃麵的影片,每一格影格的連續性不見得相符,看起來就超級惡趣味。

要影格連續性看來合理……咦?像是 GPT-4 這種 tranformer 模型,不是就很擅長文字接龍,找關聯性嗎?要是讓 transformer 模型來監督 Diffusion 做影片,撒尿蝦加上牛丸,一切不就迎刃而解了嗎?

沒錯,OpenAI 也是這樣想的,因此才把 Sora 模型稱為「Diffusion transformer」,還在網站上用斜體字特別標示起來。

-----廣告,請繼續往下閱讀-----
圖/OpenAI

但說是這樣說啦,但 transformer 就只會讀文本,做文字接龍,看不懂影片啊,看不懂是要怎麼給建議?於是,一個能讓 transformer 看懂圖片的方式——patch 就誕生啦!

ChatGPT 理解內容的最小單位是 token,token 類似單詞的文字語意,ChatGPT 用 token 玩文字接龍,產生有連續性且有意義句子和文章。

那 Patch 呢?其實就是圖片版的 token,讓 ChatGPT 可以用圖片玩接龍,玩出有連貫性的圖片。

Sora 官方提供的訓練說明圖上,最後所形成的那些方塊就是 patch,這些 patch 是包含時間在內的 4D 立體拼圖,可以針對畫面與時間的連續性進行計算。

-----廣告,請繼續往下閱讀-----
圖/OpenAI

那這個 patch 要怎麼做呢?以 Sora 提供的參考文獻 15 來說明會比較容易懂,patch 是將影像切成一樣等大的區塊後,進行編碼、壓縮,產生類似 ChatGPT 能分析的文字語意 token。

有了這些 patch 後,Transformer 就可以計算 patch 之間的關聯性形成序列,例如論文中被分割在中上與右上的兩塊藍天,就會被分類在天空,之後算圖的時候,就會知道這兩塊 patch 是一組的,必須一起算才行。

也就是說,畫面上的這塊天空已經被鎖定,必須一起動。

雖然這篇論文只提圖片,但影片的處理只要再加上 patch 間的先後順序,這樣就能讓 transformer 理解隨時間改變的演化。

-----廣告,請繼續往下閱讀-----

同樣是上面被鎖定的天空,多了先後順序,就相當於是增加了前一個影格與後一個影格限制條件,讓這塊天空在畫面中移動時,被限縮在一定範圍內,運動軌跡看起來更加合理。

而他的成果,就是在 Sora 官網上看到的驚人影片,那種絲滑的高畫質、毫無遲滯且高度合理、具有空間與時間一致性的動作與運鏡,甚至可以輕易合成跟分割影片。

不過啊,能把 Sora 模型訓練到這個程度,依舊是符合 OpenAI 大力出奇跡的硬道理,肯定是用了非常驚人的訓練量,要是我是 Runway 或 Pika 這兩家小公司的人,現在應該還在咬著牙流著血淚吧。別哭,我相信很多人還是想要看威爾史密斯繼續吃義大利麵的。

在訓練過程中,Sora 從提取影像特徵,到形成有意義的 patch,到最後串聯成序列,如果你接觸過認知心理學,你會發現這其過程就跟認知心理學描述人類處理訊息的過程如出一轍。都是擷取特徵、幫特徵編碼形成意義、最後組合長期記憶形成序列,可以說 Sora 已經接近複製人類認知過程的程度。

-----廣告,請繼續往下閱讀-----

這邊是我的推測,影片中那些逼真的物理效果,不是有特定的物理模型或遊戲引擎在輔助,而是在 patch 的訓練與序列推理中,就讓 Sora 理解到要讓物體這樣動,看起來才會是真實的,這跟 GPT-4 並不需要文法引擎是一樣的,只要玩文字接龍,就能生成流暢又有邏輯的文字跟代碼。但這也是為什麼,GPT 依舊很會胡說八道,產生幻覺。如果不是這樣,我很難想像 Sora 會算出這種影片。

Sora 能理解並產生人類眼睛能接收的視覺影片,同樣的技術若能做出聽覺、觸覺等其他人類感官,這樣我們被 AI 豢養的時刻是不是就越來越近了呢?

後 Sora 時代到底會發生什麼事,老實講我不知道,上面提到的 diffusion transformer 或 patch,都是近一年,甚至是幾個月前才有研究成果的東西。

臉書母公司 Meta 的首席人工智慧科學家 Yann Lecun 也在他自己的臉書公開抨擊 Sora 這種基於像素預測的技術註定失敗,但這篇感覺比較像是對自己的老闆 Zuckerberg 喊話:「欸這沒戲,不要叫我學 Sora,拿寶貴的運算資源去搞你的元宇宙。」是說今年初就有新聞說祖老闆 2024 年預計買超過 35 萬顆 H100 處理器,這明顯就是要搞一波大的吧,這就是我想要的血流成河。

-----廣告,請繼續往下閱讀-----

而且,從去年 ChatGPT 出來開始,我感覺就已經不是討論 AI 會怎麼發展,而是要接受 AI 必定會發展得越來越快,我們要怎麼面對 AI 帶來的機會與衝擊。

我們去年成立泛科學院,就是希望跟大家一起,透過簡單易懂的教學影片,把對 AI 的陌生跟恐慌,變成好奇與駕馭自如。Sora 或類似的模型應該可以協助我把這件事做得更好,可惜的的是目前 OpenAI 僅開放 Sora 給內部的 AI 安全團隊評估工具可能帶來的危害與風險,另外就是與少數外部特定的藝術家、設計師跟電影製片人確保模型用於創意專業領域的實際應用,若有新消息,我會再即時更新。

最後也想問問你,若能用上 Sora,你最想拿來幹嘛呢?歡迎留言跟我們分享。喜歡這支影片的話,也別忘了按讚、訂閱,加入會員,下集再見~掰!

更多、更完整的內容,歡迎上科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得更多有趣的資訊!

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

泛科學院_96
44 篇文章 ・ 54 位粉絲
我是泛科學院的AJ,有15年的軟體測試與電腦教育經驗,善於協助偏鄉NPO提升資訊能力,以Maker角度用發明解決身邊大小問題。與你分享人工智慧相關應用,每週更新兩集,讓我們帶你進入科技與創新的奇妙世界,為未來開啟無限可能!