1

3
3

文字

分享

1
3
3

天文影像工具也能找腫瘤?——臺灣首創 3D 數位病理影像暨 AI 分析平臺

科技大觀園_96
・2022/01/23 ・2878字 ・閱讀時間約 5 分鐘

國小高年級科普文,素養閱讀就從今天就開始!!

攝影師運用影像,留存許多珍貴的記錄,講述不少精彩的故事。但影像的力量,可不僅限於此。科學家和醫生也拍照錄像,只不過對象不是一般人事物,而是遙遠的星辰,或微小的組織細胞。而臺灣的科研團隊,更成功讓傳統病理影像突破 2D 平面限制,完整展現 3D 全貌,幫助我們看清病魔的真面目,奪得搶救性命的機會。

為什麽癌症大魔王如此棘手?

在臺灣十大死因排行榜上,癌症已蟬聯榜首將近四十年。原本安分工作的人體細胞,可能受到細菌或病毒的感染、環境中的重金屬、放射線等致癌因子的影響,走上叛變、不正常增生一途,變成惡性腫瘤——也就是癌症。癌細胞會破壞各種重要臟器,掠奪體内大部分營養,最終可能造成人體因器官衰竭、營養不良、併發症而死亡。

十大死因
109 年國人十大死因。(資料來源:衛生福利部

癌症療法中,化療是以化學藥物來毒殺癌細胞,卻因為專一性低,讓病患往往傷敵一千,自損八百。後來發展出的標靶藥物療法,雖然不會無差別攻擊,但治療效果有限,有些種類的癌症更可能出現抗藥性。狡猾的癌細胞,還會產生抑制免疫細胞活性的蛋白質,來避開免疫系統的偵察和追擊。而 2018 年獲得諾貝爾生理醫學獎的「免疫療法」,就是以投放癌細胞表現的蛋白質之阻斷劑,來維持免疫細胞的戰鬥力的突破性療法。

然而,癌細胞也不是省油的燈。它們會與周圍細胞,如血管、纖維母細胞、免疫細胞等打成一片,藉由分泌各式細胞因子,創造利於自己生長的小天地,即腫瘤微環境(Tumor microenvironment)。例如,癌細胞會在微環境促進血管新生,且具備免疫抑制能力,讓免疫細胞鎩羽而歸。這麽一來,即使是副作用較低的免疫療法,也可能無用武之地。

當醫學邂逅天文學,跨領域碰撞出新解方

目前,癌症的診斷與療程的決定,主要還是仰賴切片檢測所得到的影像。所謂的切片檢測,就像到腫瘤細胞大本營去刺探敵情,醫生藉由手術開刀、内視鏡或針筒取得檢體組織,透過這第一手的情報,來判識腫瘤型態和病情嚴重程度,才能擬定對抗癌細胞的有效戰略。

麻煩的是,顯微鏡下的切片樣本只能看見同一平面上的細胞間交互作用,組織上還有用來標示特定蛋白質活細胞的螢光染劑。要把有著會互相干擾螢光訊號的樣本影像,拼接成可以觀察細胞交互作用的三維影像,可讓腫瘤學家傷透了腦筋。不過這個難題的解方,就剛好掌握在以望遠鏡觀察無數星星的天文學家手中!

有著不同特徵的衆多天體,就像是組織中發出不同螢光訊號、數百萬計的細胞。天體在宇宙中的相對位置與相互關係,也類比於細胞間的交互作用。這般異曲同工之妙,讓美國約翰 · 霍普金斯大學的腫瘤學家和天文學家決定並肩作戰,利用天文學的影像處理工具,來建立分析腫瘤切片影像的模型,這個跨領域碰撞的研究成果——AstroPath,更在今年 6 月登上 Science 期刊。

天體
有著不同特徵的衆多天體,就像是組織中發出不同螢光訊號、數百萬計的細胞。圖/pixabaywikipedia

臺灣打造全球第一個 3D 數位病理檢驗暨 AI 分析平臺!

腫瘤學家和天文學家的跨界合作,大大提高了組織切片影像分析的效率,表現令人贊嘆。不過臺灣研究團隊跑得更前面,直接突破傳統薄切片的限制,以獨家專利取得組織完整的立體影像,還進一步藉助人工智能之力,創立全世界首個 3D 數位病理檢驗暨 AI 分析平臺!

這個實現 Taiwan No.1 的團隊,緣起於國立清華大學生科系的楊嘉鈴教授研究團隊,邀請清華大學腦科學中心江安世院士團隊、分子與細胞生物所張大慈教授團隊及清華大學腦科學中心林彥穎研究員,携手合作克服過去 3D 組織影像的技術瓶頸。透過科技部價創計劃的輔導,承接了光電、生醫、影像及 AI 各領域最先進技術的捷絡生物科技股份有限公司 (JelloX Biotech Inc.) 在 2018 年成立。

捷絡生技獨步全球的病理檢驗平臺,包含了關鍵的三大部分:(1)快速組織澄清、(2)高速影像擷取及(3)3D 人工影像智慧分析。

流程示意圖
3D 人工智慧影像分析流程示意圖。圖/捷絡生技公司

過去 3D 組織影像無法實現,最大的難點,在於無法突破組織的透光障礙。捷絡生技專利化的光學組織澄清技術,最厲害之處是讓檢體樣本不被破壞就可以「變透明」,達到清水般的穿透率。傳統樣本處理,會經過物理切片及脫水,組織結構發生形變無可避免,讓病理全貌難以被量化和標準化來進行評估。但這項獨家的組織澄清處理技術,可最大程度保存樣本原來的面貌,還能讓樣本進行重複染色,再利用於各式生物檢驗。更重要的是,不再是單一切面的樣本,讓全自動影像掃描擷取,從不可能變得可能。

把檢體樣本透明化之後,研究團隊接著以高速鐳射顯微鏡,對樣本進行全身掃描後,數位縫合平行多叠影像。只要搭配適當的染色技術,就可迅速取得比傳統檢測還多百倍資訊量的高精度 3D 腫瘤影像。這些病理組織樣本的全景 3D 細節,讓醫生可以更清楚判別癌細胞的型態、分佈與周圍細胞的交互作用。

研究團隊也沒有停留在 3D 影像產製的完善,更抓緊大數據、巨量分析的趨勢,目標是要提供 AI 自動化病理組織影像分析。研究團隊建立不同癌症的 3D 數位病理影像資料庫,讓電腦進行機器學習,透過癌組織的特徵辨識訓練,目前已可得到超過 90 % 的準確度。AI 自動化分析能克服傳統人工判讀模式潛藏的誤差(如不同判讀者的差異、視覺疲勞與檢體採樣量不足等問題),大大減輕臨床病理醫師的工作負擔,加快診斷的效率。癌症的治療,就像與死神賽跑,所以盡速決定對風險最小、成效最佳的療法,對提高病患的存活率至關重要。

未來,捷絡生技這個領先全球的 3D 數位病理檢驗暨 AI 分析平臺,預期可實際應用在檢測藥物的穿透性、篩選適合免疫療法的病患、分析腫瘤微環境等方向。不管是從美國或是臺灣的例子,都讓我們看見不同領域相互激蕩的成果,並非止步於學術象牙塔的研究,而是可以被實際應用在日常生活中的技術。

參考資料

文章難易度
所有討論 1
科技大觀園_96
82 篇文章 ・ 1112 位粉絲
為妥善保存多年來此類科普活動產出的成果,並使一般大眾能透過網際網路分享科普資源,科技部於2007年完成「科技大觀園」科普網站的建置,並於2008年1月正式上線營運。 「科技大觀園」網站為一數位整合平台,累積了大量的科普影音、科技新知、科普文章、科普演講及各類科普活動訊息,期使科學能扎根於每個人的生活與文化中。

0

1
0

文字

分享

0
1
0
寵物過敏原有很多種,避免飲食過敏困擾,可選擇單一/特殊肉種寵物飼料
鳥苷三磷酸 (PanSci Promo)_96
・2023/06/06 ・2173字 ・閱讀時間約 4 分鐘

本文由 新萃 Nutri Source 委託,泛科學企劃執行。

你有發現家裡的狗狗經常舔自己四肢,或是身上出現不明紅疹?當心這可能是過敏反應。寵物和人類一樣,也會有過敏反應,過敏可依照「來源」分為三種:吸入性過敏、接觸性過敏和食物性過敏。

寵物的過敏源有哪些?

不管是哪一種過敏反應,在人的身上都比較容易發現和排除。但狗狗的過敏卻很難處理,如果是接觸性或吸入性過敏,即使你把家裡打掃得很乾淨,還是無法排除帶狗出去散步時可能接觸到的環境過敏原。因此,對飼主來說,最容易控制的是食物性過敏。

食物性過敏是怎麼發生的呢?其實,「食物過敏」這個詞並不太準確。正確的臨床醫學用詞是「食物不良反應」(Adverse Food Reaction, 簡稱AFR)(Jackson, H. , 2009),指的是吃下食物後身體產生各種不良反應。並進一步分為食物過敏(Food Allergy)和食物不耐受(Food Intolerances)兩種。

如果你看過動漫作品《工作細胞》,你就會知道過敏其實只是免疫系統對特定成分產生的過度反應,因此全名為「過分敏感」;而食物不耐受則並非免疫性反應,而是消化系統無法代謝或對該生物體有毒,例如狗不能吃洋蔥或巧克力,否則會致死等等。

由於寵物沒有選擇權,只能吃飼主提供的食物,如果飼料中恰好有會造成牠 AFR 的成分,就可能產生各種症狀。除了腸胃發炎和拉肚子外,最明顯的外在症狀就是皮膚問題,包括搔癢、脫毛和紅疹等。後者容易被誤判為皮膚性疾病,讓許多飼主狂跑獸醫院的同時,獸醫也難以對症下藥。

雖然曾有研究透過讓醫師用血液或唾液是否檢測出 IgE 抗體來判斷狗是否過敏(Ermel, R et al.,1997),但最新的研究卻發現,無論使用無論血清的 IgE 抗原或是唾液裡的 IgM 或 IgA 抗原都無法有效檢測出狗狗的過敏來源(Udraite Vovk Let al., 2019 & Lam ATH et al., 2019),甚至會造成偽陽性誤判。因此,目前學界公認唯一能識別食物過敏原的方法就是「食物排除法」(Food Elimination Method)。

以食物排除法,找出毛孩的食物過敏原!

食物排除法的原理相當簡單粗暴,類似我們過去在學校做的實驗一樣,抓出「控制組與對照組」。首先,將狗狗的食物換成牠沒吃過、單一來源且易消化的高蛋白質或水解蛋白質;同時嚴格限制牠對其他食物接觸,包括其他人餵食或路上亂吃等可能性都要注意,此為「對照組」,如此持續 8~12 週,觀察皮膚是否有改善。如果確實有改善,那就證明了確實是 AFR 而非皮膚病。

下一步我們可以進行「食物挑戰」,在每餐食物中逐一嘗試可能的過敏原(例如常見的牛肉、雞蛋等),有如「控制組」,等到症狀又出現,就可以確認哪種食物成分是過敏原,未來就可以在飼料中排除,讓狗狗健康快樂地成長。

這個方法需要飼主的大力配合和耐心紀錄,不僅要在漫長的試驗期,更需要在控制期一一排除所有不可能之後,才能找到答案。而其中最困難的部分,也是實驗的基礎可能是第一步:「提供狗狗牠從未吃過,且肉品單一的蛋白質」,這點對多數飼主來說幾乎是不可能的任務,因為大部分的寵物飼料成分都很複雜。不要說狗狗了,搞不好你連自己沒吃過什麼恐怕都不知道。

飼料成分多而雜,可選單一肉種飼料降低過敏。

那該怎麼進行食物排除法呢?別擔心,沒有找不到的肉品,只有勇敢的狗狗。市面上已經有了針對過敏狗狗的低敏飼料,新萃推出了一系列低敏肉,包含單一肉種的袋鼠肉、鹿肉以及野豬等相比牛豬羊等較不容易取得的肉類,是進行食物排除法第一步測試的首選。

此外,新萃牌無論哪種飼料都有美國專利 Good 4 Life® 奧特奇專利保健元素,能促進飼料中的營養都被狗狗完整吸收。不僅過敏的狗狗能吃,有消化不良症的狗狗也適用。

新萃商品選擇的是單一/特殊肉種的成分,低敏感肉品讓寵物吃了更安心。

參考資料

  1. Thus for the purpose of this discussion, although the term food allergy is used throughout, it should be recognized that this term is a presumptive clinical diagnosis and adverse food reaction is a more accurate term for these canine cases. – Consensus
  2. Jackson, H. (2009). Food allergy in dogs – clinical signs and diagnosis.. Companion Animal Practice.
  3. Assessment of the clinical accuracy of serum and saliva assays for identification of adverse food reaction in dogs without clinical signs of disease – PubMed (nih.gov)
  4. Lam ATH, Johnson LN, Heinze CR. Assessment of the clinical accuracy of serum and saliva assays for identification of adverse food reaction in dogs without clinical signs of disease. J Am Vet Med Assoc. 2019 Oct 1;255(7):812-816. doi: 10.2460/javma.255.7.812. PMID: 31517577.
  5. Direct mucosal challenge with food extracts confirmed the clinical and immunologic evidence of food allergy in these immunized dogs and suggests the usefulness of the atopic dog as a model for food allergy. – Consensus
  6. Ermel, R., Kock, M., Griffey, S., Reinhart, G., & Frick, O. (1997). The atopic dog: a model for food allergy.. Laboratory animal science.
  7. https://www.moreson.com.tw/moreson/blog-detail/furkid-knowledge/pet-knowledge/dog-food-allergen-TOP10/
  8. 狗狗因為食物過敏而搔癢不舒服,為什麼做「過敏原檢測」沒什麼用?
  9. 【獸醫診間小教室】狗狗皮膚搔癢難改善?小心食物過敏! – 汪喵星球 (dogcatstar.com)
  10. 寵物知識+/毛孩對什麼食物過敏?獸醫:驗血完全不準!診斷法只有一個 | 動物星球 | 生活 | 聯合新聞網 (udn.com)
  11. Is there a gold-standard test for adverse food reactions? – Veterinary Practice News
文章難易度
鳥苷三磷酸 (PanSci Promo)_96
172 篇文章 ・ 276 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

3
0

文字

分享

0
3
0
人造腦挑戰 AI!培養皿中的腦組織+腦機介面能打敗電腦嗎?
PanSci_96
・2023/05/27 ・3178字 ・閱讀時間約 6 分鐘

國小高年級科普文,素養閱讀就從今天就開始!!

2023 年 2 月底, 約翰霍普金斯大學教授 Thomas Hartung 帶領研究團隊,發表了「類器官智慧」(Organoid intelligence , OI)的研究成果,希望利用腦類器官加上腦機介面,打造全新的生物計算技術。

我們終於要製造人工大腦了嗎?OI 和 AI,誰會成為未來主宰?

類器官智慧 OI 是什麼?目標為何?

2023 年的現在,AI 就已展現了不少驚人的實際成果;相較之下, OI 仍只是一個剛起步的計畫,甚至連名稱都與 2018 年美國《自然—物理學》期刊專欄作家、物理學家布坎南以 Organoids of intelligence 作為標題的文章幾乎一樣。

類器官智慧、Organoid intelligence、OI 是個很新的跨領域名詞,同時結合了「腦類器官」和「腦機介面」兩個領域的技術。

簡單來說,腦類器官就是指透過培養或誘導多能幹細胞(iPSCs),在模擬體內環境的旋轉生物反應器中,產生的腦組織。這項聽起來好像只會出現在科幻電影裡的技術,確實已經存在。

最早的腦類器官是在 2007 年,日本 RIKEN 腦研究所的笹井芳樹和渡辺毅一的研究團隊,成功從人類胚胎幹細胞培養出前腦組織。第一個具有不同腦區的 3D 腦類器官則是發表在 2013 年的《Nature》期刊,由奧地利分子技術研究所的尤爾根.科布利希和瑪德琳.蘭開斯特研究團隊成功建立。

腦類器官的出現,在生物與醫學研究中有重大意義,這代表未來科學家們若需要進行大腦相關的研究,再也不用犧牲實驗動物或解剖大體老師來取得人類大腦,只需要在培養皿就製造出我們要的大腦即可。

儘管培養皿上的組織確實是大腦組織,但不論是在大小、功能,以及解剖構造上,至今的結果仍遠遠不及我們自然發育形成的大腦。因此要達到 OI 所需要的「智慧水準」,我們必須擴大現有的腦類器官,讓他成為一個更複雜、更耐久的 3D 結構。

要達到 OI 所需的「智慧水準」,必須擴大現有的腦類器官,成為一個更複雜的 3D 結構。圖/GIPHY

而這個大腦也必須含有與學習有關的細胞和基因,並讓這些細胞和 AI 以及機器學習系統相連接。透過新的模型、演算法以及腦機介面技術,最終我們將能了解腦類器官是如何學習、計算、處理,以及儲存。

OI 是 AI 的一種嗎?

OI 能不能算是 AI 的一種呢?可說是,也不是。

AI 的 A 指的是 Artificial,原則上只要是人為製造的智慧,都可以稱為 AI。OI 是透過人為培養的生物神經細胞所產生的智慧,所以可以說 OI 算是 AI 的一種。

但有一派的人不這麼認為。由於目前 AI 的開發都是透過數位電腦,因此普遍將 AI 看做數位電腦產生的智慧—— AI 和 OI 就好比數位對上生物,電腦對上人腦。

OI 有機會取代 AI ?它的優勢是什麼?

至於為何電腦運算的準確度和運算速度遠遠高於人腦,最主要原因是電腦的設計具有目的性,就是要做快速且準確的線性運算。反之,大腦神經迴路是網狀、活的連結。

人類本身的基因組成以及每天接收的環境刺激,不斷地改變著大腦,每一分每一秒,我們的神經迴路都和之前的狀態不一樣,所以即使就單一的運算速度比不上電腦,但人腦卻有著更高學習的效率、可延展性和能源使用效率。在學習一個相同的新任務時,電腦甚至需要消耗比人類多 100 億倍的能量才能完成。

神經網路接受著不同刺激。圖/GIPHY

這樣看來,至少 OI 在硬體的效率與耗能上有著更高優勢,若能結合 AI 與 OI 優點,把 AI 的軟體搭載到 OI 的硬體上,打造完美的運算系統似乎不是夢想。

但是 OI 的發展已經到達哪裡,我們還離這目標多遠呢?

OI 可能面臨的阻礙及目前的發展

去年底,澳洲腦科學公司 Cortical Labs 的布雷特.卡根(Brett Kagan)帶領研究團隊,做出了會玩古早電子遊戲《乓》(Pong)的培養皿大腦—— DishBrain。這個由 80 萬個細胞組成,與熊蜂腦神經元數量相近的 DishBrain,對比於傳統的 AI 需要花超過 90 分鐘才能學會,它在短短 5 分鐘內就能掌握玩法,能量的消耗也較少。

現階段約翰霍普金斯動物替代中心等機構,其實只能生產出直徑大小約 500 微米,也就是大約一粒鹽巴大小的尺寸的腦類器官。當然,這樣的大小就含有約 10 萬個細胞數目,已經非常驚人。雖然有其他研究團隊已能透過超過 1 年的培養時間做出直徑 3~5 毫米的腦類器官,但離目標細胞數目 1000 萬的腦類器官還有一段距離。

為了實現 OI 的目標,培養更大的 3D 腦類器官是首要任務。

OI 的改良及多方整合

腦類器官畢竟還是個生物組織,卻不像生物大腦有著血管系統,能進行氧氣、養分、生長因子的灌流並移除代謝的廢物,因此還需要有更完善的微流體灌流系統來支持腦類器官樣本的擴展性和長期穩定狀態。

在培養完成腦類器官以及確定能使其長期存活後,最重要的就是進行腦器官訊息輸入以及反應輸出的數據分析,如此我們才能得知腦類器官如何進行生物計算。

受到腦波圖(EEG)紀錄的啟發,研究團隊將研發專屬腦類器官的 3D 微電極陣列(MEA),如此能以類似頭戴腦波電極帽的方式,把整個腦類器官用具彈性且柔軟的外殼包覆,並用高解析度和高信噪比的方式進行大規模表面刺激與紀錄。

研究團隊受腦波圖(EEG)紀錄的啟發。圖/Envato Elements

若想要進一步更透徹地分析腦類器官的訊號,表面紀錄是遠遠不夠的。因此,傷害最小化的的侵入式紀錄來獲取更高解析度的電生理訊號是非常重要的。研究團隊將使用專門為活體實驗動物使用的矽探針Neuropixels,進一步改良成類腦器官專用且能靈活使用的裝置。

正所謂取長補短,欲成就 OI,AI 的使用和貢獻一點也不可少。

下一步,團隊會將進行腦機介面,在這邊植入的腦則不再是人類大腦,而是腦類器官。透過 AI 以及機器學習來找到腦類器官是如何形成學習記憶,產生智慧。過程中由於數據資料將會非常的龐大,大數據的分析也是無可避免。

隨著 AI 快速發展的趨勢,OI 的網路聲量提升不少,或許將有機會獲得更多的關注與研究補助經費,加速研究進度。更有趣的是,不僅有一批人希望讓 AI 更像人腦,也有另一批人想要讓 OI 更像電腦。

生物、機械與 AI 的界線似乎會變得越來越模糊。

OI=創造「生命」?

生物、機械與 AI 的界線越來越模糊。圖/Envato Elements

講到這裡,不免讓人擔心,若有一天 OI 真的產生智慧,我們是否就等於憑空創造出了某種「生命」?這勢必將引發複雜的道德倫理問題。

雖然研究團隊也強調, OI 的目標並不是重新創造人類的意識,而是研究與學習、認知和計算相關的功能,但「意識究竟是什麼」,這個哲學思辨至今都還未有結論。

到底懂得「學習」、「計算」的有機體能算是有意識嗎?如果將視覺腦機介面裝在 OI 上,它是否會發現自己是受困於培養皿上,被科學家們宰割的生物計算機?

不過這些問題不僅僅是 OI 該擔心的問題,隨著人工智慧的發展,GPT、Bing 和其他由矽構成的金屬智慧,隨著通過一個又一個智力、能力測試,也終將面臨相應的哲學與倫理問題。

最後,Neuralink 的執行長馬斯克說過(對,又是他 XD),人類要不被 AI 拋下,或許就得靠生物晶片、生物技術來強化自己。面對現在人工智慧、機械改造、生物晶片各種選擇擺在眼前,未來你想以什麼樣的型態生活呢?

歡迎訂閱 Pansci Youtube 頻道 獲取更多深入淺出的科學知識!

PanSci_96
1166 篇文章 ・ 1517 位粉絲
PanSci的編輯部帳號,會發自產內容跟各種消息喔。

0

3
2

文字

分享

0
3
2
透過 AI 繪圖原理,你就知道怎麼訓練做圖生成!
PanSci_96
・2023/04/29 ・2014字 ・閱讀時間約 4 分鐘

AI 生圖是透過訓練模型學習自行生成圖像,而電腦繪圖則是由使用者透過軟體或工具手動繪製圖像。

儘管可能較缺乏人工繪圖的細節與創意,但是都是由 AI 自己生成,每張絕無僅有,這樣應該也算是有些創意吧?

究竟這個「安能辨我是 AI」的新時代,到底是怎麼突然降臨的呢?

現代魔法師的誕生

現在夯、猶如魔法的 Midjourney,使用者針對想要創作的內容和風格,給出關鍵字如 Hyper realistic、Xerox Art、masterpiece、underwater,以及畫面比例等參數,甚至是特定藝術家的名字,大約 30 秒到 1 分鐘,就能完成作品,對一般民眾來極容易上手。

如果生成出不對勁的怪圖,只要請它參照範例、補充關鍵字,或是你本身就有一點修圖能力,就可以產出高品質的美圖。因此,我們也可以說這是一種能和 AI 繪師對話的語言介面,新的職業「AI 溝通師」也隨之出現。

AI 生圖其實也不是什麼新技術,早就有人採用一種名為 GAN 的對抗式生成網路的演算法來生成圖片。在 2018 年也有人用來生成某種藝術作品,並拍賣出高價,當然在當時與其說是美麗的藝術,其實更多是個噱頭。

從模仿到創造

為了達成「創新」,AI 研究者放棄了 GAN 中讓 AI 互相競爭找出「最佳解」的對抗式思維,提出一種名為「Diffusion model」擴散模型的新概念。

如果觀察 Stable diffusion 或 Midjourney 生圖過程,可以發現到,圖片會從一團什麼都沒有的雜訊開始,逐漸出現五官、輪廓等特徵,最後才變成有著豐富細節的精緻畫作。

擴散模型的去噪過程。圖/維基百科

Diffusion model 在訓練時則是會先看到一張完整照片,接著依照馬可夫鏈的過程,以高斯分布的方式往圖片上加入隨機噪點。待整張圖變成一團雜訊,等它學會從一張圖到混亂雜訊的過程後,再習得如何從混亂雜訊中生成圖的能力;於每一步加噪的過程中學會降噪,使用時間鉗形攻勢,完成雙向學習。

Diffusion model 在接下來的訓練中,會不斷調整自己的參數,學習自己生成圖片。這個訓練好的 Diffusion model 其實就像個大型藍色窗簾機器人,從雜訊中抓出特定特徵,例如看到兩點一線,就說是人類的眼睛與嘴巴,接著漸漸畫出人類的面貌。

過程中還會加上一個名為「變方自編碼器」(Variational Auto-encoder ,VAE)的加持,使它輸出的不只是原本的訓練或輸入的圖片,而是真正能夠「無中生有」的連續性畫素,而這就是擴散模型被稱為生成模型的原因。另外,隨著步驟越多,解析度或細節可以更高,每一次相同的關鍵字或輸入圖檔,經過模型輸出的結果都有著不確定性。

從二維到三維

當你以為畫奇幻插畫和二次元美少女就是極限了,最新進展絕對更令人大開眼界!

前陣子開發出來的模型,能讓使用者自己上傳作品或相同風格的畫風,來產出更多樣化的素材。例如不久前在日本被下架的 mimic;而 DALL-E 則推出 Outpainting 功能,例如輸入知名畫作,它會替其擴張圖片,算出可能的背景樣式。

DALL-E 算出知名畫作《戴珍珠耳環的少女》的可能背景樣式。圖/OpenAI

若再將繪圖 AI 訓練到不只能輸出圖片,甚至能輸出擬真的照片呢?已經有人這麼做了。

最近最紅的生成模型,可以把疫情期間我們一張張戴口罩的照片全自動 PS 出嘴巴鼻子、輕易更換穿搭風格等。新出的 AI 繪圖軟體 ControlNET,甚至只要提供骨架甚至幾個線條,就能繪出相同姿勢的人物圖像。

如果我們能夠生成無法辨別的真人外觀,再搭配已經有的 3D 骨架建模生成模型,豈不是可以達成科幻電影「虛擬偶像(Simone,2002)」的劇情,生成一個假演員來演戲拍廣告!

這些 AI 生成模型其實都只是為我們所用的工具,這波 AI 繪圖師的加入,肯定會大量取代中階以下的商用和插畫家的需求,並解決業主和設計師之間的溝通成本,各家美術或遊戲公司紛紛開出 AI 溝通師的職缺。追隨主流審美的人類繪師受創最深,而對已有強烈藝術風格的大師或非主流藝術家來說,目前相對不受影響。

使用 AI 完成的藝術作品。圖/GIPHY

AI 繪圖工具的出現,掀起了一股巨浪。如今不僅有人能利用 AI 生成作品得獎,也開始能看到有人使用 AI 創作進行營利、販售。

然而創作領域中模仿、挪用、抄襲、致敬等等的問題在 AI 出現以前就是個難解之題,來到大生成時代,這類問題只會越來越多,我們又該如何面對它呢?

歡迎訂閱 Pansci Youtube 頻道 獲取更多深入淺出的科學知識!

PanSci_96
1166 篇文章 ・ 1517 位粉絲
PanSci的編輯部帳號,會發自產內容跟各種消息喔。