看圖說故事對人類來說,是輕鬆好玩的事,但對 AI 來說,卻是巨大挑戰,因為這代表 AI 必須看出圖中有哪些物件、理解圖片意義、能夠生成文句,還要看懂圖片間的因果邏輯。在中研院資訊科學研究所古倫維副研究員的努力下, AI 看圖說故事的能力有了很大的進展。她的模型有什麼獨特之處呢?跟著研之有物一起來瞧瞧!
重點來了!在「選角」階段, AI 會先以機器學習的結果,找出最適合說故事的「角色組合」,尤其是面對連續圖片。這就好比張曼玉、梁朝偉、成龍三個演員,前兩個主要演愛情片,第三個以武打戲為主,如果第一張照片選了張曼玉,第二張照片應該選梁朝偉,生成的故事會比較好看。
-----廣告,請繼續往下閱讀-----
但目前 AI 選角部分還不夠靈光,有時仍會發生如「張曼玉配成龍」的選角名單。古倫維的兩階段設計讓人類可在「選角」階段介入修改。實際例子如:圖片中有小男孩、天空、腳踏車三個概念。AI 從上圖抽取出的概念可能是「小男孩」、「天空」,最後生成的故事可能是「一個小男孩在天空下」…… 滿無聊的。但人類可以把「天空」改成「腳踏車」,機器最後就可能生成「一個小男孩騎著腳踏車。」嗯,是不是比較有故事性了?
最後,人類再將修改後的選角和故事大綱,交給 AI 產生整個故事。這種「先選角、打草稿,再說故事」的方式,最後產生的故事比較不會無聊或是不合理,更接近人類說出的故事。
為了增加 AI 的想像力,古倫維也在模型中納入「知識庫」,幫 AI 增加故事的知識。例如圖片中有人與馬,如果沒有知識庫,AI 可能只能生成「有一個人與一匹馬」這種平淡的句子。但知識庫可以補充人與馬關聯的知識,包括人可以騎馬、養馬等等,讓 AI 有機會說出「有一個人騎著自己養的馬」比較具故事性的句子。「當然 AI 也可能從大量的故事中以機器學習取得『很多人都會騎馬、養馬』的知識。但知識庫的最大功用,就是直接提供這個知識給 AI ,縮短學習歷程。」 古倫維解釋。
更重要的是,知識庫讓 AI 更容易解讀出圖片之間的關聯。如 VIST 競賽的題目就是包含了五張圖片的圖組,在知識庫的協助下, AI 比較容易找出各別圖片的概念之間的關聯,說出的故事會比較連貫,具有因果關係。
-----廣告,請繼續往下閱讀-----
AI 是完全沒有想像力的,但若透過知識庫給它知識,這些知識在故事中呈現出來的,就像是 AI 的想像力。
電腦看圖說故事的範例。No KG 代表機器在不添加額外知識時所產生的故事,Visual Genome 與 Open IE 古倫維團隊用兩個不同的知識庫分別產生的故事,GLAC 是除了古倫維的模型外目前成果最好的模型。由上可知,知識庫的確能幫助故事的上下文連結。最後的 Human 是真人所寫的故事,包含了許多圖片中沒有的知識,甚至精神性的內容。 圖說美化│林洵安 資料來源│古倫維
說了半天,但 AI 會看圖說故事,到底能幹嘛?難道只是幫貼圖寫寫圖說?以研究的層面來說,如果 AI 能看圖說故事,代表 AI 在理解圖片、文字分析及因果邏輯等方面,都達到一定的水準,代表 AI 語言能力更加接近人類。在實際應用上, 可以為圖文創作者提供故事草稿,或是對於常常需要撰寫廣告文案、出差報告的人,能夠很快從圖像生成文本,人類只要略做修改潤飾即可 (小職員計畫通!)。
-----廣告,請繼續往下閱讀-----
但更重要的是,機器人也能因此更有溫度!古倫維與臺大人工智慧與機器人研究中心的傅立成教授合作,希望透過 AI 看圖說故事的技術,讓居家照護機器人更有「人味」,會主動關懷人類。因為居家照護機器人在家中「看見」的一切,其實就是一張張的圖, AI 可以透過這些「圖」形成可能的故事,再轉化為暖心的問句。
AI 看圖說故事的能力,可讓照顧居家照護機器人了解眼前的生活情境,具有找話題的能力,變得溫暖許多。 圖片來源│iStock
如此一來,居家照護機器人不再只是被動的處理人類需求,相反的,「說故事的能力賦予了 AI 機器人找話題的功能。」古倫維笑著解釋,機器人從此不再詞窮,可以主動關心人類,與人類互動聊天,讓機器人變得溫暖許多。看來 AI 看圖說故事,不只是寫寫圖說、幫忙解決麻煩的出差報告,在不遠的未來,更是拉近我們與機器人距離的關鍵所在呢。
1990 年,融合蛋白 CD4 免疫黏附素(CD4 immunoadhesin)誕生。這項設計,是為了對付令人類聞風喪膽的 HIV 病毒。
-----廣告,請繼續往下閱讀-----
我們知道 T 細胞是人體中一種非常重要的白血球。在這些 T 細胞中,大約有六到七成表面帶有一個叫做「CD4」的輔助受體。CD4 會和另一個受體 TCR 一起合作,幫助 T 細胞辨識其他細胞表面的抗原片段,等於是 T 細胞用來辨認壞人的「探測器」。表面擁有 CD4 受體的淋巴球,就稱為 CD4 淋巴球。
麻煩的來了。 HIV 病毒反將一軍,竟然把 T 細胞的 CD4 探測器,當成了自己辨識獵物的「標記」。沒錯,對 HIV 病毒來說,免疫細胞就是它的獵物。HIV 的表面有一種叫做 gp120 的蛋白,會主動去抓住 T 細胞上的 CD4 受體。
而另一端的 Fc 區域則有兩個重要作用:一是延長融合蛋白在體內的存活時間;二是理論上能掛上「這裡有敵人!」的標籤,這種機制稱為抗體依賴性細胞毒殺(ADCC)或免疫吞噬作用(ADCP)。當免疫細胞的 Fc 受體與 Fc 區域結合,就能促使免疫細胞清除被黏住的病毒顆粒。
不過,這裡有個關鍵細節。
在實際設計中,CD4免疫黏附素的 Fc 片段通常會關閉「吸引免疫細胞」的這個技能。原因是:HIV 專門攻擊的就是免疫細胞本身,許多病毒甚至已經藏在 CD4 細胞裡。若 Fc 區域過於活躍,反而可能引發強烈的發炎反應,甚至讓免疫系統錯把帶有病毒碎片的健康細胞也一併攻擊,這樣副作用太大。因此,CD4 免疫黏附素的 Fc 區域會加入特定突變,讓它只保留延長藥物壽命的功能,而不會與淋巴球的 Fc 受體結合,以避免誘發免疫反應。
從 DNA 藍圖到生物積木:融合蛋白的設計巧思
融合蛋白雖然潛力強大,但要製造出來可一點都不簡單。它並不是用膠水把兩段蛋白質黏在一起就好。「融合」這件事,得從最根本的設計圖,也就是 DNA 序列就開始規劃。
我們體內的大部分蛋白質,都是細胞照著 DNA 上的指令一步步合成的。所以,如果科學家想把蛋白 A 和蛋白 B 接在一起,就得先把這兩段基因找出來,然後再「拼」成一段新的 DNA。