3

6
0

文字

分享

3
6
0

Deepfake 辨偽技術如何在魔高一尺時,能道高一丈呢?——成大統計所許志仲專訪

A編編
・2022/01/26 ・3499字 ・閱讀時間約 7 分鐘

2021年末,小玉的「Deepfake 換臉事件」讓大眾正視 Deepfake 技術的濫用問題。  Deepfake 發展至今不只有造假技術在進步,辨偽也是:目前任職於成大統計所的許志仲老師,從 2018 年開始便在這個主題中專研,並於 2020 年發表相關研究結果,該篇文章起今已有超過 50 次的引用次數。「以這篇論文發表的期刊影響指數(Impact Factor,簡稱IF值)來說,這個引用數相對來說是高的,這代表 Deepfake 辨偽的議題開始變得重要,但研究的人可能沒那麼多。」

許志仲坦言,自己 2018 年研究 Deepfake 辨偽時,Deepfake 影片品質並沒有特別好。沒想到短短兩三年的時間,Deepfake 的效果就已經好到可能會造成問題了。

雙面刃的 Deepfake

Deepfake 技術起初是希望能藉由電腦產生各種不同的逼真圖片或影片,來因應特效製作或老照片修復之類的工作,而要產生逼真圖片或影片,有許多不同的方法都能達成這個目的,目前 Deepfake 最常使用的方法為 2014 年提出的「生成對抗網路(Generative Adversarial Network, 簡稱 GAN)」,透過生成網路與判別網路的對抗,產生逼真的圖片或影片,因此說到 DeepFake,通常都會說起 GAN。

「我們會說 Deepfake 就是 GAN,是因為就目前生成技術還是以 GAN 最好,當然也有新的方法正在發展,所以未來未必還是以 GAN 作為主體,可能用別的方法偽造,也能做得很漂亮。」

-----廣告,請繼續往下閱讀-----

許志仲也表示,Deepfake 的發展目標是正面的,技術本身是中立的,但使用者怎麼使用這項技術,就成了重要問題。而在不能確保使用者心態的情況下,辨偽技術成了這項技術的最後一道防線。而 Deepfake 辨識的主要問題,可以分為偏向研究的「偽造特徵不固定」,以及偏向實務面的「辨偽系統的使用情境差異」兩個面向。

Deepfake 辨識的研究困難:偽造特徵不固定

現在已經有可以辨識貓狗、車牌等物體的影像辨識系統,這些辨識系統也相當成熟可靠,直覺來說,要做出一套辨識 Deepfake 的辨識系統,應該也不會太困難吧?

但實際上卻並非如此,過往辨識系統的做法是抓取容易辨別的特徵,例如貓與狗兩者在形態上就有明顯的差異,只要給電腦夠多的訓練資料,就能有一組精確區分貓與狗的判別式,且能用到各種需要分辨貓與狗的情況下。

貓跟狗的形態差異很大,所以電腦能輕易辨別這兩種物種。圖/envato elements

先不談分辨人臉真假,就人臉辨識本身來說,就是個值得研究的問題,每個人的臉都長得差不多,差異在於五官的相對位置、形狀或大小有微小的差異,這使人臉辨識本身就難有通則可以去分辨。而不同方法生成相似的 Deepfake 圖片,並不一定具有相同的偽造特徵,從人臉特徵到偽造特徵都不固定,使得 Deepfake 辨識具有一定的困難度。

-----廣告,請繼續往下閱讀-----

此外,即便用同一種方法製作同樣的 Deepfake 圖片,也會因為當初給的資料不同,使得偽造特徵出現差異,這讓「一組判別式就能判斷是否為 Deepfake」成為近乎不可能實現的夢。

也許,偽造特徵根本不在人臉上!?

面對 Deepfake 辨識的棘手問題,許志仲說:「要辨識的特徵太多元。我們覺得倒不如去尋找有什麼線索是 GAN 一致會產生的,這線索也許是我們眼睛看不到的,但是電腦可以透過學習的方式去挖掘,所以我就用了這種學習機制去抓出,會不會大部分的這種生成系統,都可能有共同的瑕疵。」

一張 Deepfake 照片並不只有人臉與五官,也包含了背景。而許志仲的論文指出,Deepfake 的偽造特徵,經常出現在背景,或是背景與人臉的交界處:

「臉通常都合成的很漂亮,但是背景跟臉的交界處會不自然。通常在髮絲的地方,髮絲的地方會糊掉這是一種,或是眉毛或者是額頭中的髮線也會有明顯差異。另外就是背景,會明顯看不出背景是什麼東西。大家都忽略看這裡(背景)很正常,而實驗結果也確實看到這些部分具有相對好的辨識度。」

-----廣告,請繼續往下閱讀-----
使用 GAN 生成的 Deepfake 人臉。圖/This Person Does Not Exist

然而,即便該篇論文是近期發布的,許志仲也不敢肯定這套辨識方式是否能套用在目前的狀況下,他表示目前每半年,GAN 生成的 Deepfake 影像的逼真度,就會有顯著的突破,且沒有消退的趨勢。

Deepfake 辨識的實務困難:辨偽系統的使用情境差異

在實務上,許志仲認為目前還有更為棘手的問題需要解決,那就是辨偽系統的使用情境差異。以一段 Deepfake 影片上傳 Youtube 平台為例,上傳的時候 YouTube 就會先對影片進行壓縮,這時原有的 Deepfake 偽造特徵很可能會因為壓縮而被破壞,許志仲解釋:「有些人會故意加上一些雜訊、加一些後處理,比方說整個畫面做類似美肌之類的處理,這些都會破壞掉偽造的線索,我們發現這些狀況十分常見,而且很難克服。這也是為什麼現在幾乎沒有軟體或網站,提供 Deepfake 辨識服務。」

DeepFake 的歐巴馬與演員的解析度就不同。

在實驗室裡,我們可以拿到 GAN 生成的原始影像去做分析,但在網路世界裡,每一個影像都可能像上述的情況一樣,做了各種後處理才放到網路上,就算現在有研究指出某種辨認方式是有效的,也未必真的能應對網路上的複雜情況。

許志仲表示,目前看到有希望突破壓縮這個問題的辨認方式,是去抓人臉在一段影片中的五官變化是否足夠自然,這個線索可以克服壓縮的一點點問題,因爲是藉由五官相對位置的變化來偵測,這就跟壓縮沒太大關係。但正如前面提到的,人臉辨識是困難的,人臉的五官定位本身就無法做到精準,真要使用這套方法辨識 Deepfake,還需要更多研究來確認可行性。

-----廣告,請繼續往下閱讀-----

也有研究者認為 GAN 理論雖然看似完美無瑕,但在產出 Deepfake 過程中仍可能會出現某些關鍵操作,只要藉由偵測畫面中是否有經歷這些操作,就能間接推測這個畫面是否為 Deepfake,不過這個做法的缺點也很明顯,那就是這些關鍵操作,也很可能只是正常的影片後製造成的,並造成不是 Deepfake 的影像也被歸類到 Deepfake 中。

情境逐個突破,讓研究能落地使用

說到這裡,許志仲語重心長地說:「我們研究做了這麼多偵測 Deepfake 的方法,但都不一定能在真實世界使用,這讓我非常意外,而上述的這些情境,也只是冰山一角。」

其實大家都在研究差不多的特徵,像是五官的落差,說話的時候嘴巴的動態變化會比較小或模糊之類的,但這些特徵面在真實的使用情境中,還能有多少辨識度,就真的是未知數。考量到真實情境的複雜度,目前許志仲認為逐個突破不同的情境下它們適合的辨偽方式,才是比較實實際的。

「我們必須先確認好問題是正確的,才能找到正確的答案。」許志仲說,要在實驗室裡做出一套數據漂亮的辨識系統並不困難,但要做出實際能用的辨識系統卻非常不簡單。

-----廣告,請繼續往下閱讀-----

許志仲也嘗試將自己的研究成果運用在實際情境中,但面對製作公司精心製作的 Deepfake 影片,許志仲換了好幾套模型,也只有一套能判別出來,也呼應了「使用情境差異」才是辨識 Deepfake 無法落地的最大問題。

辨識系統在實驗室中可以使用、但在現實生活中卻不一定。圖/envato elements

各界都在防範 Deepfake 影響生活

GAN 要能生成以假亂真的 Deepfake 圖像,必須建構在有訓練完善的生成模型上,而一個訓練完善的生成模型,並不是隨便餵幾筆資料給 GAN 就會跑出來的,必須要有足夠算力的電腦,配合大量的資料才能完成。除了像 Google 或 Facebook 這種規模的公司有能力製作外,也只有部分研究單位,能做出這種以假亂真的生成模型。

許志仲說:「由於 Deepfake 對社會的影響很大,現在他們都只公開自己的程式碼,但不會公開自己的模型,主要就是怕模型被拿去幹壞事。」許志仲也坦承,對於辨偽技術的研究來說,目前的狀況是非常不利的,這代表研究者必須自己用程式碼生出不那麼精良的模型,來製作 Deepfake 圖片測試。

面對未來 Deepfake 是否會無法辨別,許志仲表示就影像上來說,這件事情是做得到的,總會有方法做出不被任何辨識系統偵測,堪稱完美的 Deepfake 影像。但身為防禦方的我們,並不是只能靠圖片辨識真偽,上傳的使用者、社群平台的 meta-data,這些能標示來源的訊息,都可能是我們辨識這部影片是否為 Deepfake 的線索。

-----廣告,請繼續往下閱讀-----
影片的上傳者、發布的社群平台等等,都可能是我們辨識這部影片是否為 DeepFake 的線索。圖/envato elements

面對持續進化,仍看不見消退的 Deepfake 技術,許志仲也希望未來能有更多人一同加入 Deepfake 辨偽的研究行列,針對 Deepfake 辨偽系統的使用情境,我們還有非常多的問題等著被解答。

-----廣告,請繼續往下閱讀-----
文章難易度
所有討論 3
A編編
11 篇文章 ・ 31 位粉絲
PanSci 編輯|讀物理毀三觀的科學宅,喜歡相聲跟脫口秀,因為它們跟我一樣是個笑話。

0

1
0

文字

分享

0
1
0
人與 AI 的關係是什麼?走進「2024 未來媒體藝術節」,透過藝術創作尋找解答
鳥苷三磷酸 (PanSci Promo)_96
・2024/10/24 ・3176字 ・閱讀時間約 6 分鐘

本文與財團法人臺灣生活美學基金會合作。 

AI 有可能造成人們失業嗎?還是 AI 會成為個人專屬的超級助理?

隨著人工智慧技術的快速發展,AI 與人類之間的關係,成為社會大眾目前最熱烈討論的話題之一,究竟,AI 會成為人類的取代者或是協作者?決定關鍵就在於人們對 AI 的了解和運用能力,唯有人們清楚了解如何使用 AI,才能化 AI 為助力,提高自身的工作效率與生活品質。

有鑑於此,目前正於臺灣當代文化實驗場 C-LAB 展出的「2024 未來媒體藝術節」,特別將展覽主題定調為奇異點(Singularity),透過多重視角探討人工智慧與人類的共生關係。

-----廣告,請繼續往下閱讀-----

C-LAB 策展人吳達坤進一步說明,本次展覽規劃了 4 大章節,共集結來自 9 個國家 23 組藝術家團隊的 26 件作品,帶領觀眾從了解 AI 發展歷史開始,到欣賞各種結合科技的藝術創作,再到與藝術一同探索 AI 未來發展,希望觀眾能從中感受科技如何重塑藝術的創造範式,進而更清楚未來該如何與科技共生與共創。

從歷史看未來:AI 技術發展的 3 個高峰

其中,展覽第一章「流動的錨點」邀請了自牧文化 2 名研究者李佳霖和蔡侑霖,從軟體與演算法發展、硬體發展與世界史、文化與藝術三條軸線,平行梳理 AI 技術發展過程。

圖一、1956 年達特茅斯會議提出「人工智慧」一詞

藉由李佳霖和蔡侑霖長達近半年的調查研究,觀眾對 AI 發展有了清楚的輪廓。自 1956 年達特茅斯會議提出「人工智慧(Artificial Intelligence))」一詞,並明確定出 AI 的任務,例如:自然語言處理、神經網路、計算學理論、隨機性與創造性等,就開啟了全球 AI 研究浪潮,至今將近 70 年的過程間,共迎來三波發展高峰。

第一波技術爆發期確立了自然語言與機器語言的轉換機制,科學家將任務文字化、建立推理規則,再換成機器語言讓機器執行,然而受到演算法及硬體資源限制,使得 AI 只能解決小問題,也因此進入了第一次發展寒冬。

-----廣告,請繼續往下閱讀-----
圖二、1957-1970 年迎來 AI 第一次爆發

之後隨著專家系統的興起,讓 AI 突破技術瓶頸,進入第二次發展高峰期。專家系統是由邏輯推理系統、資料庫、操作介面三者共載而成,由於部份應用領域的邏輯推理方式是相似的,因此只要搭載不同資料庫,就能解決各種問題,克服過去規則設定無窮盡的挑戰。此外,機器學習、類神經網路等技術也在同一時期誕生,雖然是 AI 技術上的一大創新突破,但最終同樣受到硬體限制、技術成熟度等因素影響,導致 AI 再次進入發展寒冬。

走出第二次寒冬的關鍵在於,IBM 超級電腦深藍(Deep Blue)戰勝了西洋棋世界冠軍 Garry Kasparov,加上美國學者 Geoffrey Hinton 推出了新的類神經網路算法,並使用 GPU 進行模型訓練,不只奠定了 NVIDIA 在 AI 中的地位, 自此之後的 AI 研究也大多聚焦在類神經網路上,不斷的追求創新和突破。

圖三、1980 年專家系統的興起,進入第二次高峰

從現在看未來:AI 不僅是工具,也是創作者

隨著時間軸繼續向前推進,如今的 AI 技術不僅深植於類神經網路應用中,更在藝術、創意和日常生活中發揮重要作用,而「2024 未來媒體藝術節」第二章「創造力的轉變」及第三章「創作者的洞見」,便邀請各國藝術家展出運用 AI 與科技的作品。

圖四、2010 年發展至今,高性能電腦與大數據助力讓 AI 技術應用更強

例如,超現代映畫展出的作品《無限共作 3.0》,乃是由來自創意科技、建築師、動畫與互動媒體等不同領域的藝術家,運用 AI 和新科技共同創作的作品。「人們來到此展區,就像走進一間新科技的實驗室,」吳達坤形容,觀眾在此不僅是被動的觀察者,更是主動的參與者,可以親身感受創作方式的轉移,以及 AI 如何幫助藝術家創作。

-----廣告,請繼續往下閱讀-----
圖五、「2024 未來媒體藝術節——奇異點」展出現場,圖為超現代映畫的作品《無限共作3.0》。圖/C-LAB 提供

而第四章「未完的篇章」則邀請觀眾一起思考未來與 AI 共生的方式。臺灣新媒體創作團隊貳進 2ENTER 展出的作品《虛擬尋根-臺灣》,將 AI 人物化,採用與 AI 對話記錄的方法,探討網路發展的歷史和哲學,並專注於臺灣和全球兩個場景。又如國際非營利創作組織戰略技術展出的作品《無時無刻,無所不在》,則是一套協助青少年數位排毒、數位識毒的方法論,使其更清楚在面對網路資訊時,該如何識別何者為真何者為假,更自信地穿梭在數位世界裡。

透過歷史解析引起共鳴

在「2024 未來媒體藝術節」規劃的 4 大章節裡,第一章回顧 AI 發展史的內容設計,可說是臺灣近年來科技或 AI 相關展覽的一大創舉。

過去,這些展覽多半以藝術家的創作為展出重點,很少看到結合 AI 發展歷程、大眾文明演變及流行文化三大領域的展出內容,但李佳霖和蔡侑霖從大量資料中篩選出重點內容並儘可能完整呈現,讓「2024 未來媒體藝術節」觀眾可以清楚 AI 技術於不同階段的演進變化,及各發展階段背後的全球政治經濟與文化狀態,才能在接下來欣賞展區其他藝術創作時有更多共鳴。

圖六、「2024 未來媒體藝術節——奇異點」分成四個章節探究 AI 人工智慧時代的演變與社會議題,圖為第一章「流動的錨點」由自牧文化整理 AI 發展歷程的年表。圖/C-LAB 提供

「畢竟展區空間有限,而科技發展史的資訊量又很龐大,在評估哪些事件適合放入展區時,我們常常在心中上演拉鋸戰,」李佳霖笑著分享進行史料研究時的心路歷程。除了從技術的重要性及代表性去評估應該呈現哪些事件,還要兼顧詞條不能太長、資料量不能太多、確保內容正確性及讓觀眾有感等原則,「不過,歷史事件與展覽主題的關聯性,還是最主要的決定因素,」蔡侑霖補充指出。

-----廣告,請繼續往下閱讀-----

舉例來說,Google 旗下人工智慧實驗室(DeepMind)開發出的 AI 軟體「AlphaFold」,可以準確預測蛋白質的 3D 立體結構,解決科學家長達 50 年都無法突破的難題,雖然是製藥或疾病學領域相當大的技術突破,但因為與本次展覽主題的關聯性較低,故最終沒有列入此次展出內容中。

除了內容篩選外,在呈現方式上,2位研究者也儘量使用淺顯易懂的方式來呈現某些較為深奧難懂的技術內容,蔡侑霖舉例說明,像某些比較艱深的 AI 概念,便改以視覺化的方式來呈現,為此上網搜尋很多與 AI 相關的影片或圖解內容,從中找尋靈感,最後製作成簡單易懂的動畫,希望幫助觀眾輕鬆快速的理解新科技。

吳達坤最後指出,「2024 未來媒體藝術節」除了展出藝術創作,也跟上國際展會發展趨勢,於展覽期間規劃共 10 幾場不同形式的活動,包括藝術家座談、講座、工作坊及專家導覽,例如:由策展人與專家進行現場導覽、邀請臺灣 AI 實驗室創辦人杜奕瑾以「人工智慧與未來藝術」為題舉辦講座,希望透過帶狀活動創造更多話題,也讓展覽效益不斷發酵,讓更多觀眾都能前來體驗由 AI 驅動的未來創新世界,展望 AI 在藝術與生活中的無限潛力。

展覽資訊:「未來媒體藝術節——奇異點」2024 Future Media FEST-Singularity 
展期 ▎2024.10.04 ( Fri. ) – 12.15 ( Sun. ) 週二至週日12:00-19:00,週一休館
地點 ▎臺灣當代文化實驗場圖書館展演空間、北草坪、聯合餐廳展演空間、通信分隊展演空間
指導單位 ▎文化部
主辦單位 ▎臺灣當代文化實驗場

-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
210 篇文章 ・ 312 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

3
0

文字

分享

0
3
0
AI 破解生命密碼!AlphaFold 3 揭開蛋白質折疊的終極謎團
PanSci_96
・2024/10/07 ・1619字 ・閱讀時間約 3 分鐘

AlphaFold的誕生:人工智慧的奇蹟

2018 年,Google 旗下的 DeepMind 團隊推出了第一代 AlphaFold,這是一款基於深度學習的 AI 模型,專門用於預測蛋白質的三維結構。AlphaFold 的命名取自「fold」一詞,意為折疊,指的是蛋白質在胺基酸鏈構成後迅速摺疊成其功能所需的三維結構。

AlphaFold 的突破在於其能夠預測出蛋白質折疊的可能性,這是一個傳統計算方法無法達到的領域。第一代 AlphaFold 在國際 CASP 比賽中取得了一定的成功,雖然其預測準確度尚未達到實驗室標準,但其潛力讓科學家們充滿期待。

歡迎訂閱 Pansci Youtube 頻道 獲取更多深入淺出的科學知識!

為什麼蛋白質結構預測如此重要?

蛋白質是生命的基石,它們的功能取決於其複雜的三維結構。然而,僅靠實驗技術來解析蛋白質的結構既昂貴又耗時。過去科學家依賴於如 X 光晶體繞射等技術來解析蛋白質的結構,然而這種方法雖然精確,但往往需要數年時間來得出一個結論。

到目前為止,人類已知的蛋白質數據庫中,全球僅解析了大約 22 萬種蛋白質的結構,這遠遠不足以滿足生物學和醫學研究的需求。尤其是人類的許多蛋白質結構仍然未知,這成為阻礙醫學進步的一個主要瓶頸,特別是在藥物開發和疾病治療上,因此如何加速對蛋白質的結構的解析至關重要。

-----廣告,請繼續往下閱讀-----

AlphaFold 2:技術飛躍

2020 年,AlphaFold 2 橫空出世,改進了多項技術,預測準確度大幅,幾乎達到了與實驗結果相媲美的程度。這一成就震驚了全球生物學界,許多科學家開始將 AlphaFold 2 應用於實際研究中。

AlphaFold 2 的成功源自於其三大技術革新:

  • 注意力機制:模仿人類的思維模式,從大局出發,關注蛋白質結構中的每一個細節,進而提高預測的準確性。
  • 多序列比對功能:通過搜尋類似的胺基酸序列,推斷新的蛋白質結構。
  • 端到端預測模式:利用深度學習神經網路,不斷反饋預測結果,持續優化模型。
AlphaFold 2 預測準確度大幅提升。 圖/envato

AlphaFold 3:下一代 AI 的力量

隨著 AlphaFold 2 的成功,DeepMind 並未停止其腳步。2024 年 5 月,AlphaFold 3 正式推出,這標誌著 AI 技術在生物學領域的又一個里程碑。AlphaFold 3 的改進再次吸引了科學界的目光,它強化了注意力機制,並引入了擴散模型,這使其能夠更快且更準確地預測複合蛋白質的結構。

擴散模型是一項關鍵技術,它能夠生成大量的可能蛋白質結構,並快速篩選出最可能的解答。與此同時,AlphaFold 3 還內建了「減幻覺」功能,這讓其在產生結果時能夠避免過多不切實際的預測,提升了結果的可信度。

-----廣告,請繼續往下閱讀-----

AlphaFold 的實際應用:醫學與藥物開發

AlphaFold 3 的誕生,不僅是一個技術突破,還為醫學和藥物開發帶來了巨大的希望。過去,癌症治療中的標靶藥物需要經過漫長的實驗才能確定其作用原理,然而現在,通過 AlphaFold 的預測,科學家可以更加精確地針對癌細胞中的錯誤蛋白質,設計出更有效的藥物。

除此之外,AlphaFold 3 還在抗病毒藥物、抗生素以及阿茲海默症等領域展現了潛力。其能夠預測蛋白質與其他分子(如DNA、RNA)的交互作用,這使得研發新藥的過程大大加速。

AlphaFold 3 的挑戰與未來

儘管 AlphaFold 3 取得了驚人的進展,但其仍然面臨一些挑戰。首先,目前 AlphaFold 3 的模型尚未完全開源,這限制了研究人員對其內部運作的了解。為此,一些科學家已聯名要求 DeepMind 開放其程式碼,以便進行更深入的研究和應用。

不過,隨著 AlphaFold 3的逐步推廣,生物學家相信它將繼續改變生物學研究的方式。未來,這項技術有望在解決更多未解難題中發揮關鍵作用,並為醫學領域帶來更大的突破。

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----

討論功能關閉中。

0

1
0

文字

分享

0
1
0
免費字幕君!怎麼用 AI 語音辨識幫你自動生成字幕?
泛科學院_96
・2024/07/08 ・2458字 ・閱讀時間約 5 分鐘

-----廣告,請繼續往下閱讀-----

下載 Youtube 影片、自動生成影片逐字稿、AI 智慧翻譯、匯出雙語 SRT 字幕、字幕內嵌 MP4 影片,甚至是把你的電腦當成 AI 運算伺服器、使用多模態 AI 模型來做圖片辨識……這一切的一切通通都免費,敢有可能 (Kám ū khó-lîng)?

今天的影片要來跟你分享開源 AI 套件 Ollama,這個開源套件AJ 最近上課演講工作坊逢人必教。

今天的影片,我們要手把手教你使用 Ollama 在你的電腦裡執行各種免費開源 AI 模型,希望你能跟我一樣成為 AI 暈船仔……Ollama 真香……啊扯遠了,我們沒有點數可以送。

今天的影片會分成三個部分:

-----廣告,請繼續往下閱讀-----
  1. Ollama 安裝與模型下載
  2. 結合 Memo 翻譯影片字幕
  3. 用多模態模型做圖片辨識

Ollama 安裝與模型下載

首先我們要先安裝 Ollama:

來到 ollama.com 點選 Download,下載適合自己的版本後進行安裝,安裝完畢之後,啟動 Ollama。以我的電腦來說右上角就會出現一個小小的 Ollama 圖示,這樣就成功安裝囉!

接著我們需要下載 AI 模型到你的電腦:

回到 Ollama 首頁,點選右上角 Models,這邊就會列出所有官方支援的模型,比如最近很流行的 Meta LLAMA 3、微軟的 Phi3、法國 Mistral AI 公司的 Mistral、Google Gemini 模型的開源版 Gemma 都有,你可以挑選喜歡的來測試。

-----廣告,請繼續往下閱讀-----

比如我點選 LLAMA 3 的連結,模型頁面有兩個地方要注意:一是模型大小,LLAMA3 是 4.7G,一般而言要玩大模型,電腦記憶體至少 16G,預算夠就 24G 不嫌多;如果你是使用一般文書電腦,記憶體 8G 的話,建議你現在馬上停止你的任何動作。我有測試過電腦會直接當機……不要說我沒有提醒你。

點開 Latest 選單可以依照需求選擇不同版本的模型:

不過我們直接點選最右邊複製執行指令,打開電腦的終端機程式,或著命令提示字元,貼上,這樣電腦就會開始下載並且自動安裝囉。

你可以用 ollama list 指令查看現在電腦內有哪些模型,如果硬碟容量有限,用 ollama rm 後面加上模型名稱可以刪除模型。比如:ollama rm llama3。我們這邊另外安裝 llava 模型:ollama run llava,這樣準備工作就完成囉。

-----廣告,請繼續往下閱讀-----

Ollama + memo

最近只要演講上課,我一定會分享 Memo 這套好用的軟體,我們之前也有一支影片分享他的用法。

最近 Memo 更新之後,我們就可以直接使用 Ollama 結合特定的模型來進行字幕的翻譯。舉例來說,我們打開 memo,複製 Youtube 網址;我們用這支 楊立昆 的演講,貼上網址,開始下載,下載完畢後使用電腦進行語音辨識,接著我們就可以使用 Ollama 搭配剛剛準備好的 LLama3 模型來做翻譯!


翻譯完畢之後就可以匯出 SRT 字幕


如果你本身是影片創作者,這招就可以輕鬆製作你的 SRT 字幕,再也不用花時間對字幕時間軸了。

-----廣告,請繼續往下閱讀-----

或者你要把影片字幕直接內嵌在做簡報的時候播放影片:


匯出 MP4 格式,語言選雙語。如果你還沒用過這招處理影片,我強烈建議你一定要試試看!

Ollama + Enchanted

接下來我們要分享另一套非常實用的工具——Enchanted。他也是開源,可以讓原本是文字介面的 Ollama
提供類似 ChatGPT 的對話視窗,甚至支援圖片辨識的多模態模型 llava,Mac 用戶可以直接去 App Store 免費安裝。


同時開啟 Ollama 跟 Enchanted LLM:

-----廣告,請繼續往下閱讀-----


就擁有一個漂亮的視窗介面,可以優雅的啟用各種想要測試的 AI 模型,他甚至有手機版 APP!用手機連線自己的蘋果電腦跑 AI 模型?這……這,真的可以免費用嗎?

讓我來試試看!

首先要先安裝 ngrok 這套程式,選擇自己的作業系統然後下載。Windows 用戶應該直接安裝就可以了,Mac 的用戶在終端機執行這行 Sudo 指令把程式解壓縮到 user local bin 資料夾,接著註冊一個免費的 ngrok 帳號。

複製 ngrok config 指令,貼回自己電腦的終端機,把連線金鑰寫入自己的電腦。

-----廣告,請繼續往下閱讀-----

最後一步,啟動連線,指令是:ngrok http 11434 –host-header=”localhost:11434″

一切順利的話就會看到類似這個畫面。

然後把 forwarding 的網址複製,打開 iPhone 或 iPad 的 Enchanted app,在設定 Setting 裡面把 Ollama 網址貼上,這樣就可以遠端調用電腦的 Ollama 來使用 AI 模型,比如選用稍早下載的 LLava 多模態模型。

傳一張照片,問它這是什麼?

-----廣告,請繼續往下閱讀-----


是不是非常神奇呢?
快練習把 ollama、ngrok 跟 Enchanted 串起來跟朋友炫耀吧!

總結

今天的影片跟各位分享了基於 Ollama 這個開源 AI 套件的各種有趣應用,你是否有成功在 iphone 上打造自己的 AI 服務呢?

  1. 太複雜了我決定躺平
  2. 笑話,我可是尊榮的 GPT Plus 用戶
  3. 沒有 Mac 電腦不能玩……嗚嗚嗚
  4. 你怎麼不介紹那個 ooxx Ollama 套件

如果有其他想看的 AI 工具測試或相關問題,也可以留言告訴我們~

更多、更完整的內容,歡迎上泛科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

泛科學院_96
44 篇文章 ・ 52 位粉絲
我是泛科學院的AJ,有15年的軟體測試與電腦教育經驗,善於協助偏鄉NPO提升資訊能力,以Maker角度用發明解決身邊大小問題。與你分享人工智慧相關應用,每週更新兩集,讓我們帶你進入科技與創新的奇妙世界,為未來開啟無限可能!