0

32
4

文字

分享

0
32
4

人海中注意你的聲音、喧鬧中聽見我的名字:認識雞尾酒會效應

雅文兒童聽語文教基金會_96
・2021/05/24 ・3028字 ・閱讀時間約 6 分鐘

  • 文 / 李翊瑞|雅文基金會聽語科學研究中心研究助理

在一場雞尾酒會上,有著豐盛的佳餚,以及來自四面八方的賓客。你與三五好友們正享受著派對的氣氛,開心地閒聊彼此的生活。儘管環境中充滿各式各樣的聲音—空調運行的風聲、會場的背景音樂、以及隔壁桌的談笑聲,似乎一點也不打斷你們之間交談的樂趣。然而,當你正專注地和眼前的朋友聊天,並聊得渾然忘我時,另一位好友在遠方呼喚你的名字,你卻能馬上回過頭去尋找聲音的來源,究竟是怎麼辦到的呢?

身處在派對的吵雜的環境中,我們卻能盡情地與朋友們把酒言歡,彷彿一點也不受干擾。圖/Pexels

左耳進,左耳出?雞尾酒會效應的發現

前面所提到的現象稱為雞尾酒會效應(cocktail-party effect),指的是在環境中其他對話或噪音干擾的情況下,選擇性聆聽特定聲音的能力[1]。雞尾酒會效應最早是由英國認知科學家 Colin Cherry 於 1953 年提出[2],有趣的是,Cherry 在進行研究時,並沒有舉辦或者參加了很多場雞尾酒會,而是設計了一項名為跟讀(shadowing)的實驗。

在跟讀實驗中,受試者會載上耳機,左耳及右耳會聽到完全不同的句子,且聽到的當下必須馬上複誦其中一耳所聽到的內容。例如當被要求複誦「右耳」所聽到的內容,而左耳聽到「在她的野餐籃裡,有著花生醬、三明治……」,右耳聽到「有隻小貓正在追著老鼠…」時,受試者就必須即時回答「有隻小貓正在追著老鼠……」。實驗結果發現[2],多數的受試者都能正確跟讀某一耳所聽到的語句,並忽略另一耳的訊息,顯示注意力(attention)似乎能選擇性地投入某個事物上。

在跟讀實驗裡,雙耳會分別呈現不同的訊息,而受試者必須注意聆聽並覆誦其中一隻耳朵聽到的內容。圖/雅文基金會

是誰在呼喚我?刻在心底的名字

然而,當受試者正聚精會神地聆聽與複誦右耳的句子時,未受注意的左耳所聽到的內容,真的就如同耳邊風一樣,完全沒有進入大腦的處理歷程嗎?其實,有部分的訊息依然可以被我們的大腦所處理。

-----廣告,請繼續往下閱讀-----

在剛剛所提到的實驗中,Cherry 指出受試者雖然很難回答出未受注意一耳的語句內容,卻能察覺到訊息在語音性質上的變化—像是從句子變成單音,或是從男性的聲音變成女性的聲音[2]。更特別的是,後續研究發現當未受注意的一耳出現自己的名字時,受試者也能即時察覺,並將注意力轉移到原本未受注意的一耳[3]。而這種聽到自己名字的現象不僅出現在成人,甚至在五個多月大的嬰兒身上就能觀察到[4]

聽覺注意力的調節水閥,訊息被減弱但不消失

即使我們特別去注意某些訊息,並忽略環境中的其他刺激,仍然有部分訊息會被大腦所處理。不論是前面所提到的語音性質變化、或是自己的名字,雞尾酒會效應顯示了訊息的處理似乎不是依循全有或全無的原則(all-or-none law):接收應注意的訊息,並過濾或排除掉所有不需注意的訊息。

為了進一步解釋此現象,英國心理學家 Anne Treisman 提出了注意力的減弱模型(attenuation model[5,6]—這個模型主張注意力系統分為四個階段:感官收錄(sensory register)、減弱控制(attenuation control)、知覺歷程(perceptual process)和短期記憶(short-term memory),其中最特別的就是「減弱控制」這個部分。

減弱控制就像是調節訊息的水閥,那些未受注意的訊息,由於和當下正在進行的任務無關(如跟讀作業),而轉為減弱的狀態存在於系統中。最後,被減弱的訊息會進入短期記憶,再依據各個訊息的閾值(threshold)高低而被受試者察覺。閾值可以想像成是個門檻,不同的訊息有不同的門檻,而門檻越低越容易被覺察。像是自己的名字由於閾值較低,因此我們很容易就能注意到;相反的,一些不常聽到的字詞,因為閾值較高而較難被察覺[6]

-----廣告,請繼續往下閱讀-----
在 Treisman 的減弱模型中,未受注意的訊息以「減弱」的狀態存在,而非完全被注意力系統排除。圖/Sternberg et al., 2012

用對方法,背景噪音不干擾

「對不起,你剛說什麼?」、「麻煩你說大聲一點」在日常生活中,是不是常常聽到這些話呢?當環境中充斥著各種噪音時,我們能不能主動採取一些策略,讓對方的聲音變得更清楚呢?假如你正打算參加一場派對、或是到一間人聲嘈雜的餐廳,以下三個方法將更有助於你把注意力焦點放在眼前的對話,而不被環境的噪音輕易打斷[1,7]

  1. 留意目標聲音的特性

留意目標說話者一些明顯的聲音特性(像是阿霞有煙嗓,聲音低沉充滿磁性,講話慢慢的),能有效降低鄰近對話內容的干擾。

  1. 提升對話的音量

隨著對話音量的提升,環境中的其他聲音轉為背景音,使對話內容變得更為突出。

  1. 尋找聲音的來源處

不論是眼前的對話,或者是環境中的其他對話或雜音,若能清楚各個聲音的來源(如前後、左右或遠近位置),更有助於將注意力集中在目標來源上。就像坐在咖啡廳突然聽到情侶吵架聲,在定位他們的位置後,通常偷聽起來就會更輕鬆。

-----廣告,請繼續往下閱讀-----

Google AI 新應用,讓機器模仿人類的雞尾酒會效應

在吵雜環境中,將注意力集中在特定的目標上,藉以分辨不同的聲音內容,是人類與生俱來的能力;然而,這件事情對於機器來說卻顯得格外的困難,原因在於當多人同時說話時,混雜的音訊會影響單一人聲的辨識效果。不過,隨著科技的進步,人工智慧技術(artificial intelligenceAI)的發展,現在機器也能辦到同樣的事情!

由 Google 研發團隊結合 AI 所打造的視聽語音分離模型 (audio-visual speech separation model)能夠有效地增強特定說話者的聲音,同時降低環境中其他人聲或雜音干擾[8]。這套系統獨特的地方,在於它能夠同時分析視覺特徵和語音訊息,判讀說話者的嘴型與聲音的變化,建立人與聲音之間的對應關係[9]

這項技術的發展,未來也可望應用在許多領域上:像是在多人對話的影片中,提升自動化字幕生成的正確率。另一方面,也可以用來提升助聽輔具的表現,幫助聽損人士即使身處在吵雜環境中,依然能夠聽到清晰的人聲。

Google 所開發的視聽語音分離模型,能同時判讀視覺(嘴型)與聽覺(語音)特徵,進而獨立出特定說話者的聲音。圖/Ephrat et al., 2018

雞尾酒會效應揭開了注意力系統的奧妙,使我們能在吵雜環境中去關注重要的訊息。瞭解了越多相關的原理與應用後,不妨想想日常生活中還有哪些雞尾酒會效應吧!

-----廣告,請繼續往下閱讀-----

參考資料

  1. Sternberg, R. J., Sternberg, K., & Mio, J. S. (2012). Cognitive Psychology. Wadsworth/Cengage Learning.
  2. Cherry, E. C. (1953). Some experiments on the recognition of speech, with one and with two ears. The Journal of the Acoustical Society of America, 25(5), 975–979.
  3. Moray, N. (1959). Attention in Dichotic Listening: Affective Cues and the Influence of Instructions. Quarterly Journal of Experimental Psychology, 11(1), 56–60.
  4. Newman R. S. (2005). The cocktail party effect in infants revisited: listening to one’s name in noise. Developmental Psychology41(2), 352–362.
  5. Treisman A. M. (1964). Monitoring and storage of irrelevant messages in selective attention. Journal of Verbal Learning and Verbal Behavior, 3(6), 449–459.
  6. Treisman A. M. (1969). Strategies and models of selective attention. Psychological Review76(3), 282–299.
  7. Brungart, D. S., & Simpson, B. D. (2007). Cocktail party listening in a dynamic multitalker environment. Perception and Psychophysics, 69(1), 79–91.
  8.  Mosseri, I., & Lang, O. (2018, April 11). Looking to Listen: Audio-Visual Speech Separation. Google AI Blog.
  9. Ephrat, A., Mosseri, I., Lang, O., Dekel, T., Wilson, K., Hassidim, A., Freeman, W. T., & Rubinstein, M. (2018). Looking to listen at the cocktail party. ACM Transactions on Graphics, 37(4), 1–11.
-----廣告,請繼續往下閱讀-----
文章難易度
雅文兒童聽語文教基金會_96
58 篇文章 ・ 222 位粉絲
雅文基金會提供聽損兒早期療育服務,近年來更致力分享親子教養資訊、推動聽損兒童融合教育,並普及聽力保健知識,期盼在家庭、學校和社會埋下良善的種子,替聽損者營造更加友善的環境。

0

1
0

文字

分享

0
1
0
人與 AI 的關係是什麼?走進「2024 未來媒體藝術節」,透過藝術創作尋找解答
鳥苷三磷酸 (PanSci Promo)_96
・2024/10/24 ・3176字 ・閱讀時間約 6 分鐘

本文與財團法人臺灣生活美學基金會合作。 

AI 有可能造成人們失業嗎?還是 AI 會成為個人專屬的超級助理?

隨著人工智慧技術的快速發展,AI 與人類之間的關係,成為社會大眾目前最熱烈討論的話題之一,究竟,AI 會成為人類的取代者或是協作者?決定關鍵就在於人們對 AI 的了解和運用能力,唯有人們清楚了解如何使用 AI,才能化 AI 為助力,提高自身的工作效率與生活品質。

有鑑於此,目前正於臺灣當代文化實驗場 C-LAB 展出的「2024 未來媒體藝術節」,特別將展覽主題定調為奇異點(Singularity),透過多重視角探討人工智慧與人類的共生關係。

-----廣告,請繼續往下閱讀-----

C-LAB 策展人吳達坤進一步說明,本次展覽規劃了 4 大章節,共集結來自 9 個國家 23 組藝術家團隊的 26 件作品,帶領觀眾從了解 AI 發展歷史開始,到欣賞各種結合科技的藝術創作,再到與藝術一同探索 AI 未來發展,希望觀眾能從中感受科技如何重塑藝術的創造範式,進而更清楚未來該如何與科技共生與共創。

從歷史看未來:AI 技術發展的 3 個高峰

其中,展覽第一章「流動的錨點」邀請了自牧文化 2 名研究者李佳霖和蔡侑霖,從軟體與演算法發展、硬體發展與世界史、文化與藝術三條軸線,平行梳理 AI 技術發展過程。

圖一、1956 年達特茅斯會議提出「人工智慧」一詞

藉由李佳霖和蔡侑霖長達近半年的調查研究,觀眾對 AI 發展有了清楚的輪廓。自 1956 年達特茅斯會議提出「人工智慧(Artificial Intelligence))」一詞,並明確定出 AI 的任務,例如:自然語言處理、神經網路、計算學理論、隨機性與創造性等,就開啟了全球 AI 研究浪潮,至今將近 70 年的過程間,共迎來三波發展高峰。

第一波技術爆發期確立了自然語言與機器語言的轉換機制,科學家將任務文字化、建立推理規則,再換成機器語言讓機器執行,然而受到演算法及硬體資源限制,使得 AI 只能解決小問題,也因此進入了第一次發展寒冬。

-----廣告,請繼續往下閱讀-----
圖二、1957-1970 年迎來 AI 第一次爆發

之後隨著專家系統的興起,讓 AI 突破技術瓶頸,進入第二次發展高峰期。專家系統是由邏輯推理系統、資料庫、操作介面三者共載而成,由於部份應用領域的邏輯推理方式是相似的,因此只要搭載不同資料庫,就能解決各種問題,克服過去規則設定無窮盡的挑戰。此外,機器學習、類神經網路等技術也在同一時期誕生,雖然是 AI 技術上的一大創新突破,但最終同樣受到硬體限制、技術成熟度等因素影響,導致 AI 再次進入發展寒冬。

走出第二次寒冬的關鍵在於,IBM 超級電腦深藍(Deep Blue)戰勝了西洋棋世界冠軍 Garry Kasparov,加上美國學者 Geoffrey Hinton 推出了新的類神經網路算法,並使用 GPU 進行模型訓練,不只奠定了 NVIDIA 在 AI 中的地位, 自此之後的 AI 研究也大多聚焦在類神經網路上,不斷的追求創新和突破。

圖三、1980 年專家系統的興起,進入第二次高峰

從現在看未來:AI 不僅是工具,也是創作者

隨著時間軸繼續向前推進,如今的 AI 技術不僅深植於類神經網路應用中,更在藝術、創意和日常生活中發揮重要作用,而「2024 未來媒體藝術節」第二章「創造力的轉變」及第三章「創作者的洞見」,便邀請各國藝術家展出運用 AI 與科技的作品。

圖四、2010 年發展至今,高性能電腦與大數據助力讓 AI 技術應用更強

例如,超現代映畫展出的作品《無限共作 3.0》,乃是由來自創意科技、建築師、動畫與互動媒體等不同領域的藝術家,運用 AI 和新科技共同創作的作品。「人們來到此展區,就像走進一間新科技的實驗室,」吳達坤形容,觀眾在此不僅是被動的觀察者,更是主動的參與者,可以親身感受創作方式的轉移,以及 AI 如何幫助藝術家創作。

-----廣告,請繼續往下閱讀-----
圖五、「2024 未來媒體藝術節——奇異點」展出現場,圖為超現代映畫的作品《無限共作3.0》。圖/C-LAB 提供

而第四章「未完的篇章」則邀請觀眾一起思考未來與 AI 共生的方式。臺灣新媒體創作團隊貳進 2ENTER 展出的作品《虛擬尋根-臺灣》,將 AI 人物化,採用與 AI 對話記錄的方法,探討網路發展的歷史和哲學,並專注於臺灣和全球兩個場景。又如國際非營利創作組織戰略技術展出的作品《無時無刻,無所不在》,則是一套協助青少年數位排毒、數位識毒的方法論,使其更清楚在面對網路資訊時,該如何識別何者為真何者為假,更自信地穿梭在數位世界裡。

透過歷史解析引起共鳴

在「2024 未來媒體藝術節」規劃的 4 大章節裡,第一章回顧 AI 發展史的內容設計,可說是臺灣近年來科技或 AI 相關展覽的一大創舉。

過去,這些展覽多半以藝術家的創作為展出重點,很少看到結合 AI 發展歷程、大眾文明演變及流行文化三大領域的展出內容,但李佳霖和蔡侑霖從大量資料中篩選出重點內容並儘可能完整呈現,讓「2024 未來媒體藝術節」觀眾可以清楚 AI 技術於不同階段的演進變化,及各發展階段背後的全球政治經濟與文化狀態,才能在接下來欣賞展區其他藝術創作時有更多共鳴。

圖六、「2024 未來媒體藝術節——奇異點」分成四個章節探究 AI 人工智慧時代的演變與社會議題,圖為第一章「流動的錨點」由自牧文化整理 AI 發展歷程的年表。圖/C-LAB 提供

「畢竟展區空間有限,而科技發展史的資訊量又很龐大,在評估哪些事件適合放入展區時,我們常常在心中上演拉鋸戰,」李佳霖笑著分享進行史料研究時的心路歷程。除了從技術的重要性及代表性去評估應該呈現哪些事件,還要兼顧詞條不能太長、資料量不能太多、確保內容正確性及讓觀眾有感等原則,「不過,歷史事件與展覽主題的關聯性,還是最主要的決定因素,」蔡侑霖補充指出。

-----廣告,請繼續往下閱讀-----

舉例來說,Google 旗下人工智慧實驗室(DeepMind)開發出的 AI 軟體「AlphaFold」,可以準確預測蛋白質的 3D 立體結構,解決科學家長達 50 年都無法突破的難題,雖然是製藥或疾病學領域相當大的技術突破,但因為與本次展覽主題的關聯性較低,故最終沒有列入此次展出內容中。

除了內容篩選外,在呈現方式上,2位研究者也儘量使用淺顯易懂的方式來呈現某些較為深奧難懂的技術內容,蔡侑霖舉例說明,像某些比較艱深的 AI 概念,便改以視覺化的方式來呈現,為此上網搜尋很多與 AI 相關的影片或圖解內容,從中找尋靈感,最後製作成簡單易懂的動畫,希望幫助觀眾輕鬆快速的理解新科技。

吳達坤最後指出,「2024 未來媒體藝術節」除了展出藝術創作,也跟上國際展會發展趨勢,於展覽期間規劃共 10 幾場不同形式的活動,包括藝術家座談、講座、工作坊及專家導覽,例如:由策展人與專家進行現場導覽、邀請臺灣 AI 實驗室創辦人杜奕瑾以「人工智慧與未來藝術」為題舉辦講座,希望透過帶狀活動創造更多話題,也讓展覽效益不斷發酵,讓更多觀眾都能前來體驗由 AI 驅動的未來創新世界,展望 AI 在藝術與生活中的無限潛力。

展覽資訊:「未來媒體藝術節——奇異點」2024 Future Media FEST-Singularity 
展期 ▎2024.10.04 ( Fri. ) – 12.15 ( Sun. ) 週二至週日12:00-19:00,週一休館
地點 ▎臺灣當代文化實驗場圖書館展演空間、北草坪、聯合餐廳展演空間、通信分隊展演空間
指導單位 ▎文化部
主辦單位 ▎臺灣當代文化實驗場

-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
210 篇文章 ・ 312 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

3
0

文字

分享

0
3
0
AI 破解生命密碼!AlphaFold 3 揭開蛋白質折疊的終極謎團
PanSci_96
・2024/10/07 ・1619字 ・閱讀時間約 3 分鐘

-----廣告,請繼續往下閱讀-----

AlphaFold的誕生:人工智慧的奇蹟

2018 年,Google 旗下的 DeepMind 團隊推出了第一代 AlphaFold,這是一款基於深度學習的 AI 模型,專門用於預測蛋白質的三維結構。AlphaFold 的命名取自「fold」一詞,意為折疊,指的是蛋白質在胺基酸鏈構成後迅速摺疊成其功能所需的三維結構。

AlphaFold 的突破在於其能夠預測出蛋白質折疊的可能性,這是一個傳統計算方法無法達到的領域。第一代 AlphaFold 在國際 CASP 比賽中取得了一定的成功,雖然其預測準確度尚未達到實驗室標準,但其潛力讓科學家們充滿期待。

歡迎訂閱 Pansci Youtube 頻道 獲取更多深入淺出的科學知識!

為什麼蛋白質結構預測如此重要?

蛋白質是生命的基石,它們的功能取決於其複雜的三維結構。然而,僅靠實驗技術來解析蛋白質的結構既昂貴又耗時。過去科學家依賴於如 X 光晶體繞射等技術來解析蛋白質的結構,然而這種方法雖然精確,但往往需要數年時間來得出一個結論。

到目前為止,人類已知的蛋白質數據庫中,全球僅解析了大約 22 萬種蛋白質的結構,這遠遠不足以滿足生物學和醫學研究的需求。尤其是人類的許多蛋白質結構仍然未知,這成為阻礙醫學進步的一個主要瓶頸,特別是在藥物開發和疾病治療上,因此如何加速對蛋白質的結構的解析至關重要。

-----廣告,請繼續往下閱讀-----

AlphaFold 2:技術飛躍

2020 年,AlphaFold 2 橫空出世,改進了多項技術,預測準確度大幅,幾乎達到了與實驗結果相媲美的程度。這一成就震驚了全球生物學界,許多科學家開始將 AlphaFold 2 應用於實際研究中。

AlphaFold 2 的成功源自於其三大技術革新:

  • 注意力機制:模仿人類的思維模式,從大局出發,關注蛋白質結構中的每一個細節,進而提高預測的準確性。
  • 多序列比對功能:通過搜尋類似的胺基酸序列,推斷新的蛋白質結構。
  • 端到端預測模式:利用深度學習神經網路,不斷反饋預測結果,持續優化模型。
AlphaFold 2 預測準確度大幅提升。 圖/envato

AlphaFold 3:下一代 AI 的力量

隨著 AlphaFold 2 的成功,DeepMind 並未停止其腳步。2024 年 5 月,AlphaFold 3 正式推出,這標誌著 AI 技術在生物學領域的又一個里程碑。AlphaFold 3 的改進再次吸引了科學界的目光,它強化了注意力機制,並引入了擴散模型,這使其能夠更快且更準確地預測複合蛋白質的結構。

擴散模型是一項關鍵技術,它能夠生成大量的可能蛋白質結構,並快速篩選出最可能的解答。與此同時,AlphaFold 3 還內建了「減幻覺」功能,這讓其在產生結果時能夠避免過多不切實際的預測,提升了結果的可信度。

-----廣告,請繼續往下閱讀-----

AlphaFold 的實際應用:醫學與藥物開發

AlphaFold 3 的誕生,不僅是一個技術突破,還為醫學和藥物開發帶來了巨大的希望。過去,癌症治療中的標靶藥物需要經過漫長的實驗才能確定其作用原理,然而現在,通過 AlphaFold 的預測,科學家可以更加精確地針對癌細胞中的錯誤蛋白質,設計出更有效的藥物。

除此之外,AlphaFold 3 還在抗病毒藥物、抗生素以及阿茲海默症等領域展現了潛力。其能夠預測蛋白質與其他分子(如DNA、RNA)的交互作用,這使得研發新藥的過程大大加速。

AlphaFold 3 的挑戰與未來

儘管 AlphaFold 3 取得了驚人的進展,但其仍然面臨一些挑戰。首先,目前 AlphaFold 3 的模型尚未完全開源,這限制了研究人員對其內部運作的了解。為此,一些科學家已聯名要求 DeepMind 開放其程式碼,以便進行更深入的研究和應用。

不過,隨著 AlphaFold 3的逐步推廣,生物學家相信它將繼續改變生物學研究的方式。未來,這項技術有望在解決更多未解難題中發揮關鍵作用,並為醫學領域帶來更大的突破。

-----廣告,請繼續往下閱讀-----
-----廣告,請繼續往下閱讀-----

討論功能關閉中。

0

1
0

文字

分享

0
1
0
免費字幕君!怎麼用 AI 語音辨識幫你自動生成字幕?
泛科學院_96
・2024/07/08 ・2458字 ・閱讀時間約 5 分鐘

下載 Youtube 影片、自動生成影片逐字稿、AI 智慧翻譯、匯出雙語 SRT 字幕、字幕內嵌 MP4 影片,甚至是把你的電腦當成 AI 運算伺服器、使用多模態 AI 模型來做圖片辨識……這一切的一切通通都免費,敢有可能 (Kám ū khó-lîng)?

今天的影片要來跟你分享開源 AI 套件 Ollama,這個開源套件AJ 最近上課演講工作坊逢人必教。

今天的影片,我們要手把手教你使用 Ollama 在你的電腦裡執行各種免費開源 AI 模型,希望你能跟我一樣成為 AI 暈船仔……Ollama 真香……啊扯遠了,我們沒有點數可以送。

今天的影片會分成三個部分:

-----廣告,請繼續往下閱讀-----
  1. Ollama 安裝與模型下載
  2. 結合 Memo 翻譯影片字幕
  3. 用多模態模型做圖片辨識

Ollama 安裝與模型下載

首先我們要先安裝 Ollama:

來到 ollama.com 點選 Download,下載適合自己的版本後進行安裝,安裝完畢之後,啟動 Ollama。以我的電腦來說右上角就會出現一個小小的 Ollama 圖示,這樣就成功安裝囉!

接著我們需要下載 AI 模型到你的電腦:

回到 Ollama 首頁,點選右上角 Models,這邊就會列出所有官方支援的模型,比如最近很流行的 Meta LLAMA 3、微軟的 Phi3、法國 Mistral AI 公司的 Mistral、Google Gemini 模型的開源版 Gemma 都有,你可以挑選喜歡的來測試。

-----廣告,請繼續往下閱讀-----

比如我點選 LLAMA 3 的連結,模型頁面有兩個地方要注意:一是模型大小,LLAMA3 是 4.7G,一般而言要玩大模型,電腦記憶體至少 16G,預算夠就 24G 不嫌多;如果你是使用一般文書電腦,記憶體 8G 的話,建議你現在馬上停止你的任何動作。我有測試過電腦會直接當機……不要說我沒有提醒你。

點開 Latest 選單可以依照需求選擇不同版本的模型:

不過我們直接點選最右邊複製執行指令,打開電腦的終端機程式,或著命令提示字元,貼上,這樣電腦就會開始下載並且自動安裝囉。

你可以用 ollama list 指令查看現在電腦內有哪些模型,如果硬碟容量有限,用 ollama rm 後面加上模型名稱可以刪除模型。比如:ollama rm llama3。我們這邊另外安裝 llava 模型:ollama run llava,這樣準備工作就完成囉。

-----廣告,請繼續往下閱讀-----

Ollama + memo

最近只要演講上課,我一定會分享 Memo 這套好用的軟體,我們之前也有一支影片分享他的用法。

最近 Memo 更新之後,我們就可以直接使用 Ollama 結合特定的模型來進行字幕的翻譯。舉例來說,我們打開 memo,複製 Youtube 網址;我們用這支 楊立昆 的演講,貼上網址,開始下載,下載完畢後使用電腦進行語音辨識,接著我們就可以使用 Ollama 搭配剛剛準備好的 LLama3 模型來做翻譯!


翻譯完畢之後就可以匯出 SRT 字幕


如果你本身是影片創作者,這招就可以輕鬆製作你的 SRT 字幕,再也不用花時間對字幕時間軸了。

-----廣告,請繼續往下閱讀-----

或者你要把影片字幕直接內嵌在做簡報的時候播放影片:


匯出 MP4 格式,語言選雙語。如果你還沒用過這招處理影片,我強烈建議你一定要試試看!

Ollama + Enchanted

接下來我們要分享另一套非常實用的工具——Enchanted。他也是開源,可以讓原本是文字介面的 Ollama
提供類似 ChatGPT 的對話視窗,甚至支援圖片辨識的多模態模型 llava,Mac 用戶可以直接去 App Store 免費安裝。


同時開啟 Ollama 跟 Enchanted LLM:

-----廣告,請繼續往下閱讀-----


就擁有一個漂亮的視窗介面,可以優雅的啟用各種想要測試的 AI 模型,他甚至有手機版 APP!用手機連線自己的蘋果電腦跑 AI 模型?這……這,真的可以免費用嗎?

讓我來試試看!

首先要先安裝 ngrok 這套程式,選擇自己的作業系統然後下載。Windows 用戶應該直接安裝就可以了,Mac 的用戶在終端機執行這行 Sudo 指令把程式解壓縮到 user local bin 資料夾,接著註冊一個免費的 ngrok 帳號。

複製 ngrok config 指令,貼回自己電腦的終端機,把連線金鑰寫入自己的電腦。

-----廣告,請繼續往下閱讀-----

最後一步,啟動連線,指令是:ngrok http 11434 –host-header=”localhost:11434″

一切順利的話就會看到類似這個畫面。

然後把 forwarding 的網址複製,打開 iPhone 或 iPad 的 Enchanted app,在設定 Setting 裡面把 Ollama 網址貼上,這樣就可以遠端調用電腦的 Ollama 來使用 AI 模型,比如選用稍早下載的 LLava 多模態模型。

傳一張照片,問它這是什麼?

-----廣告,請繼續往下閱讀-----


是不是非常神奇呢?
快練習把 ollama、ngrok 跟 Enchanted 串起來跟朋友炫耀吧!

總結

今天的影片跟各位分享了基於 Ollama 這個開源 AI 套件的各種有趣應用,你是否有成功在 iphone 上打造自己的 AI 服務呢?

  1. 太複雜了我決定躺平
  2. 笑話,我可是尊榮的 GPT Plus 用戶
  3. 沒有 Mac 電腦不能玩……嗚嗚嗚
  4. 你怎麼不介紹那個 ooxx Ollama 套件

如果有其他想看的 AI 工具測試或相關問題,也可以留言告訴我們~

更多、更完整的內容,歡迎上泛科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

泛科學院_96
44 篇文章 ・ 52 位粉絲
我是泛科學院的AJ,有15年的軟體測試與電腦教育經驗,善於協助偏鄉NPO提升資訊能力,以Maker角度用發明解決身邊大小問題。與你分享人工智慧相關應用,每週更新兩集,讓我們帶你進入科技與創新的奇妙世界,為未來開啟無限可能!