0

1
1

文字

分享

0
1
1

下棋之外也能看病?淺析台灣人工智慧醫療之發展

Research Portal(科技政策觀點)_96
・2019/07/24 ・4071字 ・閱讀時間約 8 分鐘 ・SR值 589 ・九年級

-----廣告,請繼續往下閱讀-----

文/呂宜瑾

從探索、深度學習到圍棋奪勝,人工智慧的歷史與發展

圖/deviantart @agsandrew

「人工智慧」(Artificial Intelligence,簡稱AI),顧名思義是由人類所製造出來的機器(電腦),透過反覆的訓練與學習所展現的智慧。AI內含了「機器學習」、「深度學習」與「自然語言」等概念,且依據電腦能處理與判斷的能力不同,產生不同的分級。

AI發展的歷史,從第一台電腦出現迄今已過半世紀,期間經歷了三波熱潮,前兩次熱潮因受限於當時的技術發展而退燒(曲建仲,2018;盧傑瑞,2018)。

(一)第一波熱潮(1950~1960年):探索與推論的時代

1946 年,全世界第一台電腦Enica誕生,之後的 10 年,在 1956 年達特茅斯研習會(Dartmouth Workshop)中首度出現「人工智慧」 (Artificial Intelligence,簡稱 AI)的專有名詞。

-----廣告,請繼續往下閱讀-----

(二) 第二波熱潮(1980~1990年):知識的時代

專家系統:自 1980 年開始,將大量的專家知識輸入電腦中,再由電腦依據使用者的問題來判斷答案,後續應用在疾病的初步診斷。

(三) 第三波熱潮(2000年~現在):深度學習的時代

自 2000 年起,半導體技術的進步,提升了電腦運算的能力;半導體的成本下降,讓雲端儲存的使用變得便宜。而透過雲端伺服器蒐集而來的大數據(Big Data),則成為了 AI 發展最重要的資源。

圍棋是目前最複雜的棋,本文作者估計可能的盤面狀況約有10170種。圖/wikipedia。
圍棋是目前最複雜的棋,粗估可能的盤面狀況約有10^170種。圖/wikipedia

2016年,Google 開發的人工智慧 AlphaGo,打敗南韓棋王李世乭後,讓 AI 的發展再次受到重視。2018 年,美國國際研究暨顧問公司 Gartner「十大技術趨勢」報告中指出,AI技術是近年科技發展的重要目標,並預估 2018 年 AI 相關產業年產值達 1.2 兆美元,相較前一年成長 70%,2022 年相關產值則達  3.9 兆美元(Kasey Panetta, 2017;Gartner, 2018)。

而最新一期 2019「十大技術趨勢」報告中,除了原有 AI 技術外,其餘 AI 衍生或是相關技術也名列其中,可能在未來 5 年內快速成長,對於人類生活、產業發展、科學技術更有機會帶來顛覆性的影響(Gartner, 2019)。

-----廣告,請繼續往下閱讀-----

進入「深度學習」時代的 AI 醫療應用

圖/fshoq

依據美國市調機構 CB Insights 的調研結果,從投資趨勢來看,自 2013 年起,美國 AI 醫療新創投資件數共 576 件,募資金額超過 43 億美元,位居 AI 新創相關產業募資首位,而 AI 醫療募資之案件數,也於 2018 年第二季達新高峰,AI 醫療受矚目的程度,可見一斑(Kyle Wiggers, 2018)。

AI 醫療的應用,進入「深度學習」的時代,除了將大量生理資訊輸入電腦,透過拋轉、整合、計算與紀錄,作為醫護團隊預測參考依據外,目前較主流的應用仍為醫學影像辨識。以台灣為例,國人每年平均看診次數約為 15 次,所累積的處方簽高達 3 億 6 千萬張;每年約有 200 萬人次使用電腦斷層與核磁共振等影像檢查,以肺部電腦斷層掃瞄為例,每進行一次電腦斷層掃瞄便可產生 500 張影像,一位有經驗的醫師進行初步篩選至少就要花 20 分鐘。

醫療技術的進步,讓診斷更為細緻,疾病的分類則變得更為複雜。傳統影像辨識,靠的是醫師肉眼的判斷與經驗,一旦醫療數據增多、辨識時間拉長,長時間的工作帶來的疲乏,加上疾病的高複雜度,使醫師犯錯的機率提高(王若樸-c, ,2019; 基因線上,2018)。

醫療影像辨識的發展,可追溯到 2012 年,由 Google 所建立的 ImageNet,一個開放使用的圖像辨識測試數據庫,參賽者將深度學習應用到ImageNet,使圖樣辨識準確度高達 85%,在當年電腦視覺比賽中奪冠,確認了深度學習在影像辨識的可行性。2016 年,Google 旗下的科研機構,發表了第一篇由機器深度學習進而提早發現糖尿病視網膜病變的論文,透過糖尿病患視網膜的影像辨識,早期偵測病變預防失明,技術研發成果後續將佈署於印度等眼科醫師缺乏的國家。

-----廣告,請繼續往下閱讀-----
圖/pixabay

台灣實施全民健康保險迄今已 24 年,病歷電子化也即將邁入第 10 年,巨量的醫療數據累積,成為台灣發展 AI 醫療的利基。分析醫療數據的組成,除了基本的生理資訊外,絕大部分就是各類的影像資料,包含:X光片、超音波、核磁共振、電腦斷層、病理切片等。影像辨識技術的發展,除了要足夠的影像資料來「訓練」電腦,從數據獲取→分析→建立模組,最後才能回答問題或是預測未來。

過程中要如何讓電腦得到經驗,「理解」資料的特徵,達成「特徵表達學習」靠的就是專家知識的輸入,透過一群醫師針對影像進行標記,建置模組後再用影像試驗,並進行校正,影像標記是建立模組原型最重要的基礎,也會影響影像預測的準確性。目前AI醫療影像辨識的應用,也已逐漸在台灣發展,相關案例如下(王若樸-a,2019):

  1.  乳房超音波 AI 輔助分類系統:早期發現,腫瘤辨識度達 9 成,但良性、惡性的辨識度約 7 成。
  2. AI 骨齡輔助判讀系統:準確度可達 9 成 5。
  3.  DeepMets:人工智慧腦瘤自動判讀系統,30 秒就能圈出病灶,還能自動計算腫瘤體積。

當然,開發中的醫療影像辨識技術遠比上述的例子多更多。2017 年科技部為了推動國人醫療影像在地化,建置 AI 醫療影像資料庫,提出「醫療影像專案計畫」。次年(2018)年底,台灣首座「AI 醫療影像」資料庫上線,15 類疾病,共 4.6 萬筆影像,目前已有 1/3 完成疾病辨識,資料庫影像開放供很多團隊一同開發演算法,目前有台大、北榮及北醫等團隊參與(吳元熙,2018)。

AI醫療不止步於影像辨識,還需發展文字語意辨識與分子生物檢測

圖/pixabay

醫學影像的辨識難度,會與最終影像的辨識準確度有關,除了需處理的影像數量多外,以肺部為例,其影像有很多血管紋,血管橫切面與肺結節十分相像,增加辨識難度。另外,以開發數位病理AI聞名的雲象科技為例,顯微鏡底下的病理切片影像,又是另外一個層次的首先面臨到的困難,就是病理切片影像傳換為數位影像,解析度非常高,超出電腦的運作能力,必須裁切成小區塊來訓練,以建立模組。初步完成鼻咽癌 AI 模組,自動標示癌症的高風險區,準確度達 97%。全新挑戰則是全球幾乎沒有人在做的數位病理 AI-血癌偵測模組,需辨識近 40 種不同種類或成熟度的骨髓細胞(王若樸-b,2019)。

-----廣告,請繼續往下閱讀-----

然而,AI 醫療的應用,不僅止於醫療影像辨識,目前正在發展的還包含文字與語意辨識、分子生物檢測等。以文字與語意辨識為例:全球首建肺癌病灶語意描述資料庫,過去的診療經驗,最關鍵的往往是問診的語句,其中夾帶足以判斷疾病的關鍵,卻無法單純從影像或是病歷中察覺。因此,除了既有的影像病灶標記外,北醫附醫的研究團隊更嘗試加入病灶語意描述,希望藉由AI的協助,讓醫師早一步發現肺癌。

以分子生物檢測為例,藉由目前生物技術的發展,病人基因檢測或蛋白質體學檢測等變得相對容易,依據過去疾病的文獻研究,某些疾病的發生或是疾病發展的進程,可能與基因突變(或遺傳)或基因表現異常有關,如果能藉由病理數據、影像與基因變異之間,建立相關性的分析模組,希望進一步能達成降低早期風險或疾病的發生,或是預測病人預後狀況等。

華生以相當精密的問答系統作為基礎模板。圖/wikipedia

AI 醫療的應用,可以藉由深度學習來增加準確度,而電腦學習的模式,必須由專家知識的輸入(給予框架或答案)來決定模組的原型,目前醫事人力的短缺,是阻礙AI醫療發展的原因之一。另外,AI 於醫療之應用與其他產業的差別在於,醫療往往沒有標準答案,還有太多的例外,以及一些「只能意會、無法言傳」的醫師經驗累積,這些都會影響電腦的訓練結果,以及最終診斷的準確度與一致性。

醫療領域最知名的 AI 應用,就不能不提 IBM 的超級電腦-華生(Waston),主要以自然語言訓練,從2011年發展至今,華生的腫瘤系統已在全球超過 230 家醫院使用,而近年華生醫生的發展聲勢卻持續下跌,原因出在:

-----廣告,請繼續往下閱讀-----
  1. 華生雖透過大量文獻資料、診斷紀錄等訓練,但效果仍與醫師診斷有著很大的差距,例如:對於醫療方法的選擇,無法提出具體而合理的解釋,更可能因為無法通盤考量病患條件,而做出不適切之診斷,顯見其電腦學習資料量不足;
  2. 另因應疾病與醫療的變化,須輸入新資料供系統學習,而新舊資料整合不易且所費不貲,這些臨床應用的瓶頸,終將讓華生輪為第二、第三線的醫療諮詢系統,或是為節省成本而捨棄不用,這些都必須在AI醫療的發展與應用上,引以為鑑(陳苓,2017)。
  3. 最後一點,卻也是最重要的,便是相關法規及配套措施,包含技術開發與資料管理規範,建議相關部會積極主動研議,並透過跨部會合作,提出具體規範,才能讓台灣的 AI 醫療發展得更為順利(王郁倫,2019)。

參考文獻

-----廣告,請繼續往下閱讀-----
文章難易度
Research Portal(科技政策觀點)_96
10 篇文章 ・ 8 位粉絲
Research Portal(科技政策觀點)為科技政策研究與資訊中心(STPI)以重要議題導向分析全球科技政策與科技發展趨勢,呈現研究觀點與產出精華。

0

2
0

文字

分享

0
2
0
地震之島的生存法則!921地震教育園區揭開台灣的防災祕密
鳥苷三磷酸 (PanSci Promo)_96
・2024/09/20 ・4553字 ・閱讀時間約 9 分鐘

為什麼台灣會像坐在搖搖椅上,總是時不時地晃動?這個問題或許有些令人不安,但卻是我們生活在這片土地上的現實。根據氣象署統計,台灣每年有 40,000 次以上的地震,其中有感地震超過 1,000 次。2024年4月3日,花蓮的大地震發生後,台灣就經歷了超過 1,000 次餘震,這些數據被視覺化後形成的圖像,宛如台北101大樓般高聳穿雲,再次引發了全球對台灣地震頻繁性的關注。

地震發生後,許多外國媒體擔心半導體產業會受影響,但更讓他們稱奇的是,台灣竟然能在這麼大的地震之下,將傷害降到這麼低,並迅速恢復。不禁讓人想問,自從 25 年前的 921大地震以來,台灣經歷了哪些改變?哪些地方可能再發生大地震?如果只是遲早,我們該如何做好更萬全的準備?

要找到這些問題的答案,最合適的地點就在一座從地震遺跡中冒出的主題博物館:國立自然科學博物館的 921地震教育園區。

圖:跑道捕捉了地震的瞬間 / 圖片來源:劉志恆/青玥攝影

下一個大地震在哪、何時?先聽斷層說了什麼

1999年9月21日凌晨1點47分,台灣發生了一場規模7.3的大地震,震央在南投縣集集鎮,全台 5 萬棟房子遭震垮,罹難人數超過 2,400 人。其中,台中霧峰光復國中校區因車籠埔斷層通過,地面隆起2.6公尺,多棟校舍損毀。政府決定在此設立921地震教育園區,保留這段震撼人心的歷史,並作為防災教育的重要基地。園區內兩處地震遺跡依特性設置為「車籠埔斷層保存館」和「地震工程教育館」。

-----廣告,請繼續往下閱讀-----

車籠埔斷層保存館建於原操場位置,為了保存地表破裂及巨大抬升,所以整體設計不採用樑柱結構,而是由82根長12公尺、寬2.4公尺、重約10噸的預鑄預力混凝板組成,外觀為曲線造型,技術難度極高,屬國內外首見,並榮獲多項建築獎。而地震工程教育館保留了原光復國中受損校舍,讓民眾親眼見證地震的驚人破壞力,進一步強調建築結構與安全的重要性。毀損教室旁設有由園區與「國家地震工程研究中心」共同策劃的展示館,透過互動展示,讓參觀者親手操作,學習地震工程相關知識。

國立自然科學博物館地質學組研究員蔣正興博士表示,面積上,台灣是一個狹長的小島,卻擁有高達近4000公尺的山脈,彰顯了板塊激烈擠壓、地質活動極為活躍的背景。回顧過去一百年的地震歷史,從1906年的梅山地震、1935年的新竹-台中地震,到1999年的921大地震,都發生在台灣西部,與西部的活動斷層有密切關聯,震源位於淺層,加上人口密度較高,因此對台灣西部造成了嚴重的災情。

而台灣東部是板塊劇烈擠壓的區域,地震震源分佈更廣。與西部相比,雖然東部地震更頻繁,但由於人口密度相對較低,災情相對較少。此外,台灣東北部和外海也是地震多發區,尤其是菲律賓海板塊往北隱沒至歐亞板塊的隱沒地震帶,至沖繩海槽向北延伸,甚至可能影響到台北下方,發生直下型地震,這種地震因震源位於城市正下方,危害特別大,加上台北市房屋非常老舊,若發生直下型地震,災情將非常嚴重。

除了台北市,蔣正興博士指出在台灣西部,我們特別需要關注的就是彰化斷層的影響,該斷層曾於1848年發生巨大錯動。此外,我們也需要留意西南部的地震風險,如 1906 年的梅山地震。此兩條活動斷層距今皆已超過 100 年沒活動了。至於東部,因為存在眾多活動斷層,當然也需要持續注意。

-----廣告,請繼續往下閱讀-----

我們之所以擔心某些斷層,是因為這些區域可能已經累積了相當多的能量,一旦達到臨界點,就會釋放,進而引發地震。地質學家通常會沿著斷層挖掘,尋找過去地震的證據,如受構造擾動沉積物的變化,然後透過定年技術來確定地震發生的時間點,估算出斷層的地震週期,然而,這些數字的計算過程非常複雜,需要綜合大量數據。

挑戰在於,有些斷層的活動時間非常久遠,要找到活動證據並不容易。例如,1906年的梅山地震,即使不算久遠,但挖掘出相關斷層的具體位置仍然困難,更不用說那些數百年才活動一次的斷層,如台北的山腳斷層,因為上頭覆蓋了大量沉積物,要找到並研究這些斷層更加困難。

儘管我們很難預測哪個斷層會再次活動,我們仍然可以預先對這些構造做風險評估,從過往地震事件中找到應變之道。而 921 地震教育園區,就是那個可以發現應變之道的地方。

圖:北棟教室毀損區 / 圖片來源:劉志恆/青玥攝影

921 後的 25 年

在園區服務已 11 年的黃英哲擔任志工輔導員,常代表園區到各地進行地震防災宣導。他細數 921 之後,台灣進行的六大改革。制定災害防救法,取代了總統緊急命令。修訂了建築法規,推動斷層帶禁限建與傳統校舍建築改建。組建災難搜救隊伍,在面對未來災害時能更加自主應對。為保存文化資產,增設了歷史建築類別,確保具有保存價值的建築物得到妥善照料。

-----廣告,請繼續往下閱讀-----

最後,則是推行防災教育。黃英哲表示,除了在學校定期進行防災演練,提升防災意識外,更建立了921地震教育園區,不僅作為教育場所,也是跨部門合作的平台,例如與交通部氣象署、災害防救辦公室、教育部等單位合作,進行全面的防災教育。園區內保留了斷層線的舊址,讓遊客能夠直觀地了解地震的破壞力,最具可看性;然而除此之外,園區也是 921 地震相關文物和資料的重要儲存地,為未來的地震研究提供了寶貴的資源。

堪稱園區元老,在園區服務將近 19 年,主要負責日語解說工作的陳婉茹認為,園區最大的特色是保存了斷層造成的地景變化,如抬升的操場和毀壞的教室場景,讓造訪的每個人直觀地感受地震的威力,尤其是對於年輕的小朋友,即使他們沒有親身經歷過,也能透過這些真實的展示認識到地震帶來的危險與影響。

陳婉茹回憶,之前有爸媽帶著小學低年級的小朋友來參觀,原本小朋友並不認真聽講,到處跑來跑去,但當他看到隆起的操場,立刻大聲說這他在課本看過,後來便聚精會神地聽完 40 分鐘的解說。

圖:陳婉茹在第一線負責解說工作 / 圖片來源:921地震教育園區

除了每看必震撼的地景,園區也透過持續更新策展,邀請大家深入地震跟防災的各個面向。策展人黃惠瑛負責展示設計、活動規劃、教具設計等工作。她提到,去年推出的搜救犬特展和今年的「921震災啓示展」與她的個人經歷息息相關。921 大地震時的她還是一名台中女中的住宿生,當時她儘管驚恐,依舊背著腿軟的學姊下樓,讓她在策劃這些展覽時充滿了反思。

-----廣告,請繼續往下閱讀-----

在地震體驗平臺的設計中,黃惠瑛強調不僅要讓觀眾了解災害的破壞力,更希望觀眾能從中學到防災知識。她與設計師合作,一樓展示區採用了時光機的概念,運用輕鬆、童趣的風格,希望遊客保持積極心態。二樓的地震體驗平臺結合六軸震動臺和影片,讓遊客真實感受921地震的情境。她強調,這次展覽的目標是全民,設計上避免了血腥和悲傷的元素,旨在讓觀眾帶著正向的感受離開,並重視防災意識。

圖:地震體驗劇場 / 圖片來源:921地震教育園區

籌備今年展覽的最大挑戰是緊迫的時間。從五月開始,九月完成,為了迅速而有效地與設計師溝通,黃惠瑛使用了AI工具如ChatGPT與生成圖像工具,來加快與設計師溝通的過程。

圖:黃惠瑛與設計師於文件中討論設計/ 圖片來源:921地震教育園區

蔣正興博士說,當初學界建議在此設立地震教育園區,其中一位重要推手是法國地質學家安朔葉。他曾在台灣指導十位台灣博士生,這些博士後來成為地質研究的中堅力量。1999年921大地震後,安朔葉教授立刻趕到台灣,認為光復國中是全球研究斷層和地震的最佳觀察點,建議必須保存。為紀念園區今年成立20週年,在斷層館的展示更新中,便特別強調安朔葉的貢獻與當時的操場圖。

此外,作為 20 週年的相關活動,今年九月也將與日本野島斷層保存館簽署合作備忘錄(MOU),強化合作並展示台日合作歷史。另一重頭戲則是向日本兵庫縣人與自然博物館主任研究員加藤茂弘致贈感謝狀,感謝他不遺餘力,長期協助園區斷層保存館的剖面展品保存工作。

-----廣告,請繼續往下閱讀-----
右圖:法國巴黎居禮大學安朔葉教授。左圖:兵庫縣立人與自然博物館主任研究員加藤茂弘
/ 圖片來源:921地震教育園區

前事不忘,後事之師

盡力保存斷層跟受創校舍,只因不想再重蹈覆徹。蔣正興博士表示,921地震發生在車籠埔斷層,其錯動形式成為全球地質研究的典範,尤其是在研究斷層帶災害方面。統計數據顯示,距離車籠埔斷層約100公尺內,住在上盤的罹難率約為1%,而下盤則約為0.6%。這說明住在斷層附近,特別是上盤,是非常危險的。由於台灣主要是逆斷層活動,這一數據清楚告訴我們,在上盤區域建設居住區應特別小心。

2018年花蓮米崙斷層地震就是一個例證。

在921地震後,政府在斷層帶兩側劃設了「地質敏感區」。因為斷層活動週期較長,全球大部分地區難以測試劃設敏感區的有效性,但台灣不同,斷層活動十分頻繁。例如 1951 年,米崙斷層造成縱谷地震,規模達 7.3,僅隔 67 年後,在 2018 年再次發生花蓮地震,這在全球是罕見的,也因此 2016 年劃設的地質敏感區,在 2018 年的地震中便發現,的確更容易發生地表破裂與建築受損,驗證了地質敏感區劃設的有效性。

圖:黃英哲表示曾來園區參訪的兒童寄來的問候信,是他認真工作的動力 / 圖片來源:921地震教育園區

在過去的20年裡,921地震教育園區不僅見證了台灣在防災教育上的進步,也承載著無數來訪者的情感與記憶。每一處地震遺跡,每一項展示,都在默默提醒我們,那段傷痛歷史並未走遠。然而,我們對抗自然的力量,並非源自恐懼,而是源自對生命的尊重與守護。當你走進這座園區,感受那因地震而隆起的操場,或是走過曾經遭受重創的教室,你會發現,這不僅僅是歷史的展示,更是我們每一個人的責任與使命。

-----廣告,請繼續往下閱讀-----

來吧,今年九月,走進921地震教育園區,一起在這裡找尋對未來的啓示,為台灣的下一代共同築起一個更堅固、更安全的家園。

圖:今年九月,走進921地震教育園區 / 圖片來源:劉志恆/青玥攝影

延伸閱讀:
高風險? 家踩「斷層帶、地質敏感區」買房留意
「我摸到台灣的心臟!」法國地質學家安朔葉讓「池上斷層」揚名國際
百年驚奇-霧峰九二一地震教育園區|天下雜誌

-----廣告,請繼續往下閱讀-----
文章難易度

討論功能關閉中。

0

1
0

文字

分享

0
1
0
免費字幕君!怎麼用 AI 語音辨識幫你自動生成字幕?
泛科學院_96
・2024/07/08 ・2458字 ・閱讀時間約 5 分鐘

-----廣告,請繼續往下閱讀-----

下載 Youtube 影片、自動生成影片逐字稿、AI 智慧翻譯、匯出雙語 SRT 字幕、字幕內嵌 MP4 影片,甚至是把你的電腦當成 AI 運算伺服器、使用多模態 AI 模型來做圖片辨識……這一切的一切通通都免費,敢有可能 (Kám ū khó-lîng)?

今天的影片要來跟你分享開源 AI 套件 Ollama,這個開源套件AJ 最近上課演講工作坊逢人必教。

今天的影片,我們要手把手教你使用 Ollama 在你的電腦裡執行各種免費開源 AI 模型,希望你能跟我一樣成為 AI 暈船仔……Ollama 真香……啊扯遠了,我們沒有點數可以送。

今天的影片會分成三個部分:

-----廣告,請繼續往下閱讀-----
  1. Ollama 安裝與模型下載
  2. 結合 Memo 翻譯影片字幕
  3. 用多模態模型做圖片辨識

Ollama 安裝與模型下載

首先我們要先安裝 Ollama:

來到 ollama.com 點選 Download,下載適合自己的版本後進行安裝,安裝完畢之後,啟動 Ollama。以我的電腦來說右上角就會出現一個小小的 Ollama 圖示,這樣就成功安裝囉!

接著我們需要下載 AI 模型到你的電腦:

回到 Ollama 首頁,點選右上角 Models,這邊就會列出所有官方支援的模型,比如最近很流行的 Meta LLAMA 3、微軟的 Phi3、法國 Mistral AI 公司的 Mistral、Google Gemini 模型的開源版 Gemma 都有,你可以挑選喜歡的來測試。

-----廣告,請繼續往下閱讀-----

比如我點選 LLAMA 3 的連結,模型頁面有兩個地方要注意:一是模型大小,LLAMA3 是 4.7G,一般而言要玩大模型,電腦記憶體至少 16G,預算夠就 24G 不嫌多;如果你是使用一般文書電腦,記憶體 8G 的話,建議你現在馬上停止你的任何動作。我有測試過電腦會直接當機……不要說我沒有提醒你。

點開 Latest 選單可以依照需求選擇不同版本的模型:

不過我們直接點選最右邊複製執行指令,打開電腦的終端機程式,或著命令提示字元,貼上,這樣電腦就會開始下載並且自動安裝囉。

你可以用 ollama list 指令查看現在電腦內有哪些模型,如果硬碟容量有限,用 ollama rm 後面加上模型名稱可以刪除模型。比如:ollama rm llama3。我們這邊另外安裝 llava 模型:ollama run llava,這樣準備工作就完成囉。

-----廣告,請繼續往下閱讀-----

Ollama + memo

最近只要演講上課,我一定會分享 Memo 這套好用的軟體,我們之前也有一支影片分享他的用法。

最近 Memo 更新之後,我們就可以直接使用 Ollama 結合特定的模型來進行字幕的翻譯。舉例來說,我們打開 memo,複製 Youtube 網址;我們用這支 楊立昆 的演講,貼上網址,開始下載,下載完畢後使用電腦進行語音辨識,接著我們就可以使用 Ollama 搭配剛剛準備好的 LLama3 模型來做翻譯!


翻譯完畢之後就可以匯出 SRT 字幕


如果你本身是影片創作者,這招就可以輕鬆製作你的 SRT 字幕,再也不用花時間對字幕時間軸了。

-----廣告,請繼續往下閱讀-----

或者你要把影片字幕直接內嵌在做簡報的時候播放影片:


匯出 MP4 格式,語言選雙語。如果你還沒用過這招處理影片,我強烈建議你一定要試試看!

Ollama + Enchanted

接下來我們要分享另一套非常實用的工具——Enchanted。他也是開源,可以讓原本是文字介面的 Ollama
提供類似 ChatGPT 的對話視窗,甚至支援圖片辨識的多模態模型 llava,Mac 用戶可以直接去 App Store 免費安裝。


同時開啟 Ollama 跟 Enchanted LLM:

-----廣告,請繼續往下閱讀-----


就擁有一個漂亮的視窗介面,可以優雅的啟用各種想要測試的 AI 模型,他甚至有手機版 APP!用手機連線自己的蘋果電腦跑 AI 模型?這……這,真的可以免費用嗎?

讓我來試試看!

首先要先安裝 ngrok 這套程式,選擇自己的作業系統然後下載。Windows 用戶應該直接安裝就可以了,Mac 的用戶在終端機執行這行 Sudo 指令把程式解壓縮到 user local bin 資料夾,接著註冊一個免費的 ngrok 帳號。

複製 ngrok config 指令,貼回自己電腦的終端機,把連線金鑰寫入自己的電腦。

-----廣告,請繼續往下閱讀-----

最後一步,啟動連線,指令是:ngrok http 11434 –host-header=”localhost:11434″

一切順利的話就會看到類似這個畫面。

然後把 forwarding 的網址複製,打開 iPhone 或 iPad 的 Enchanted app,在設定 Setting 裡面把 Ollama 網址貼上,這樣就可以遠端調用電腦的 Ollama 來使用 AI 模型,比如選用稍早下載的 LLava 多模態模型。

傳一張照片,問它這是什麼?

-----廣告,請繼續往下閱讀-----


是不是非常神奇呢?
快練習把 ollama、ngrok 跟 Enchanted 串起來跟朋友炫耀吧!

總結

今天的影片跟各位分享了基於 Ollama 這個開源 AI 套件的各種有趣應用,你是否有成功在 iphone 上打造自己的 AI 服務呢?

  1. 太複雜了我決定躺平
  2. 笑話,我可是尊榮的 GPT Plus 用戶
  3. 沒有 Mac 電腦不能玩……嗚嗚嗚
  4. 你怎麼不介紹那個 ooxx Ollama 套件

如果有其他想看的 AI 工具測試或相關問題,也可以留言告訴我們~

更多、更完整的內容,歡迎上泛科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

泛科學院_96
44 篇文章 ・ 52 位粉絲
我是泛科學院的AJ,有15年的軟體測試與電腦教育經驗,善於協助偏鄉NPO提升資訊能力,以Maker角度用發明解決身邊大小問題。與你分享人工智慧相關應用,每週更新兩集,讓我們帶你進入科技與創新的奇妙世界,為未來開啟無限可能!

0

0
0

文字

分享

0
0
0
Claude、ChatGPT 提示詞優化!4 個技巧讓 AI 更懂你的需求!
泛科學院_96
・2024/07/06 ・713字 ・閱讀時間約 1 分鐘

聽說 Office 365 Copilot 終於支援中文了!

我還不馬上拿出魔術小卡——加入會員,訂閱,開啟小鈴鐺,啊不是我是說,訂閱 Copilot……

嗯?20 美金?嗯?這沒有 Office 365 Copilot 啊?我找找……

靠,現在訂閱 Office 365 Copilot,最便宜要用商務標準版才能加購,而且加購只能一次買一年,要一萬一……我們本來都準備好各種有趣的測試了,但這錢我真的花不下去阿……那今天準備好的測試該怎麼辦呢?

-----廣告,請繼續往下閱讀-----

別擔心,今天的影片,我來回答三個問題:

  1. 如果 copilot 真的開放,我想像中會遇到什麼問題
    抱歉了,一萬一真的刷不下去……
  2. 用 GPT4 示範大語言模型的進階提示技巧,應用於文稿撰寫的方法
    畢竟 copilot 也是借鑑 GPT4,性能應該差不多啦!(屁啦)
  3. 這些技巧在其他語言模型也可以用嗎?

本集的「進階 AI 提示語」有沒有打開你的 AI 使用靈感呢?

  1. 太複雜了我決定躺平
  2. 炫技,等 GPT-5 出來這些都不再重要
  3. 我決定仿效泛科學院精神鑽研出神級提示語跟大家分享
  4. 其他也可以留言分享喔

欸嘿,前面提到的 QR code 在這邊 ^.< 不要告訴別人喔(噓)


如果有其他想看的 AI 工具測試或相關問題,也可以留言告訴我們~

-----廣告,請繼續往下閱讀-----

更多、更完整的內容,歡迎上泛科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得更多有趣的資訊!

-----廣告,請繼續往下閱讀-----

討論功能關閉中。

泛科學院_96
44 篇文章 ・ 52 位粉絲
我是泛科學院的AJ,有15年的軟體測試與電腦教育經驗,善於協助偏鄉NPO提升資訊能力,以Maker角度用發明解決身邊大小問題。與你分享人工智慧相關應用,每週更新兩集,讓我們帶你進入科技與創新的奇妙世界,為未來開啟無限可能!