1

3
3

文字

分享

1
3
3

天文影像工具也能找腫瘤?——臺灣首創 3D 數位病理影像暨 AI 分析平臺

科技大觀園_96
・2022/01/23 ・2878字 ・閱讀時間約 5 分鐘

攝影師運用影像,留存許多珍貴的記錄,講述不少精彩的故事。但影像的力量,可不僅限於此。科學家和醫生也拍照錄像,只不過對象不是一般人事物,而是遙遠的星辰,或微小的組織細胞。而臺灣的科研團隊,更成功讓傳統病理影像突破 2D 平面限制,完整展現 3D 全貌,幫助我們看清病魔的真面目,奪得搶救性命的機會。

為什麽癌症大魔王如此棘手?

在臺灣十大死因排行榜上,癌症已蟬聯榜首將近四十年。原本安分工作的人體細胞,可能受到細菌或病毒的感染、環境中的重金屬、放射線等致癌因子的影響,走上叛變、不正常增生一途,變成惡性腫瘤——也就是癌症。癌細胞會破壞各種重要臟器,掠奪體内大部分營養,最終可能造成人體因器官衰竭、營養不良、併發症而死亡。

十大死因
109 年國人十大死因。(資料來源:衛生福利部

癌症療法中,化療是以化學藥物來毒殺癌細胞,卻因為專一性低,讓病患往往傷敵一千,自損八百。後來發展出的標靶藥物療法,雖然不會無差別攻擊,但治療效果有限,有些種類的癌症更可能出現抗藥性。狡猾的癌細胞,還會產生抑制免疫細胞活性的蛋白質,來避開免疫系統的偵察和追擊。而 2018 年獲得諾貝爾生理醫學獎的「免疫療法」,就是以投放癌細胞表現的蛋白質之阻斷劑,來維持免疫細胞的戰鬥力的突破性療法。

然而,癌細胞也不是省油的燈。它們會與周圍細胞,如血管、纖維母細胞、免疫細胞等打成一片,藉由分泌各式細胞因子,創造利於自己生長的小天地,即腫瘤微環境(Tumor microenvironment)。例如,癌細胞會在微環境促進血管新生,且具備免疫抑制能力,讓免疫細胞鎩羽而歸。這麽一來,即使是副作用較低的免疫療法,也可能無用武之地。

當醫學邂逅天文學,跨領域碰撞出新解方

目前,癌症的診斷與療程的決定,主要還是仰賴切片檢測所得到的影像。所謂的切片檢測,就像到腫瘤細胞大本營去刺探敵情,醫生藉由手術開刀、内視鏡或針筒取得檢體組織,透過這第一手的情報,來判識腫瘤型態和病情嚴重程度,才能擬定對抗癌細胞的有效戰略。

-----廣告,請繼續往下閱讀-----

麻煩的是,顯微鏡下的切片樣本只能看見同一平面上的細胞間交互作用,組織上還有用來標示特定蛋白質活細胞的螢光染劑。要把有著會互相干擾螢光訊號的樣本影像,拼接成可以觀察細胞交互作用的三維影像,可讓腫瘤學家傷透了腦筋。不過這個難題的解方,就剛好掌握在以望遠鏡觀察無數星星的天文學家手中!

有著不同特徵的衆多天體,就像是組織中發出不同螢光訊號、數百萬計的細胞。天體在宇宙中的相對位置與相互關係,也類比於細胞間的交互作用。這般異曲同工之妙,讓美國約翰 · 霍普金斯大學的腫瘤學家和天文學家決定並肩作戰,利用天文學的影像處理工具,來建立分析腫瘤切片影像的模型,這個跨領域碰撞的研究成果——AstroPath,更在今年 6 月登上 Science 期刊。

天體
有著不同特徵的衆多天體,就像是組織中發出不同螢光訊號、數百萬計的細胞。圖/pixabaywikipedia

臺灣打造全球第一個 3D 數位病理檢驗暨 AI 分析平臺!

腫瘤學家和天文學家的跨界合作,大大提高了組織切片影像分析的效率,表現令人贊嘆。不過臺灣研究團隊跑得更前面,直接突破傳統薄切片的限制,以獨家專利取得組織完整的立體影像,還進一步藉助人工智能之力,創立全世界首個 3D 數位病理檢驗暨 AI 分析平臺!

這個實現 Taiwan No.1 的團隊,緣起於國立清華大學生科系的楊嘉鈴教授研究團隊,邀請清華大學腦科學中心江安世院士團隊、分子與細胞生物所張大慈教授團隊及清華大學腦科學中心林彥穎研究員,携手合作克服過去 3D 組織影像的技術瓶頸。透過科技部價創計劃的輔導,承接了光電、生醫、影像及 AI 各領域最先進技術的捷絡生物科技股份有限公司 (JelloX Biotech Inc.) 在 2018 年成立。

-----廣告,請繼續往下閱讀-----

捷絡生技獨步全球的病理檢驗平臺,包含了關鍵的三大部分:(1)快速組織澄清、(2)高速影像擷取及(3)3D 人工影像智慧分析。

流程示意圖
3D 人工智慧影像分析流程示意圖。圖/捷絡生技公司

過去 3D 組織影像無法實現,最大的難點,在於無法突破組織的透光障礙。捷絡生技專利化的光學組織澄清技術,最厲害之處是讓檢體樣本不被破壞就可以「變透明」,達到清水般的穿透率。傳統樣本處理,會經過物理切片及脫水,組織結構發生形變無可避免,讓病理全貌難以被量化和標準化來進行評估。但這項獨家的組織澄清處理技術,可最大程度保存樣本原來的面貌,還能讓樣本進行重複染色,再利用於各式生物檢驗。更重要的是,不再是單一切面的樣本,讓全自動影像掃描擷取,從不可能變得可能。

把檢體樣本透明化之後,研究團隊接著以高速鐳射顯微鏡,對樣本進行全身掃描後,數位縫合平行多叠影像。只要搭配適當的染色技術,就可迅速取得比傳統檢測還多百倍資訊量的高精度 3D 腫瘤影像。這些病理組織樣本的全景 3D 細節,讓醫生可以更清楚判別癌細胞的型態、分佈與周圍細胞的交互作用。

研究團隊也沒有停留在 3D 影像產製的完善,更抓緊大數據、巨量分析的趨勢,目標是要提供 AI 自動化病理組織影像分析。研究團隊建立不同癌症的 3D 數位病理影像資料庫,讓電腦進行機器學習,透過癌組織的特徵辨識訓練,目前已可得到超過 90 % 的準確度。AI 自動化分析能克服傳統人工判讀模式潛藏的誤差(如不同判讀者的差異、視覺疲勞與檢體採樣量不足等問題),大大減輕臨床病理醫師的工作負擔,加快診斷的效率。癌症的治療,就像與死神賽跑,所以盡速決定對風險最小、成效最佳的療法,對提高病患的存活率至關重要。

-----廣告,請繼續往下閱讀-----

未來,捷絡生技這個領先全球的 3D 數位病理檢驗暨 AI 分析平臺,預期可實際應用在檢測藥物的穿透性、篩選適合免疫療法的病患、分析腫瘤微環境等方向。不管是從美國或是臺灣的例子,都讓我們看見不同領域相互激蕩的成果,並非止步於學術象牙塔的研究,而是可以被實際應用在日常生活中的技術。

參考資料

文章難易度
所有討論 1
科技大觀園_96
82 篇文章 ・ 1125 位粉絲
為妥善保存多年來此類科普活動產出的成果,並使一般大眾能透過網際網路分享科普資源,科技部於2007年完成「科技大觀園」科普網站的建置,並於2008年1月正式上線營運。 「科技大觀園」網站為一數位整合平台,累積了大量的科普影音、科技新知、科普文章、科普演講及各類科普活動訊息,期使科學能扎根於每個人的生活與文化中。

0

1
0

文字

分享

0
1
0
揭密突破製程極限的關鍵技術——原子層沉積
鳥苷三磷酸 (PanSci Promo)_96
・2024/08/30 ・3409字 ・閱讀時間約 7 分鐘

本文由 ASM 委託,泛科學企劃執行。 

以人類現在的科技,我們能精準打造出每一面牆只有原子厚度的房子嗎?在半導體的世界,我們做到了!

如果將半導體製程比喻為蓋房子,「薄膜製程」就像是在晶片上堆砌層層疊疊的磚塊,透過「微影製程」映照出房間布局 — 也就是電路,再經過蝕刻步驟雕出一格格的房間 — 電晶體,最終形成我們熟悉的晶片。為了打造出效能更強大的晶片,我們必須在晶片這棟「房子」大小不變的情況下,塞進更多如同「房間」的電晶體。

因此,半導體產業內的各家大廠不斷拿出壓箱寶,一下發展環繞式閘極、3D封裝等新設計。一下引入極紫外曝光機,來刻出更微小的電路。但別忘記,要做出這些複雜的設計,你都要先有好的基底,也就是要先能在晶圓上沉積出一層層只有數層原子厚度的材料。

-----廣告,請繼續往下閱讀-----

現在,這道薄膜製程成了電晶體微縮的一大關鍵。原子是物質組成的基本單位,直徑約0.1奈米,等於一根頭髮一百萬分之一的寬度。我們該怎麼精準地做出最薄只有原子厚度,而且還要長得非常均勻的薄膜,例如說3奈米就必須是3奈米,不能多也不能少?

這唯一的方法就是原子層沉積技術(ALD,Atomic Layer Deposition)。

蓋房子的第一步是什麼?沒錯,就是畫設計圖。只不過,在半導體的世界裡,我們不需要大興土木,就能將複雜的電路設計圖直接印到晶圓沉積的材料上,形成錯綜複雜的電路 — 這就是晶片製造的最重要的一環「微影製程」。

首先,工程師會在晶圓上製造二氧化矽或氮化矽絕緣層,進行第一次沉積,放上我們想要的材料。接著,為了在這層材料上雕出我們想要的電路圖案,會再塗上光阻劑,並且透過「曝光」,讓光阻劑只留下我們要的圖案。一次的循環完成後,就會換個材料,重複沉積、曝光、蝕刻的流程,這就像蓋房子一樣,由下而上,蓋出每個樓層,最後建成摩天大樓。

-----廣告,請繼續往下閱讀-----

薄膜沉積是關鍵第一步,基底的品質決定晶片的穩定性。但你知道嗎?不只是堆砌磚塊有很多種方式,薄膜沉積也有多樣化的選擇!在「薄膜製程」中,材料學家開發了許多種選擇來處理這項任務。薄膜製程大致可分為物理和化學兩類,物理的薄膜製程包括蒸鍍、濺鍍、離子鍍、物理氣相沉積、脈衝雷射沉積、分子束磊晶等方式。化學的薄膜製程包括化學氣相沉積、化學液相沉積等方式。不同材料和溫度條件會選擇不同的方法。

二氧化矽、碳化矽、氮化矽這些半導體材料,特別適合使用化學氣相沉積法(CVD, Chemical Vapor Deposition)。CVD 的過程也不難,氫氣、氬氣這些用來攜帶原料的「載氣」,會帶著要參與反應的氣體或原料蒸氣進入反應室。當兩種以上的原料在此混和,便會在已被加熱的目標基材上產生化學反應,逐漸在晶圓表面上長出我們的目標材料。

如果我們想增強半導體晶片的工作效能呢?那麼你會需要 CVD 衍生的磊晶(Epitaxy)技術!磊晶的過程就像是在為房子打「地基」,只不過這個地基的每一個「磚塊」只有原子或分子大小。透過磊晶,我們能在矽晶圓上長出一層完美的矽晶體基底層,並確保這兩層矽的晶格大小一致且工整對齊,這樣我們建造出來的摩天大樓就有最穩固、扎實的基礎。磊晶技術的精度也是各公司技術的重點。

雖然 CVD 是我們最常見的薄膜沉積技術,但隨著摩爾定律的推進,發展 3D、複雜結構的電晶體構造,薄膜也開始需要順著結構彎曲,並且追求精度更高、更一致的品質。這時 CVD 就顯得力有未逮。

-----廣告,請繼續往下閱讀-----

並不是說 CVD 不能用,實際上,不管是 CVD 還是其他薄膜製程技術,在半導體製程中仍占有重要地位。但重點是,隨著更小的半導體節點競爭愈發激烈,電晶體的設計也開始如下圖演變。

圖/Shutterstock

看出來差別了嗎?沒錯,就是構造越變越複雜!這根本是對薄膜沉積技術的一大考驗。

舉例來說,如果要用 CVD 技術在如此複雜的結構上沉積材料,就會出現像是清洗杯子底部時,有些地方沾不太到洗碗精的狀況。如果一口氣加大洗碗精的用量,雖然對杯子來說沒事,但對半導體來說,那些最靠近表層的地方,就會長出明顯比其他地方厚的材料。

該怎麼解決這個問題呢?

-----廣告,請繼續往下閱讀-----
CVD 容易在複雜結構出現薄膜厚度不均的問題。圖/ASM

材料學家的思路是,要找到一種方法,讓這層薄膜長到特定厚度時就停止繼續生長,這樣就能確保各處的薄膜厚度均勻。這種方法稱為 ALD,原子層沉積,顧名思義,以原子層為單位進行沉積。其實,ALD 就是 CVD 的改良版,最大的差異在所選用的化學氣體前驅物有著顯著的「自我侷限現象」,讓我們可以精準控制每次都只鋪上一層原子的厚度,並且將一步驟的反應拆為兩步驟。

在 ALD 的第一階段,我們先注入含有 A 成分的前驅物與基板表面反應。在這一步,要確保前驅物只會與基板產生反應,而不會不斷疊加,這樣,形成的薄膜,就絕對只有一層原子的厚度。反應會隨著表面空間的飽和而逐漸停止,這就稱為自我侷限現象。此時,我們可以通入惰性氣體將多餘的前驅物和副產物去除。在第二階段,我們再注入含有 B 成分的化學氣體,與早已附著在基材上的 A 成分反應,合成為我們的目標材料。

透過交替特殊氣體分子注入與多餘氣體分子去除的化學循環反應,將材料一層一層均勻包覆在關鍵零組件表面,每次沉積一個原子層的薄膜,我們就能實現極為精準的表面控制。

你知道 ALD 領域的龍頭廠商是誰嗎?這個隱形冠軍就是 ASM!ASM 是一家擁有 50 年歷史的全球領先半導體設備製造廠商,自 1968 年,Arthur del Prado 於荷蘭創立 ASM 以來,ASM 一直都致力於推進半導體製程先進技術。2007 年,ASM 的產品 Pulsar ALD 更是成為首個運用在量產高介電常數金屬閘極邏輯裝置的沉積設備。至今 ASM 不僅在 ALD 市場佔有超過 55% 的市佔率,也在 PECVD、磊晶等領域有著舉足輕重的重要性。

-----廣告,請繼續往下閱讀-----

ASM 一直持續在快速成長,現在在北美、歐洲、及亞洲等地都設有技術研發與製造中心,營運據點廣布於全球 15 個地區。ASM 也很看重有「矽島」之稱的台灣市場,目前已在台灣深耕 18 年,於新竹、台中、林口、台南皆設有辦公室,並且在 2023 年於南科設立培訓中心,高雄辦公室也將於今年年底開幕!

當然,ALD 也不是薄膜製程的終點。

ASM 是一家擁有 50 年歷史的全球領先半導體設備製造廠商。圖/ASM

最後,ASM 即將出席由國際半導體產業協會主辦的 SEMICON Taiwan 策略材料高峰論壇和人才培育論壇,就在 9 月 5 號的南港展覽館。如果你想掌握半導體產業的最新趨勢,絕對不能錯過!

圖片來源/ASM

文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
204 篇文章 ・ 311 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

0
0

文字

分享

0
0
0
美國將玉米乙醇列入 SAF 前瞻政策,它真的能拯救燃料業的高碳排處境嗎?
鳥苷三磷酸 (PanSci Promo)_96
・2024/09/06 ・2633字 ・閱讀時間約 5 分鐘

-----廣告,請繼續往下閱讀-----

本文由 美國穀物協會 委託,泛科學企劃執行。

你加過「酒精汽油」嗎?

2007 年,從台北的八座加油站開始,民眾可以在特定加油站選加「E3 酒精汽油」。

所謂的 E3,指的是汽油中有百分之 3 改為酒精。如果你在其他國家的加油站看到 E10、E27、E100 等等的標示,則代表不同濃度,最高到百分之百的酒精。例如美國、英國、印度、菲律賓等國家已經開放到 E10,巴西則有 E27 和百分之百酒精的 E100 選項可以選擇。

圖片來源:Hanskeuken / Wikipedia

為什麼要加酒精呢?

單論玉米乙醇來說,碳排放趨近於零。為什麼呢?因為從玉米吸收二氧化碳與水進行光合作、生長、成熟,接著被採收,發酵成為玉米乙醇,最後燃燒成二氧化碳與水蒸氣回到大氣中。這一整趟碳循環與水循環,淨排放都是 0,是個零碳的好燃料來源。

-----廣告,請繼續往下閱讀-----
圖片來源:shutterstock

當然,我們無法忽略的是燃料運輸、儲藏、以及製造生產設備時產生的碳足跡。即使如此,美國農業部經過評估分析,2017 發表的報告指出,玉米乙醇生命週期的碳排放量比汽油少了 43%。

「玉米乙醇」納入 SAF(永續航空燃料)前瞻性指引的選項之一

航空業占了全球碳排的 2.5%,而根據國際民用航空組織(ICAO)的預測,這個數字還會成長,2050 年全球航空碳排放量將會來到 2015 年的兩倍。這也使得以生質原料為首的「永續航空燃料」SAF,開始成為航空業減碳的關鍵,及投資者關注的新興科技。

只要燃料的生產符合永續,都可被歸類為 SAF。目前美國材料和試驗協會規範的 SAF 包含以合成方式製造的合成石蠟煤油 FT-SPK、透過發酵與合成製造的異鏈烷烴 SIP。以及近年討論度很高,以食用油為原料進行氫化的 HEFA,以及酒精航空燃料 ATJ(alcohol-to-jet)。

圖片來源:shutterstock

每種燃料的原料都不相同,因此需要的技術突破也不同。例如 HEFA 是將食用油重新再造成可用的航空燃料,因此製造商會從百萬間餐廳蒐集廢棄食用油,再進行「氫化」。

-----廣告,請繼續往下閱讀-----

就引擎來說,我們當然也希望用到穩定的油。因此需要氫化來將植物油轉化為如同動物油般的飽和脂肪酸。氫化會打斷雙鍵,以氫原子佔據這些鍵結,讓氫在脂肪酸上「飽和」。此時因為穩定性提高,不易氧化,適合保存並減少對引擎的負擔。

至於酒精加工為酒精航空燃料 ATJ 的流程。乙醇會先進行脫水為乙烯,接著聚合成約 6~16 碳原子長度的長鏈烯烴。最後一樣進行氫化打斷雙鍵,成為長鏈烷烴,性質幾乎與傳統航空燃料一模一樣。

ATJ 和 HEFA 雖然都會經過氫化,但 ATJ 的反應中所需要的氫氣大約只有一半。另外,HEFA 取用的油品來源來自餐廳,雖然是幫助廢油循環使用的好方法,但供應多少比較不穩定。相對的,因為 ATJ 來源是玉米等穀物,通常農地會種植專門的玉米品種進行生質乙醇的生產,因此來源相對穩定。

但不論是哪一種 SAF,都有積極發展的價值。而航空業也不斷有新消息,例如阿聯酋航空在 2023 年也成功讓波音 777 以 100% 的 SAF 燃料完成飛行,締下創舉。

-----廣告,請繼續往下閱讀-----
圖片來源:shutterstock

汽車業也需要作出重要改變

根據長年推動低碳交通的國際組織 SLoCaT 分析,在所有交通工具的碳排放中,航空業佔了其中的 12%,而公路交通則占了 77%。沒錯,航空業雖然佔了全球碳排的 2.5%,但真正最大宗的碳排來源,還是我們的汽車載具。

但是這個新燃料會不會傷害我們的引擎呢?有人擔心,酒精可能會吸收空氣中的水氣,對機械設備造成影響?

其實也不用那麼擔心,畢竟酒精汽油已經不只是使用一、二十年的東西了。美國聯邦政府早在 1978 就透過免除 E10 的汽油燃料稅,來推廣添加百分之 10 酒精的低碳汽油。也就是說,酒精汽油的上路試驗已經快要 50 年。

有那麼多的研究數據在路上跑,當然不能錯過這個機會。美國國家可再生能源實驗室也持續進行調查,結果發現,由於 E10 汽油摻雜的比例非常低,和傳統汽油的化學性質差異非常小,這 50 年來的車輛,只要符合國際標準製造,都與 E10 汽油完全相容。

-----廣告,請繼續往下閱讀-----

解惑:這些生質酒精的來源原料是否符合永續的精神嗎?

在環保議題裡,這種原本以為是一片好心,最後卻是環境災難的案例還不少。玉米乙醇也一樣有相關規範,例如歐盟在再生能源指令 RED II 明確說明,生質乙醇等生物燃料確實有持續性,但必須符合「永續」的標準,並且因為使用的原料是穀物,因此需要確保不會影響糧食供應。

好消息是,隨著目標變明確,專門生產生質酒精的玉米需求增加,這也帶動品種的改良。在美國,玉米產量連年提高,種植總面積卻緩步下降,避開了與糧爭地的問題。

另外,單位面積產量增加,也進一步降低收穫與運輸的複雜度,總碳排量也觀察到下降的趨勢,讓低碳汽油真正名實相符。

隨著航空業對永續航空燃料的需求抬頭,低碳汽油等生質燃料或許值得我們再次審視。看看除了鋰電池車、氫能車以外,生質燃料車,是否也是個值得加碼投資的方向?

-----廣告,請繼續往下閱讀-----

參考資料

文章難易度

討論功能關閉中。

鳥苷三磷酸 (PanSci Promo)_96
204 篇文章 ・ 311 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

1
0

文字

分享

0
1
0
免費字幕君!怎麼用 AI 語音辨識幫你自動生成字幕?
泛科學院_96
・2024/07/08 ・2458字 ・閱讀時間約 5 分鐘

下載 Youtube 影片、自動生成影片逐字稿、AI 智慧翻譯、匯出雙語 SRT 字幕、字幕內嵌 MP4 影片,甚至是把你的電腦當成 AI 運算伺服器、使用多模態 AI 模型來做圖片辨識……這一切的一切通通都免費,敢有可能 (Kám ū khó-lîng)?

今天的影片要來跟你分享開源 AI 套件 Ollama,這個開源套件AJ 最近上課演講工作坊逢人必教。

今天的影片,我們要手把手教你使用 Ollama 在你的電腦裡執行各種免費開源 AI 模型,希望你能跟我一樣成為 AI 暈船仔……Ollama 真香……啊扯遠了,我們沒有點數可以送。

今天的影片會分成三個部分:

  1. Ollama 安裝與模型下載
  2. 結合 Memo 翻譯影片字幕
  3. 用多模態模型做圖片辨識

Ollama 安裝與模型下載

首先我們要先安裝 Ollama:

來到 ollama.com 點選 Download,下載適合自己的版本後進行安裝,安裝完畢之後,啟動 Ollama。以我的電腦來說右上角就會出現一個小小的 Ollama 圖示,這樣就成功安裝囉!

接著我們需要下載 AI 模型到你的電腦:

回到 Ollama 首頁,點選右上角 Models,這邊就會列出所有官方支援的模型,比如最近很流行的 Meta LLAMA 3、微軟的 Phi3、法國 Mistral AI 公司的 Mistral、Google Gemini 模型的開源版 Gemma 都有,你可以挑選喜歡的來測試。

比如我點選 LLAMA 3 的連結,模型頁面有兩個地方要注意:一是模型大小,LLAMA3 是 4.7G,一般而言要玩大模型,電腦記憶體至少 16G,預算夠就 24G 不嫌多;如果你是使用一般文書電腦,記憶體 8G 的話,建議你現在馬上停止你的任何動作。我有測試過電腦會直接當機……不要說我沒有提醒你。

點開 Latest 選單可以依照需求選擇不同版本的模型:

不過我們直接點選最右邊複製執行指令,打開電腦的終端機程式,或著命令提示字元,貼上,這樣電腦就會開始下載並且自動安裝囉。

你可以用 ollama list 指令查看現在電腦內有哪些模型,如果硬碟容量有限,用 ollama rm 後面加上模型名稱可以刪除模型。比如:ollama rm llama3。我們這邊另外安裝 llava 模型:ollama run llava,這樣準備工作就完成囉。

Ollama + memo

最近只要演講上課,我一定會分享 Memo 這套好用的軟體,我們之前也有一支影片分享他的用法。

最近 Memo 更新之後,我們就可以直接使用 Ollama 結合特定的模型來進行字幕的翻譯。舉例來說,我們打開 memo,複製 Youtube 網址;我們用這支 楊立昆 的演講,貼上網址,開始下載,下載完畢後使用電腦進行語音辨識,接著我們就可以使用 Ollama 搭配剛剛準備好的 LLama3 模型來做翻譯!


翻譯完畢之後就可以匯出 SRT 字幕


如果你本身是影片創作者,這招就可以輕鬆製作你的 SRT 字幕,再也不用花時間對字幕時間軸了。

或者你要把影片字幕直接內嵌在做簡報的時候播放影片:


匯出 MP4 格式,語言選雙語。如果你還沒用過這招處理影片,我強烈建議你一定要試試看!

Ollama + Enchanted

接下來我們要分享另一套非常實用的工具——Enchanted。他也是開源,可以讓原本是文字介面的 Ollama
提供類似 ChatGPT 的對話視窗,甚至支援圖片辨識的多模態模型 llava,Mac 用戶可以直接去 App Store 免費安裝。


同時開啟 Ollama 跟 Enchanted LLM:


就擁有一個漂亮的視窗介面,可以優雅的啟用各種想要測試的 AI 模型,他甚至有手機版 APP!用手機連線自己的蘋果電腦跑 AI 模型?這……這,真的可以免費用嗎?

讓我來試試看!

首先要先安裝 ngrok 這套程式,選擇自己的作業系統然後下載。Windows 用戶應該直接安裝就可以了,Mac 的用戶在終端機執行這行 Sudo 指令把程式解壓縮到 user local bin 資料夾,接著註冊一個免費的 ngrok 帳號。

複製 ngrok config 指令,貼回自己電腦的終端機,把連線金鑰寫入自己的電腦。

最後一步,啟動連線,指令是:ngrok http 11434 –host-header=”localhost:11434″

一切順利的話就會看到類似這個畫面。

然後把 forwarding 的網址複製,打開 iPhone 或 iPad 的 Enchanted app,在設定 Setting 裡面把 Ollama 網址貼上,這樣就可以遠端調用電腦的 Ollama 來使用 AI 模型,比如選用稍早下載的 LLava 多模態模型。

傳一張照片,問它這是什麼?


是不是非常神奇呢?
快練習把 ollama、ngrok 跟 Enchanted 串起來跟朋友炫耀吧!

總結

今天的影片跟各位分享了基於 Ollama 這個開源 AI 套件的各種有趣應用,你是否有成功在 iphone 上打造自己的 AI 服務呢?

  1. 太複雜了我決定躺平
  2. 笑話,我可是尊榮的 GPT Plus 用戶
  3. 沒有 Mac 電腦不能玩……嗚嗚嗚
  4. 你怎麼不介紹那個 ooxx Ollama 套件

如果有其他想看的 AI 工具測試或相關問題,也可以留言告訴我們~

更多、更完整的內容,歡迎上泛科學院的 youtube 頻道觀看完整影片,並開啟訂閱獲得

討論功能關閉中。

泛科學院_96
44 篇文章 ・ 52 位粉絲
我是泛科學院的AJ,有15年的軟體測試與電腦教育經驗,善於協助偏鄉NPO提升資訊能力,以Maker角度用發明解決身邊大小問題。與你分享人工智慧相關應用,每週更新兩集,讓我們帶你進入科技與創新的奇妙世界,為未來開啟無限可能!