0

1
1

文字

分享

0
1
1

人工智慧與深度學習,會把人類的工作搶走嗎?解析A.I.的深度學習

研之有物│中央研究院_96
・2017/08/26 ・6106字 ・閱讀時間約 12 分鐘 ・SR值 548 ・八年級

-----廣告,請繼續往下閱讀-----

深度學習 (Deep Learning)

若將資料比喻為原料(data),機器學習就是處理器(processor), AI 人工智慧相當於結果(outcome)。而「深度學習」是機器學習的一種方式,讓電腦像長了神經網路般,可進行複雜的運算,展現擬人的判斷及行為,是現今 AI 人工智慧的主流技術。

許多人試著進入「深度學習」領域,卻發現教材明明都是中文字,卻完全看不懂。圖片來源/iStock、Nick Young;圖說重製/林婷嫻、張語辰

如果上圖有打中你,本文整理 2017 中央研究院 AI 月系列活動中,國內外專家分享的深度學習思維與應用。希望能讓深度學習成為各位小智的寶可夢,在人工智慧這條路上,走出樂趣與成就感。

深度學習:讓電腦長神經,教它判斷決策

1960 年代起,科學家就試著透過各種機器學習技術,教電腦擁有人工智慧,例如會下西洋跳棋的電腦程式。但這跟現在的 AlphaGo 相比似乎不算什麼?這部分拜賜於電腦運算效能大幅提升、大量供訓練使用的資料,以及深度學習技術近幾年的突破性進展。

人腦思考仰賴神經網路的運作,科學家也透過設計函數模組,在電腦中組成「類神經網路」,讓電腦藉由餵養的訓練資料,歸納出背後的規則,做出最適合的判斷。圖片來源/iStock;圖說設計/林婷嫻、張語辰

從上圖可以看到,這是深度學習與傳統機器學習技術的最大差別:電腦有了四通八達的神經網路!透過層層非線性函數組成的神經網路、及精心規劃的權重訓練過程,電腦學會在未曾經驗過的情境下做出最適當的反應。

訓練深度學習模型就像教小孩,給予足夠的人生經驗,透過神經網路學習,讓電腦未來自己判斷怎麼做比較好。

若將深度學習比喻為手拉坏,陶土就是資料,陶碗成品是電腦自動找出來的函數(function),而目前有的「拉坯機」為 TensorFlow、PyTorch、Microsoft CNTK、Keras 等程式庫,其中 Keras 算是 TensorFlow 的官方介面,比較容易上手、適合初學者。而核心處理器 GPU 就像拉坯機的電源,若是 GPU 強大又穩定,深度學習的運算速度會更快。但最重要的是,身為手拉坏師傅的你,要如何教導電腦這位學徒。

-----廣告,請繼續往下閱讀-----

「深度」在於神經網路的層層結構

小時候爸媽會拿著圖書,教你辨認 “1″ ,”2″, “3″ 每個數字的長相,若要教電腦辨識數字 “2” ,要先從該影像一個個像素 (pixel)開始分析,經由層層層層層層層層層層層層層層層層函數組成的神經網路運算,最後判斷出這個影像「最可能」為數字 “2” 。

先教電腦定義每個影像的值,再透過神經網路的層層非線性函數運算,判斷這個影像最可能為哪個數字,信心水準比值最高者為答案。資料來源/李宏毅;圖說重製/林婷嫻、張語辰

為了達到較高的信心水準,有兩個關鍵:給與足夠的訓練資料,以及設計出優秀的神經網路。

深度學習的神經網路結構,該長什麼模樣?目前主流作法有 CNN(Convolutional Neural Network)、RNN(Recurrent Neural Network)和 GAN(Generative Adversarial Network)等等 ,各有信徒支持的優點。

深度學習常使用的三種神經網路架構示意:CNN, RNN, GAN。資料來源/李宏毅;圖說重製/林婷嫻、張語辰

CNN 善於處理空間上連續的資料,例如影像辨識;RNN 適合處理有時間序列、語意結構的資料,例如分析 ptt 電影版的文章是好雷或負雷;而 GAN 生成器(generator)與鑑別器(discriminator)的對抗訓練模式可以輔佐電腦「觀全局」,不會忘記自己做過的步驟而發生窘況,像是教電腦自動畫皮卡丘時,忘記自己已經畫了一個頭,最後畫出兩個頭。

強大的 AlphaGo 如何深度學習?

與 AlphaGo 對弈的柯潔曾表示:「與人類相比,我感覺不到它(AlphaGo)對圍棋的熱情和熱愛。我會我用所有的熱情去與它做最後的對決」。若以情感面來探討,確實為難 AlphaGo 。

因為在 AlphaGo 深度學習的過程中,訓練的資料並沒有任何熱血動漫或情書情歌,而是一張又一張專業的棋譜影像資料。台大電機系李宏毅教授以《棋靈王》漫畫的棋譜比喻說明,請見下圖。

透過眾多棋譜影像訓練,電腦可以學會根據目前棋盤上的局面,判斷下一步應該落棋於何處。本圖以《棋靈王》漫畫情節來比喻。資料來源/《棋靈王》漫畫、李宏毅提供;圖說重製/林婷嫻、張語辰

異質神經網路 (HIN):教電腦找到不同種資料的關連

除了「深度」,也別忘了「廣度」,把不同類型的資料整合在一起,可讓分析結果更精準。

來自伊利諾伊大學芝加哥校區的俞士綸教授點出,通常企業機關擁有的數據,是從各種不同管道蒐集而來,往往屬於不同型態。例如 Google 呈現搜尋結果建議時,除了看搜尋的關鍵字,也會參考使用者平常 Gmail 常用哪些字,或使用者正位於 Google Map 上的哪個位置。

這需要透過 HIN 異質神經網路(Heterogeneous Information Networks)技術,來理解並串連不同種類資料之間的關係。

俞士綸教授以藥物研發為例,在藥物合成或試驗前,可先透過深度學習分析相關資料,瞭解化合物的藥效會控制哪個基因、該基因和哪個通道有關係,或了解某個副作用會由哪兩種化合物引起 (註一)。這些深度學習的分析結果,再搭配和生醫或化學專家討論,有助縮減研發藥物的時間和花費。

透過深度學習,幫助判斷哪個藥物研發路徑比較重要(不同顏色的箭頭),及預測某個藥物能不能治療某種疾病。資料來源/俞士綸;圖說重製/林婷嫻、張語辰

深度學習,超幅提升電腦視覺能力

1960 年代,人工智慧先驅者 MIT 教授 Marvin Minsky 曾說「給我三個月,還有一位大學生,我要讓電腦可以辨識影像」,但當時電腦的聰明程度只會畫一些簡單的圓形、正方形,後來 Marvin Minsky 和學生 Gerald Sussman 宣告這個挑戰失敗。

到了 1990 年代,電腦視覺(Computer Vision)有更進步的發展,例如由 David Lowe 發表的 SIFT(Scale-Invariant Feature Transform)演算法,用來描述影像中的局部特徵,藉以偵測影像或影片在位置、尺度、角度上的對應及變異。

SIFT 電腦視覺演算法:先算出影像中每一個小區塊的方向性與梯度變化,再整合成各大區塊的方向性與梯度變化,降低資料的維度和雜訊,以利後續應用。資料來源/陳彥呈

現在大家常用的 panorama 全景攝影、3D 模型建立、VR 影像縫合等技術,皆應用到 SIFT 或類似的演算法;而 NASA 在外太空拍下火星地景照片時,也是透過 SIFT 演算法來比對地景特徵。

NASA 在外太空以俯視及平視兩種角度拍下火星地景,再透過 SIFT 演算法,辨認出同區域的視覺特徵(照片中的彩色小圓圈)。資料來源/陳彥呈提供

時間來到 2017 年,受惠於深度學習的進展,電腦視覺技術彷彿從單細胞生物進化到智人,發展出優異的影像辨識及理解技術,並成功應用於各行業與生活中。例如:在生產線上辨識紡織品花紋的瑕疵,以及網美愛用的修圖 APP ──辨識痘痘的位置並套上讓肌膚平滑的濾鏡。

影像辨識技術:早期演算法只能辨識一些簡單的特徵,現在透過深度學習,電腦可以辨識看到的汽車、自行車、行人等等,算出相對應的距離,並判斷哪些目標需要注意。資料來源/Nvidia launches Drive – the computer self-driving cars have been crying out for

運用深度學習教電腦辨識視覺特徵,發展到極致可望革新人類的生活。Viscovery 研發副總裁陳彥呈博士在演講中分享,現今 NVIDIA 的自動駕駛系統,從頭到尾只教電腦一件事:「辨認哪裡還有路可以開,才不會撞上」。秉持這個單純的概念,擴增訓練的影像資料、優化深度學習的神經網路,NVIDIA 自動駕駛系統的影像辨識正確性、反應速度和駕駛時速,不斷提升到可以上路的程度。

NVIDIA 自動駕駛系統:用深度學習,教電腦辨認哪裡有路可走,才不會撞上任何障礙物。資料來源/Volvo Cars and Autoliv Select NVIDIA DRIVE PX Platform for Self-Driving Cars

但自動駕駛車上路後,有哪些變因是神經網路算不出來的?陳彥呈舉例,當交通信號燈從黃燈變為紅燈時,自動駕駛系統會辨認燈色,並判斷該剎車停下來。但若這時後方一輛人類駕駛的車輛,可能趕時間認為應該要闖黃燈,就會撞上自動駕駛車。這該優化的是電腦的判斷力呢?還是人類的判斷力呢?

雖然將深度學習應用到電腦視覺領域,看來走在時代最前端,可以幫人類完成許多事,但陳彥呈以黑客松 (hackathon)競賽的範例來提醒,人們在進行深度學習研究時經常忽略的考量。

黑客松競賽中,學員提出用深度學習教電腦辨認「機車違規亂停」,幫助解決街道亂象。圖說設計/林婷嫻、張語辰

用 100 張違規停車的照片,加上 100 張依規停車的照片,透過 150 層的 ResNet 深度神經網路來訓練電腦,辨認出違規停車。聽起來是很棒的點子。

陳彥呈以過來人的經驗分享,這最大的挑戰在於:第一層輸入訓練電腦的影像資料中,「機車」和「腳踏車」的視覺特徵變異,遠大於地上「白線」和「紅線」的視覺特徵變異,會讓電腦誤以為要學習辨認「機車」和「腳踏車」的不同,而無法辨認出「白線」和「紅線」。

就像要教小狗「坐下」,但卻說了很多不同語言的「坐下」,或同時伴隨華麗的手勢,會混淆小狗究竟該辨認哪個特徵,無法做出正確的反應。

一開始準備訓練深度學習模型的資料時,就要處理乾淨,有助於後續神經網路的運算表現。

深度學習:一天 24 小時不夠用 QQ

中研院資訊所陳昇瑋研究員在演講中說明:深度學習讓電腦具備從繁雜資料中歸納規則的能力,但電腦畢竟不像人腦直覺,過程中還要教電腦處理各層函數的權重(weights)與偏差(bias)。

台大電機系李宏毅教授分享教電腦辨識 ”2” 的經驗,需要餵給電腦一萬張以上的手寫數字影像資料。而若要訓練電腦自動畫出二次元人物頭像,為了達到看起來會想戀愛的精美程度,至少要運算 5 萬回合(epoch),而每跑 100 回合可能就耗費大半天光陰。

透過 GAN 生成式對抗網路,跑了 5 萬回合後,教電腦自動畫出二次元頭像的成果。某幾個頭像是否看了感到心動?資料來源/GAN学习指南:从原理入门到制作生成Demo、李宏毅提供

打算將鐵杵磨成繡花針的老婆婆,曾經感動李白奮發向上,而若李白來到這個時代,看到電腦科學家不屈不撓的「深度學習」精神可能會雙膝一軟。若您是某企業的高階長官,千萬別對軟體工程師說:「這有資料,現在深度學習不是很紅嗎?試試看,一個禮拜後報告。」任何人工智慧技術,都需要時間淬煉。

XXX 工作會消失?天網會消滅人類?

左圖:中間高台的人正在唸故事給工作的人們聽;右圖:拿著竹竿敲窗戶的 morning call 服務。圖片來源/陳彥呈提供

隨著科技發展,現在有音樂串流平台,可以排解工作煩悶。早上也能透過智慧手機鬧鐘,讓自己在降低起床氣的旋律中睜開眼睛。這些是在留聲機及鬧鐘尚未出現前,曾經有的人工服務,但現在圖中的工作都已經消失了。

「唯一不變的,是變的本身。」 (Change is the only constant.) -- 古希臘哲學家 Heraclitus

幫助人們完成做不到的任務、解決心有餘而力不足的問題,這是自始至終發展人工智慧的目標。

以中研院「106 年度資料科學種子研究計畫」正在進行的研究為例 (註二),人工智慧可望幫忙解決生活中許多問題,包含:透過行動上網訊號來觀測人口流動,並預測傳染病的傳染區域途徑;藉由分析近年來交通事故的地方法院民事判決,歸納出法官如何衡量肇事責任的分配;亦可透過電腦視覺分析蛾類的體色,了解體色變化與氣候變異的關係。

現階段人工智慧受惠於深度學習,雖然相當強大,但尚有許多限制有待突破,電腦科學家們仍在蒐集訓練資料、優化神經網路、改善運算效能這條路上馬不停蹄。對於想踏入深度學習領域的初心者,李宏毅教授在演講中說出相當真實的心聲:

你看別人做手拉坏好像很容易,但自己做下去會有各種崩潰,深度學習也是一樣。心法在於你要相信自己一定做得出來!

2017 中央研究院 AI 月活動現場,講師正在向大家說明,如何建構精巧的深度神經網路。攝影/張語辰

看完這篇文章,當媒體下標天網要消滅人類、機器人發展自己的語言嚇壞工程師時,相信你已了解深度學習的能力與發展可能性。來自美國南加州大學的郭宗杰教授,在演講中笑著說:「因為不懂,會把它(深度學習)講得非常強;但如果懂了,就會知道它其實相當地有限,不要被外行人的說法嚇到。」

無論何種身分,若對於人工智慧和深度學習的最新發展感興趣,後續中央研究院資料科學種子研究群的活動現場有個位子,留給未來的你。

延伸閱讀

CC 4.0

本著作由研之有物製作,以創用CC 姓名標示–非商業性–禁止改作 4.0 國際 授權條款釋出。

 

本文轉載自中央研究院研之有物,泛科學為宣傳推廣執行單位

文章難易度
研之有物│中央研究院_96
296 篇文章 ・ 3420 位粉絲
研之有物,取諧音自「言之有物」,出處為《周易·家人》:「君子以言有物而行有恆」。探索具體研究案例、直擊研究員生活,成為串聯您與中研院的橋梁,通往博大精深的知識世界。 網頁:研之有物 臉書:研之有物@Facebook

1

1
1

文字

分享

1
1
1
讓 AI 取代真人執法可行嗎?將判斷全交給 AI 可能隱藏什麼危險?——專訪中研院歐美研究所陳弘儒助研究員
研之有物│中央研究院_96
・2024/03/18 ・6292字 ・閱讀時間約 13 分鐘

-----廣告,請繼續往下閱讀-----

本文轉載自中央研究院「研之有物」,為「中研院廣告」

  • 採訪撰文|劉韋佐
  • 責任編輯|田偲妤
  • 美術設計|蔡宛潔

人工智慧將改變以人為主的法治領域?

由人工智慧擔任警察,再也不是科幻電影的情節,交通管制常見的科技執法就是應用 AI 辨識闖紅燈、未依規定轉彎、車輛不停讓行人等違規行為。 AI 的客觀、高效率正在挑戰以人為審判主體的法治領域,這樣的轉變會對我們產生什麼影響呢?中央研究院「研之有物」專訪院內歐美研究所陳弘儒助研究員,他將帶我們思考:當 AI 取代人類執法時,將如何改變人們對守法的認知?

交通尖峰時段,後方出現一台救護車,你願意闖紅燈讓道嗎?
圖|iStock

想像有一天你正在尖峰時段開車,車子停在十字路口等紅燈時,後方出現一輛急駛而來的救護車,你為了讓道必須開過停止線。這時你是否願意冒著違規被開罰的風險?還是承擔風險以換取他人盡速就醫?

在上述情境中,針對「要不要闖紅燈」我們經歷了一段價值判斷過程。如果剛好十字路口有真人警察,他的判斷可能是:這是情急之下不得不的行為,並非蓄意違規。

然而,如果負責執法的是「法律人工智慧系統」(Artificially legal intelligent,簡稱 ALI)情況可能截然不同。

-----廣告,請繼續往下閱讀-----

ALI 這個詞源自 Mireille Hildebrandt 的研究,在概念上可區分為兩類:採取傳統程式碼的 IFTTT(if this then that)、運用機器學習的資料驅動。前者是注重法律推理或論證的計算機模型,將法律規範轉為程式碼,藉由程式編寫來執行法律任務。後者則透過大量資料的學習,來預測行為範式,用於再犯率、判決結果預測上有較好的成果。

一般情況下,應用在交通管制的 ALI 會辨識車輛是否超速、闖紅燈等違規行為,不過交通情境千變萬化,ALI 能否做出包含「道德價值的判斷」將是一大挑戰!

中研院歐美研究所陳弘儒助研究員察覺,人工智慧(AI)正在左右人們對守法的價值判斷及背後的因果結構,進而反思當我們將原本由人來判斷的事項,全權交由 AI 來執行時,可能產生哪些潛移默化的影響?

讓我們與陳弘儒展開一場從法哲學出發的對話,探索 AI 與法治價值之間的緊張關係。

-----廣告,請繼續往下閱讀-----
中研院歐美研究所陳弘儒助研究員,從法哲學出發,探索 AI 與法治價值之間的緊張關係。
圖|之有物

問

怎麼會對「人工智慧」(AI)與「法律人工智慧系統」(ALI)產生研究興趣?

會對 AI 感興趣是因為我很早就對電腦有興趣,我原本大學想唸資訊工程,因為高中有些科目沒辦法唸,於是去唸文組,大學進入法律系就讀,研究所考入「基礎法學組」研讀法哲學。

後來我到美國讀書,當時 AlphaGo 的新聞造成很大的轟動,啟發我思考 AI 的應用應該有些法律課題值得探討,於是開始爬梳 AI 與法律的發展脈絡。

AI 這個詞大概在 1950 年代被提出,而 AI 與法律相關的討論則在 1970、80 年代就有學者開始思考:我們能否將法律推理過程電腦程式化,讓電腦做出跟法律人一樣的判斷?

事實上,AI 沒有在做推理,它做的是機率的演算,但法律是一種規範性的判斷,所有判斷必須奠基在法律條文的認識與解釋上,給予受審對象合理的判決理由。

這讓我好奇:如果未來廣泛應用 AI 執法,法律或受法律規範的民眾會怎麼轉變?

-----廣告,請繼續往下閱讀-----

至於真正開始研究「法律人工智慧系統」(ALI)是受到我父親的啟發。有一陣子我經常開車南北往返,有一天我跟父親聊到用區間測速執法的議題。交通部曾在萬里隧道使用區間測速,計算你在隧道裡的平均速率,如果超速就開罰。

父親就問我:「政府有什麼理由用區間測速罰我?如果要開罰就必須解釋是哪一個時間點超速。」依照一般的數學邏輯,你一定有在某個時間點超速,所以平均起來的速率才會超過速限,可是法律判斷涉及規範性,我們必須思考背後的正當性課題,不能只用邏輯解釋,這啟發我逐漸把問題勾勒出來,試圖分析執法背後的規範性意涵。

問

如果將執行法律任務的權限賦予 AI,可能暗藏什麼風險?

我們先來談人類和 AI 在做判斷時的差別。人類無時無刻都在做判斷,判斷的過程通常會先做「區分」,例如在你面前有 A 和 B 兩個選項,在做判斷前必須先把 A 和 B 區分開來,讓選項有「可區別性」。

在資料龐大的情況下,AI 的優勢在於能協助人類快速做好區分,可是做判斷還需經歷一段 AI 難以觸及的複雜過程。人類在成長過程中會發展出一套顧及社會與文化認知的世界觀,做判斷時通常會將要區分的選項放進這個世界觀中,最終做出符合社會或自身考量的抉擇。

-----廣告,請繼續往下閱讀-----

當我們將判斷程序交由 AI 執行,就會涉及「判斷權限移轉」的問題,這經常在日常生活中發生,你只要發現原本自己可以執行的事情,有另外一個對象做的比你好或差不多好,你就會漸漸把判斷的工作交給它,久而久之,你大概會覺得這是很好的做法,因為可以節省大量時間。

自駕車導航系統就是判斷權限移轉的例子,由於導航通常可以找出最佳行車路線,駕駛人幾乎會跟著走,但仍有可能誤入路況不佳或無法通行的地方。
圖|Vladimir Srajber, Pexels

我擔心這種判斷權限移轉會快速且廣泛的發生,因為 AI 的工作效率極高,可以大幅節省人力成本,但是哪一些權限可以放給 AI?哪一些權限人類一定要守住?我們經常沒有充足的討論,等到發生問題再亡羊補牢可能為時已晚。

以讓道給救護車而闖紅燈的情境為例,如果讓 AI 來做交管,可以節省警察人力,又可以快速精準地開罰,卻迫使民眾需額外花時間,證明闖紅燈有正當理由。如果是真人警察來判斷,警察通常會認為你的行為有正當理由而不開罰。這對於受法律規範的民眾來說,會產生兩種全然不同的規範作用。

AI 產生的規範作用會讓民眾擔心事後銷單的麻煩程序,如果無法順利解決,可能會訴諸民意代表或上爆料公社,並漸漸改變民眾對守法的態度。而真人警察產生的規範作用,將使民眾自主展現對法律的高度重視,雖然當下的行為牴觸法律,卻是行為人經過多方權衡後做的判斷,相信法律會支持自己出於同理心的行為。

-----廣告,請繼續往下閱讀-----

問

使用 AI 執法除了看上它的高效率,也是因為和真人相比 AI 不會受私情影響,比較可以做出公正的判斷。如果從法治觀念來看,為何決策權不能全權交由 AI 執行?

我認為法治的核心價值在臺灣並沒有很好的發展,我們常想的是怎麼用處罰促成民眾守法,長久下來可能會得到反效果。當人們養成凡事規避處罰的習慣,一旦哪天不再受法律約束,可能會失去守法的動機。

事實上,法治最根深柢固的價值為:

法律作為一種人類行為規範的展現,促使民眾守法的方式有很多種,關鍵在於尊重人的道德自主性,並向民眾陳述判決理由。

給理由非常重要,可以讓民眾不斷透過理由來跟自己和法律體系溝通。如此也可以形成一種互惠關係,使民眾相信,國家公權力能用適當的理由來制定法律,而制定出的法律是以尊重公民自主性為主。當民眾理解法律對我所處的社會有利,會比較願意自動產生守法的動機。

AI 執法看似比人類「公正無私」,但它的執法方式以處罰為主、缺乏理由陳述,也沒有對具體情境的「敏感性」。人跟人之間的互動經常需要敏感性,這樣才能理解他人到底在想什麼。這種敏感性是要鍛鍊的,真人警察可在執法過程中,透過拿捏不同情境的處理方式來累積經驗。

-----廣告,請繼續往下閱讀-----

例如在交通尖峰時段應該以維持交通順暢為原則,這時警察是否具備判斷的敏感性就很重要,例如看到輕微的違規不一定要大動作開罰,可以吹個警笛給駕駛警示一下就好。

我越來越覺得人類這種互動上的敏感性很重要,我們會在跟他人相處的過程中思考:跟我溝通的對象是什麼樣的人?我在他心中是什麼模樣?然後慢慢微調表現方式,這是人類和 AI 最根本的不同。

行動者受各種法律變項影響的因果圖。上圖是由真人警察執法,對於處罰之可能性有影響力,可依不同情境判斷是否開罰。下圖是由全自動法律人工智慧執法,由 AI 直接將處罰之可能性加諸在行動者身上,缺乏真人警察二次確認,很可能影響行動者對守法與否的衡量。
圖|之有物(資料來源|陳弘儒)

問

相較於法律人工智慧,ChatGPT 等生成式 AI 強大的語言功能似乎更接近理想中的 AI,其發展可能對我們產生哪些影響?

我認為會有更複雜的影響。ChatGPT 是基於大型語言模型的聊天機器人,使用大量自然語言文本進行深度學習,在文本生成、問答對話等任務上都有很好的表現。因此,在與 ChatGPT 互動的過程中,我們容易產生一種錯覺,覺得螢幕後好像有一名很有耐心的真人在跟你對話。

事實上,對於生成式 AI 來說,人類只是刺激它運作的外在環境,人機之間的互動並沒有想像中的對等。

仔細回想一下整個互動過程,每當外在環境(人類)給 ChatGPT 下指令,系統才會開始運作並生成內容,如果我們不滿意,可以再調整指令,系統又會生成更多成果,這跟平常的人際互動方式不太一樣。

-----廣告,請繼續往下閱讀-----
ChatGPT 能讓使用者分辨不出訊息來自 AI 或真人,但事實上 AI 只是接受外在環境(人類)刺激,依指令生成最佳內容,並以獲得正向回饋、提升準確率為目標。
圖|iStock

資工人員可能會用這個理由說明,生成式 AI 只是一種工具,透過學習大量資料的模式和結構,從而生成與原始資料有相似特徵的新資料。

上述想法可能會降低人們對「資料」(Data)的敏感性。由於在做 AI 訓練、測試與調整的過程中,都必須餵給 AI 大量資料,如果不知道資料的生產過程和內部結構,後續可能會產生爭議。

另一個關於資料的疑慮是,生成式 AI 的研發與使用涉及很多權力不對等問題。例如現在主流的人工智慧系統都是由私人公司推出,並往商業或使用者付費的方向發展,代表許多資料都掌握在這些私人公司手中。

資料有一種特性,它可以萃取出「資訊」(Information),誰有管道可以從一大群資料中分析出有價值的資訊,誰就有權力影響資源分配。換句話說,多數人透過輸入資料換取生成式 AI 的服務,可是從資料萃取出的資訊可能在我們不知情的狀況下對我們造成影響。

問

面對勢不可擋的生成式 AI 浪潮,人文社會學者可以做些什麼?

國外對於 AI 的運用開始提出很多法律規範,雖然國外關於價值課題的討論比臺灣多,但並不代表那些討論都很細緻深入,因為目前人類跟 AI 的相遇還沒有很久,大家還在探索哪些議題應該被提出,或賦予這些議題重新認識的架構。

這當中有一個重要課題值得思考:

我們需不需要訓練 AI 學會人類的價值判斷?

我認為訓練 AI 理解人類的價值判斷很可能是未來趨勢,因為 AI 的發展會朝人機互動模式邁進,唯有讓 AI 逐漸理解人類的價值為何,以及人類價值在 AI 運作中的局限,我們才有辦法呈現 AI 所涉及的價值課題。

當前的討論多數還停留在把 AI 當成一項技術,我認為這種觀點將來會出問題,強大的技術如果沒有明確的價值目標,是一件非常危險的事情。實際上,AI 的發展必定有很多價值課題涉入其中,或者在設計上有一些價值導向會隱而不顯,這將影響 AI 的運作與輸出成果。

思考怎麼讓 AI 理解人類價值判斷的同時,也等於在問我們人類:對我們來說哪一些價值是重要的?而這些重要價值的基本內容與歧異為何?

我目前的研究有幾個方向,一個是研究法律推理的計算機模型(Computational models of legal reasoning);另一個是從規範性的層面去探討,怎麼把價值理論、政治道德(Political morality)、政治哲學等想法跟科技界交流。未來也會透過新的視野省視公民不服從議題。

這將有助科技界得知,有很多價值課題需要事先想清楚,影響將擴及工程師怎麼設計人工智慧系統?設計過程面臨哪些局限?哪些局限不應該碰,或怎麼把某些局限展現出來?我覺得這些認識都非常重要!

鐵面無私的 ALI ?人類與人工智慧執法最大的分野是什麼?

陳弘儒的研究室有許多公仔,包括多尊金斯伯格(Ginsburg)公仔,她是美國首位猶太裔女性大法官,畢生為女權進步與性別平權奮鬥。
圖|之有物

陳弘儒是臺灣少數以法哲學理論研究法律人工智慧系統(ALI)的學者,他結合各種現實情境,與我們談論 ALI、生成式 AI 與當代法治價值的緊張關係。

由於 ALI 擅長的資料分類與演算,與人類判斷過程中涉及的世界觀與敏感性思辨,有著根本上的差異;以處罰為主、缺乏理由陳述的判斷方式,也容易影響民眾對公權力的信任。因此陳弘儒認為,目前 ALI 應該以「輔助人類執法」為發展目標,讓人類保有最終的判斷權限

至於現正快速發展的生成式 AI ,根據陳弘儒的觀察,目前仍有待各方專家探索其中的價值課題,包括資料提供與使用的權力不對等、哪些人類價值在訓練 AI 的過程中值得關注等。

在過去多是由人文社會學者提出警告,現在連 AI 領域的權威專家也簽署公開信並呼籲:AI 具有與人類競爭的智慧,這可能給社會和人類帶來巨大風險,應該以相應的關注和資源進行規劃和管理

在訪談過程中,有一件令人印象深刻的小插曲,陳弘儒希望我們不要稱呼他「老師」,因為他從小就畏懼老師、警察等有權威身分的人,希望以更平等的方式進行對話。

假如今天以 AI 進行採訪,整個談話過程或許能不受倫理輩分影響,但這也讓我們意識到,在 AI 的世界裡,許多人際互動特有的敏感性、同理反思都可能不復存在。

陳弘儒的研究讓我們體會,AI 在法治領域的應用不僅是法律問題,背後更包含深刻的哲學、道德與權力課題,也讓我們更了解法治的核心價值:

法律要做的不只是規範人們的行為,而是透過理由陳述與溝通展現對每個人道德自主性的尊重。

所有討論 1
研之有物│中央研究院_96
296 篇文章 ・ 3420 位粉絲
研之有物,取諧音自「言之有物」,出處為《周易·家人》:「君子以言有物而行有恆」。探索具體研究案例、直擊研究員生活,成為串聯您與中研院的橋梁,通往博大精深的知識世界。 網頁:研之有物 臉書:研之有物@Facebook

0

1
1

文字

分享

0
1
1
跨物種溝通即將成真!若有動物的「翻譯蒟蒻」你想擁有嗎?
鳥苷三磷酸 (PanSci Promo)_96
・2023/11/13 ・4484字 ・閱讀時間約 9 分鐘

-----廣告,請繼續往下閱讀-----

人與動物之間的溝通一直是科學界和哲學界十分引人關注的一個議題。傳統觀點認為,人類和其他動物之間的溝通受到生物學和語言能力的限制,因此很難實現真正的互相理解。然而,近年來,科學家們對這個問題的看法已經開始轉變,並且有一些跡象表明跨物種溝通有望成為現實。

為什麼科學家認為跨物種溝通即將成真?從海豚到水豚、從蜘蛛到山豬,人工智慧能成為所有生物的萬能「翻譯蒟蒻」嗎?當人類真的破解了另一物種的溝通方式,未來會發生什麼事呢?

跨物種溝通即將成真?圖/giphy

為什麼動物溝通,備「獸」關注?

從古代神話、經典傳說,到熱門動漫影視,都有不少能說人話、化為人形的動物,像是美猴王孫悟空、馴鹿喬巴、還有火箭浣熊,這些擬人化的角色雖然外表參雜獸的特質,卻往往更有人性,故事也著重呈現人與獸人如何從誤解到包容,讓我們為之動容。

在當代台灣的漫畫作品中,許多優秀的新一代漫畫家探討了擬人化動物和人類之間的隔閡、衝突以及理解,呈現了多元化的故事情節。其中,有一些引人入勝的作品,例如《瀕臨絕種團》,故事描述了被路殺後轉生成人類的石虎、黑熊和水獺,當上 YouTuber 還成為高中女生的故事。這個作品提供了獨特的視角,探討了不同物種之間的互動和冒險。

-----廣告,請繼續往下閱讀-----

另一部作品是《海巫事務所》,它將魔法元素融入生物學,講述了一個迷茫的廢業青年與擬人化海洋動物相遇並相互療癒的故事。還有一個短篇漫畫《IVE》,通過科幻的方式,描述了某種深海雌鮟鱇的繁殖和誘導機制,卻將目標對象設定為人類男性的謎般生物,及她和科學家之間的異色關係。

短篇漫畫《IVE》描述了有著雌鮟鱇的繁殖和誘導機制,卻將目標對象設定為人類男性的謎般生物,及她和科學家之間的異色關係。圖/CCC 追漫台

這些作品在畫風和故事情節方面都各有特色,無論你是一位一般漫畫愛好者還是偏愛條漫,你都可以在 CCC 追漫台找到它們,享受不同的視覺和情感體驗。

而這幾部作品的共通核心問題就是:如果動物能用人類的語言跟我們溝通,會怎樣?即使牠們能跟我們說話了,我們就能理解彼此嗎?要取得那唯一的真相,除了請出《不可知論偵探》海麟子(也是 CCC 追漫台 上的熱門作品),科學家還有一個辦法:就讓動物自己說話吧!今年 7 月 Science 期刊上發表了一篇觀點文章,標題為《用機器學習解碼動物溝通》表示新方法有望帶來全新的洞見,也有助於保育。不過在打電話給露洽露洽之前,我們得先了解什麼是動物溝通?

什麼是動物溝通?

首先要有一個清楚的認知,那就是人類跟所有其他的動物,都各自受限於自己的感官,活在不同的「環境界」(Umwelt),這個德文的意思是說每一種生物都活在獨有的感官泡泡裡,所見、所聞、所聽、所嚐、所觸都跟其他生物截然不同。你想想,連人與人之間都會因為家庭背景、生活環境、媒體教育而對同一件事物有天差地遠的詮釋了,對跨物種來說,不同的感官體驗讓彼此如同身處完全不同的世界。

-----廣告,請繼續往下閱讀-----

例如,海龜和許多鳥類能感知地球的磁場,藉此進行長距離遷徙;而響尾蛇具有紅外線感覺器官,能夠在黑暗中感知幾公尺外的獵物體溫。蝙蝠則使用回音定位來捕捉飛蛾等獵物,每秒發射兩百次超音波脈衝,並根據百萬分之一秒的時間差距來精準定位目標。斑海豹則依賴其特殊的鬍鬚來察覺魚游過的流體動力,猶如水中留下的軌跡。角蟬使用震動通信,能夠透過植物表面傳遞信息給其他角蟬,即使對人類來說是聽不見的。至於我們的忠實夥伴狗,它們的世界主要由氣味構成,能夠分辨地下埋藏的松露、潛藏的地雷、古蹟、毒品甚至主人身體內的腫瘤等各種氣味。

狗狗的世界主要由氣味構成。圖/giphy

那麼,海龜要如何跟我們這些沒有磁場感應的人類解釋牠們的感覺呢?蜂鳥又要怎樣才能描述它看到的一億種顏色呢?這真的是雞同鴨講,甚至比牛頭更不對馬嘴!

但有越來越多科學家認為,隨著人工智慧(AI)的快速進步,破譯動物的溝通方式不再是不可能的事情。AI 能幫上什麼忙呢?首先,機器不具備人類的偏見,因此能幫助研究者更理解動物溝通系統的結構和功能,同時辨識我們和動物之間的差異。

其次,機器學習技術能夠辨識那些對於人類難以想像或無法感知的動物感官訊號,這些包括聲音、振動、光線、化學物質等。機器可以幫助分析這些訊號,並幫助我們理解動物想要傳遞的訊息。

-----廣告,請繼續往下閱讀-----

最後,AI 還可以基於動物訊號,開發出預測動物行為的模型。例如預測動物的交配行為或遷徙模式,或何時可能需要尋找庇護避免捕食者。

此刻的我們對於深度學習能完美辨識圖像語音,以及 GPT-4 或 PaLM 2 等大型語言模型能生成語言,甚至跟我們交談,完全不覺得奇怪,但可能僅僅 10 年前,這都還像是天方夜譚。那麼將這份能力運用在動物身上,也將變得理所當然……嗎?

現在科學家已經做到什麼程度?破解了哪些動物語言呢?

科學家正在使用人工智慧來解讀各種物種的動物溝通方式。

例如烏鴉:英國聖安德魯斯大學的科學家 Christian Rutz 長期研究南太平洋的新喀里多尼亞烏鴉( New Caledonian Crow ),牠們是少數能夠製造工具的鳥類,會把樹枝的葉子拔掉,做成鉤子來釣蟲,不同群體的作法也有差異。他發現島上不同烏鴉群體有不同的叫聲,可能是文化得以傳播的關鍵。身為烏鴉專家的他加入了 ESP 地球物種計畫,研究二十年前已經野外滅絕,現在只剩圈養個體的夏威夷烏鴉,他們用機器學習來比較圈養跟野生烏鴉的錄音,了解圈養是否改變了烏鴉的詞彙,例如注意威脅、求偶等重要的叫聲,是否已經在圈養環境中失去了,如果我們破譯這些叫聲,可能可以幫助這些烏鴉重新野化。

-----廣告,請繼續往下閱讀-----
或許我們可以預測鯨魚會說什麼,反過來和牠們對話?圖/giphy

哺乳類的另一個成員鯨魚更是重點研究對象,2020年成立的 CETI,由 40 多名科學家、跨15 個機構組成,是最受關注的鯨語破譯團隊。他們除了駕船出海用水下麥克風偷聽鯨魚對話,也使用無人機從上方監看,更計畫在加勒比海海底安裝三個監聽站,從遠處捕捉離海岸 12 英里處抹香鯨聊天的喀噠咔嗒聲。以前啊,抹香鯨的聲音被比擬為單純的二進位代碼,但其實更為複雜,而機器學習可以重新辨識這些聲音。圖靈獎得主,加州大學柏克萊分校西蒙斯計算理論研究所所長莎菲·戈德瓦塞爾( Shafi Goldwasser )受訪時就說, CETI 的目標就是要像 ChatGPT 一樣,能預測鯨魚會說什麼,甚至反過來和鯨魚對話。

這些只是 AI 解讀的眾多物種中的一部分,其他還有不少鳥類、靈長類、海豚、蜘蛛、螞蟻、蜂類,或與人親近的貓、狗、豬等,也都是目前被科學家認為有機會破譯其「語言」的生物。

如果我們成功解讀出了動物的語言,我們又該從什麼角度與動物溝通?我們所「理解的語言」真的一樣嗎?

就算解讀動物溝通,能避免擬人化的陷阱嗎?

儘管機器學習在許多情況下表現出令人印象深刻的準確性,但動物的聲音、姿態和其他訊號往往具有多義性,也就是同一個訊號可能有多個意思,很難正確解釋它們的含義。此外,機器學習再強,目前也存在限制,特別是我們尚未完全理解的感知機制,如電感、磁感和費洛蒙等。

-----廣告,請繼續往下閱讀-----

在漫畫《瀕臨絕種團》跟《海巫事務所》中,動物跟人類除了偶爾吵架之外,基本上相處得極為融洽,這也是我們人類想像中希望的情境,就是能與動物友善地、無惡意地溝通。而在《 IVE 》這部異色科幻作品中,則提出更現實的問題。汪幼海博士認為 IVE 為了與人接觸,如鮟鱇魚一般的餌球竟然為了吸引人類而變成人形,甚至可以與人溝通。雖然令人驚喜,但這也意味 IVE 的目的就是要讓人類成為其血肉的一份子,獲取其基因,因此也使用類似費洛蒙的物質吸引人類男性。對鮟鱇魚或 IVE 來說,這是很自然、毫無惡意的,但對人類來說,就是一種恐懼的殺戮。大自然中本來就有許多「愛」是以殺為結局,包括蜘蛛、螳螂等。人類又要如何在對事物理解前提完全不同的情況下,與動物更深度溝通呢?

圖/pexels

在科學研究上,我們情不自禁地把動物擬人化更是個麻煩且不容易解決的問題,要是過於擬人化地認為動物跟人類共享一樣的情感,可能導致研究者在實驗設計和解釋結果時受到情感干擾,使研究不客觀。此外,擬人化也會使研究者更容易面臨到底是該保護動物權益,還是進行實驗研究之間的衝突,陷入倫理的困境。

但若反過來,要是有科學家認為動物跟人類完全不同,因此缺乏同情心,不尊重動物權益,倫理問題只會更嚴重。現在大家對動物福祉很關注,尤其是在涉及動物實驗和野生動物保護的時候,研究人員對動物無感情的態度反而可能導致研究受到質疑。更重要的是,這會讓科學家缺乏共鳴和洞察力,忘記我們也是動物。因此啊,如何拿捏分寸,在過分擬人跟缺乏同情的兩端之間找到適當的位置,也是動物溝通研究者的重要問題。

人類會將破譯動物溝通的能力拿來善用嗎?怎樣算是善用呢?

在石虎、黑熊跟水獺轉生變高中女生、IVE 開始對人類有興趣之前,機器學習的確可幫助我們監控和保護瀕臨絕種的野生物種,透過解讀其溝通方式,更了解牠們的需求和行為,制定更有效的保育策略。也能夠幫助我們理解圈養動物的情感和需求,從而改進在人類照顧下的生活品質。

-----廣告,請繼續往下閱讀-----

然而,當播放動物聲音以吸引它們或干擾它們時,會不會對它們的行為產生不可預測的影響?甚至不可逆地改變群體的文化,從而威脅它們的生存和生態系統的平衡?假訊息在人類世界已經夠麻煩的了,想像一下,若連動物世界也都被假訊息入侵時,會發生什麼事呢?

CCC 追漫台是一個臺灣原創漫畫平台

致力於推廣臺灣漫畫,並將臺灣漫畫融入日常生活。這個平台由本土新銳圖文創作者們打造,並結合國家典藏資料素材,以探索臺灣的豐富歷史、民俗、社會和生態等多元議題。

CCC 追漫台的使命是透過原創漫畫作品,傳達臺灣在地精神,讓讀者深入了解這個多元文化的島嶼。通過精心創作的漫畫,平台不僅提供了具娛樂性的閱讀體驗,還擴展了讀者對臺灣文化和歷史的認識。

文章中提及之漫畫皆可在追漫台上閱讀唷。

鳥苷三磷酸 (PanSci Promo)_96
196 篇文章 ・ 302 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia

0

1
0

文字

分享

0
1
0
驅動未來科技創新的運算平台領導廠商—Arm
鳥苷三磷酸 (PanSci Promo)_96
・2023/10/26 ・2594字 ・閱讀時間約 5 分鐘

本文由 Arm 委託,泛科學企劃執行。

Arm(安謀)是一家來自英國提供處理器 IP 架構設計的矽智財公司,你可能不清楚 Arm 在做什麼?但你可能在最近的新聞中聽過它,而且,你可能每天都在使用他們的產品!

實際上,90% 的智慧型手機使用的 CPU 晶片,其指令架構集(ISA)都是採用 Arm 架構,例如部分蘋果產品所使用的晶片、Android 手機常見的驍龍系列,以及聯發科技推出的天璣系列晶片,Arm 都是這些處理器架構的主要供應商。

每片 CPU 上,都有 ISA。圖/pixabay

不過這個指令架構集(ISA)到底是什麼?為什麼每台手機甚至電腦都要有呢?

-----廣告,請繼續往下閱讀-----

什麼是指令架構集(ISA)?

指令集架構(ISA)是電腦抽象模型的一部分,它定義了 CPU 如何被軟體控制。ISA 作為硬體和軟體之間的介面,既規定了處理器能夠執行的任務,又規定了如何執行這些任務。ISA 提供了使用者與硬體互動的唯一途徑。ISA 可以被視為程式設計師的手冊,透過 ISA,組合語言程式設計師、編譯器編寫者和應用程式程式設計師方能與機器溝通。

處理器的構建和設計稱為微架構(micro-architecture),微架構告訴您特定處理器的工作原理,例如,Arm Cortex-A53 和 Cortex-A73 都是 Armv8-A 架構的實現,這意味著它們具有相同的架構,但它們具有不同的微架構。

目前常見的 ISA 有用於電腦的 Intel/AMD x86_64 架構,以及在行動裝置是主流的 Arm 架構。而 Arm 本身不製造晶片只授權其架構給各個合作夥伴,授權的架構也被稱為「矽智財」(Semiconductor intellectual property core,簡稱 IP),並由合作夥伴依據規格打造合規的矽晶片。

Arm 成為全球關注的焦點

今年九月,Arm 在美國紐約那斯達克交易所掛牌上市,吸引大量投資者的目光,除了節能的設計,Arm 持續提升產品效能,使得 Arm 架構具有強大的競爭優勢,讓 Arm 的技術和產品,除了在行動裝置與物聯網應用佔據了重要地位,也在後續發展的其他產品持續協助產業推動技術革命。

-----廣告,請繼續往下閱讀-----

最早,Arm 架構是為了依靠電池運作的產品而設計的,隨著這十多年來的轉變,行動裝置成為主流,而 Arm 架構也成為了行動裝置的首選。

除了 Arm 原本行動裝置的通用 CPU 領域,Arm 亦著手開發專用 CPU 的架構,這些專用 CPU 的使用情境包含雲端基礎設施、車用和物聯網(IoT)。

現在 Arm 除了在手機處理器上有超過 90 % 的市占率外,在物聯網與嵌入式應用上有 65% 的市占率,目前車用晶片也逐步轉向由軟體來定義汽車的電子電氣架構,這凸顯了軟體在未來汽車架構的重要性。「嵌入式邊緣裝置使用的可擴充開放架構 (Scalable Open Architecture for Embedded Edge;SOAFEE) 」建立以雲原生的系統架構,透過雲端先行開發軟體,協助汽車產業業者在產品正式商品化前,能在基於 Arm 架構的晶片上進行虛擬環境測試,目前 Arm 在車用晶片上,市佔率超過四成。

由感測器至智慧製造系統設計,Arm 與生態系密切合作,推動技術創新

在雲端運算上,Arm 也推出了 Arm Neoverse 技術平台來協助雲端伺服器的晶片設計,並配合新推出的 Arm Neoverse 運算子系統(CSS),來簡化專用晶片的設計複雜性,減少晶片設計花費的時間。

-----廣告,請繼續往下閱讀-----

在 Arm 日益完整的產品組合下,透過與廣大生態系合作,能為市場提供許多軟硬體解決方案。首先,在行動裝置上,Arm 近乎霸占市場。而在 AI 發展與網路速度持續提升的趨勢下,許多運算都可以在雲端完成,最近的實例為 Nvidia 的 GeForce Now,只需一台文書機,就能暢玩 3A 大作,或是 Google 的 Colab,讓 AI 能在文書機上完成運算,造福了沒有高級顯卡的使用者。

未來,邊緣運算將陸續解開雲端運算的束縛,而 Arm 也在前期投入了雲端基礎開發,配合行動裝置的市占率,無論如何 Arm 都將在未來科技業占有一席之地。

Arm Tech Symposia 將在 11 / 1 與 11 / 2 盛大舉辦

2023 Arm 科技論壇(Arm Tech Symposia)即將在 11/1 台北萬豪酒店,11/2 新竹國賓飯店盛大舉辦!這是 Arm 每年最重要的實體活動之一,以【Arm is Building the Future of Computing】為主軸,探討在 AI 時代來臨之際,Arm 最新的技術如何驅動創新科技,為次世代的智慧運算、沉浸式視覺、AI 應用、自主體驗等帶來更多可能性。 

這次 Arm 科技論壇將圍繞在車用、物聯網、基礎設施、終端產品等熱門 AI 應用領域,並邀請台積公司、Cadence、瑞薩電子、新思科技、CoAsia 擎亞半導體等各領域專家,帶來產業第一手趨勢洞察。

-----廣告,請繼續往下閱讀-----

其次,也會分享 Arm 的新技術在 AI 的應用,包含如何透過軟體定義汽車降低汽車電子系統核心 EUC 整合的複雜性,同時維持汽車資安;以及介紹專為特定工作負載而設計的運算方式,如何讓企業不受外在環境與技術影響,處理更大規模的數據。

今年 11/1 在台北場的座談會,主題為 Edge computing on AI,探討邊緣運算在人工智慧上的應用,以及人工智慧對於半導體產業以及晶片研發帶來的影響,邀請 iKala 共同創辦人暨執行長程世嘉、聯發科技執行副總經理暨技術長周漁君,以及 Arm 台灣總裁曾志光與會。

Arm 科技論壇 11 月 1 日台北萬豪酒店。 圖 / Arm 

11/2 在新竹場的座談會主題為 The Keys of Automotive Transformation,探討汽車產業的轉型趨勢,邀請 Anchor Taiwan 執行長邱懷萱、友達光電執行長暨總經理/達擎董事長柯富仁、波士頓顧問公司董事總經理暨資深合夥人徐瑞廷,以及 Arm 台灣總裁曾志光與會。

Arm科技論壇 11月 2 日新竹國賓飯店。 圖 / Arm 

無論你是硬體工程師、軟體開發人員、晶圓代工、晶片設計商、OEM/ODM 還是相關產業人士,都能在這場論壇中互相交流,充實自己。

-----廣告,請繼續往下閱讀-----

2023 Arm 科技論壇報名連結

活動結束後填寫問卷的朋友,還有機會現場抽中 iPhone 15 Pro、 iRobot Roomba j7+ 掃地機器人、Sony WH-1000XM5 無線耳機、Dyson Purifier Big+Quiet Formaldehyde 空氣清淨機等精美好禮喔!

報名截止倒數中,現在就立刻報名吧!

鳥苷三磷酸 (PanSci Promo)_96
196 篇文章 ・ 302 位粉絲
充滿能量的泛科學品牌合作帳號!相關行銷合作請洽:contact@pansci.asia