0

3
0

文字

分享

0
3
0

《人造意識》中的機器人艾娃,具有個人意識嗎?

好青年荼毒室
・2016/12/17 ・4339字 ・閱讀時間約 9 分鐘 ・SR值 544 ・八年級

-----廣告,請繼續往下閱讀-----

文/豬文 難度:★★★★☆

圖/IMDb
圖/IMDb

=====暴雷警告:含劇透,未看電影的人,可看罷再回來=====

 

 

《人造意識》(Ex Machina,或譯為《機械姬》)是部十分出色的電影,撇除電影巧妙地將一個極為深刻的哲學問題以故事方式呈現之外,配樂、鏡頭、演員、節奏、結局也是一絕的。這部電影的故事十分簡單,主要角色只有三個:測試設計者(老闆)、測試者(員工,Caleb Smith,下稱嘉立)、被測試者(人工智能,Ava,下稱艾娃)。故事就是一間科技公司老闆請來了一位員工,去幫忙測試他研發的人工智能。老闆想要知道的事情很簡單:

究竟艾娃是否具有意識?

電影版本圖靈測試

這個測試,一如老闆所說,是個新版本的圖靈測試 (Turing Test)。圖靈測試是一個關於人工智能的經典測試,名字源自測試的設計者──艾倫.圖靈 (Alan Turing)。大家之前或有看過 2015 年的那套《模彷遊戲》(The Imitation Game)電影,當中說的就是這個鼎鼎大名的圖靈。

-----廣告,請繼續往下閱讀-----
艾倫‧涂靈。圖/Public Domain, https://commons.wikimedia.org/w/index.php?curid=22828488
艾倫‧圖靈。圖/Public Domain, wikimedia commons

舊版本的圖靈測試是這樣的:測試者需向被測試者提出問題,而回答的有可能是一個正常人類,也有可能是被測試的電腦。經過一連串答問之後,如果測試者不能分辨到人類和電腦的話,便可以宣告電腦通過測試(其實這個和圖靈測試最原初的設計不完全一樣。但核心精神基本上一致,而且已成為了現今一般對圖靈測試的標準理解,當中曲折不在此述)。

電影《人造意識》中,嘉立向艾娃提問題,測試他是否具有意識。圖/IMDb
電影《人造意識》中,嘉立向艾娃提問題,測試他是否具有意識。圖/IMDb

電影中的測試和這個圖靈測試很類似,整個進行的過程都是嘉立向艾娃提問題,而夏娃能否通過測試也是由嘉立一錘定音。不過,這裡有個重要分別:圖靈測試當初問的問題只是機械能否思考(Can machine think),而不是是否具有意識(Does machine have consciousness)

具有意識的要求比能否思考的要求高出不少,現在基本上不會有人再問機械能否思考這個問題,因為答案幾乎是肯定的。只要想想前一陣子鬧得熱哄哄的 AlphaGo 便知道:AlphaGo 具有分析形勢、預測對手反應、評估風險、作出決定等能力,大抵沒有人會質疑這個能打贏李世乭(韓國九段琪士)的電腦能否思考。但談到 AlphaGo 是否具有意識,卻充滿疑問(準確一點說,當初的圖靈測試也不完全在問機械能否思考這個問題,因為他認為這問題有歧義、不夠具體,但圖靈真正的問題基本也是以機械能否思考為核心,而有別於是否具有意識這問題)。

物理主義對「意識」之理解

當我們問機械是否具有意識時,更根本的問題是「什麼是意識?」

-----廣告,請繼續往下閱讀-----

什麼是意識是近代分析哲學最熱門的問題之一。隨著腦神經科學、認知科學、心理學的發展,心靈哲學家對意識本質的討論更是愈趨熱烈。這幾十年的討論什麼是意識?《人造意識》中的心靈哲學問題的核心之一,乃是人類的心靈能否完全被自然科學所描述和解釋。如果能夠,則所謂關於人類意識的心靈現象,不外乎是物理現象的一種,而認同此立場的被稱為物理主義(Physicalism)

現代社會的科學式世界觀中,人自然認為世上一切都不過是物理事物,自然科學理論上能解釋一切(如果無法解釋,只是現階段未能解釋而不是原則上不能解釋)。如此一來,有什麼論證阻礙了心靈哲學家肯定物理主義呢?其中一個最重要、被廣泛討論的問題是人類的主觀經驗。所謂主觀經驗,是指人類第一身的感覺,例如你看到藍色的天空時、聽到打雷時、想起媽媽時的那個第一身感覺。即使是物理主義者也會同意這些感覺是構成人類心靈活動、意識很重要的一部分,問題只是這些感覺能否被自然科學完全解釋。這個問題,也是電影中判斷艾娃是否具有意識的關鍵之一。

電影劇照,左為測試員夏立,右為艾娃的擁有者納森。圖/IMDb
電影劇照,左為測試員夏立,右為艾娃的擁有者納森。圖/IMDb

嘉立在完成第一天測試之後,老闆問了他對艾娃的感覺,但老闆隨後便說,接下來要問的是艾娃對嘉立有什麼樣的感覺 (How does she feel about you)。或許,這裡更關鍵的不只是艾娃怎樣(how)想嘉立,而是究竟艾娃有沒有任何第一身感覺( Does she have any feeling about you at all)。

「黑白瑪莉」與主觀經驗

在測試的過程中,嘉立向艾娃提到一個思想實驗,而這個思想實驗,正是用來反對物理主義的有名論證。這個思想實驗叫做「黑白瑪莉」(Mary in the black and white room),這個思想實驗所構成的論證叫「知識論證」 (Knowledge argument)

-----廣告,請繼續往下閱讀-----
黑白瑪莉。圖/By Alexander Wivel [1] - from Knol, CC BY 3.0, https://commons.wikimedia.org/w/index.php?curid=5297335
黑白瑪莉思想實驗。科學家瑪莉一生都在黑白的房間中研究色彩,當他回到七彩世界,他有學到任何關於顏色認知的知識嗎?圖/By Alexander Wivel [1] – from Knol, CC BY 3.0, wikimedia commons

實驗是這樣的:想像一名叫瑪莉的科學家,一生都在一間房間工作,但這個房間的所有東西都是黑白色的,她也只能透過一個黑白的螢光幕去認識外在世界。瑪莉的專業是關於顏色的科學研究,在這個黑白房間裡,她學會了一切關於顏色感知的物理知識,例如各種光波的長度、光線射經過物件折射到人類眼球的整個過程、人類大腦如何處理這些由眼球傳來的訊息等等。

有一天,瑪莉從黑白房間出來了,來到了這個七彩繽紛的世界,看到蔚藍的天空、火紅色的花、綠油油的草地。現在的問題是,瑪莉有學會任何新的關於顏色認知的知識嗎?

提出這個思想實驗的哲學家法蘭克.傑克森(Frank Jackson) 認為有。首先,瑪莉很明顯獲得了看見藍色、紅色、綠色時的感覺;基於這些感覺,瑪莉便獲得了新的知識:「看見藍(紅、綠)色的感覺是這樣的。」那這些知識是物理知識嗎?不是,因為瑪莉在出門之前便已經擁有一切關於顏色感知的物理知識,而它們又是新的知識,那它們就一定是一些非物理知識。最後,如果瑪莉可以擁有一些關於心靈現象的非物理知識的話,那就意味著這世界存在一些相對應的、關於心靈現象的非物理事實(設想一下,我們「地球是圓的」的知識,這知識便對應「地球是圓的」這事實)。

傑克森認為,這能夠成功反駁物理主義的想法,因為只要我們承認瑪莉出門後獲得了新的知識,就必須接受心靈現象具有非物理的面向這結論。換句話說,物理主義試圖把人類心靈完全化約為物理事實的計劃便會失敗。整個論證的關鍵便在於佔人類心靈活動很大部分的主觀感覺。關於主觀感覺的討論仍然是心靈哲學的十分重要的爭議:物理主義者一直努力論證心靈現象,包括主觀感覺,能完全化約成物理現象;非物理主義者如積遜(有趣的是,傑克森已經改變了自己原本的立場)則努力論證心靈現象,特別是主觀感覺,不能完全化約成物理現象。

-----廣告,請繼續往下閱讀-----

嘉立向艾娃解釋這個論證時,認為這個論證證明了人類心靈與電腦的分別。他的意思是:電腦就像黑白房間裡的瑪莉,艾娃可以知道人類在跟喜歡的人聊天時的所有物理事實,他自己亦可以如常地理解嘉立的說話,可以給出相應的反應,但重點是艾娃有沒有人類在跟喜歡的人聊天時的第一身感覺呢?如果沒有的話,艾娃仍然不具有意識。

性、工具、出賣

圖/IMDb
圖/IMDb

電影中另一個有趣的情節是,老闆對嘉立說,艾娃是一個有性別的機器人,不但外表女性化,甚至在艾娃兩腿之間專門設計了一個感應器,如果有刺激的話,艾娃會給出如人類般的歡愉反應,可能是呻吟,可能是分泌液體,而老闆自己便曾和他的女僕機械人性交!從第三身的角度出發,我們根本分辨不到人類之間的性行為和老闆跟他的女僕機械人的性行為有什麼差別,但問題是究竟艾娃和那女僕機械人有沒有任何快感呢?

經過反覆測試之後,老闆和嘉立都認為,艾娃通過了這個新圖靈測試。按老闆的講法,嘉立只是一個工具,用來測試艾娃能否利用這個工具逃走這個迷宮。結局是,艾娃成功騙倒了嘉立,讓他幫自己逃走。老闆認為,這過程中艾娃展現出各種高階的思維能力,因此艾娃通過了測試。

不過,如果按我們一直的討論來說,老闆的講法顯然是有問題的,因為艾娃在「逃生」過程中,只顯示了他具有相當高階的思考能力,但這和具有意識仍有距離。艾娃就像一台人形的 AlphaGo,思考方面絕對過關,甚至比絕大部分人類好,但這不代表艾娃在利用嘉立時會有沉悶、快樂、緊張、內疚的主觀感覺。更何況艾娃在利用完嘉立之後,竟完全不顧嘉立的生死。看到嘉立驚恐的表情時,艾娃完全沒有任何反應,甚至不像一般電影中的惡人,明知對方的痛苦,但仍以自己的利益為先。其冷酷的表情更像是告訴我們,艾娃根本不知道嘉立被自己出賣時那些痛苦、驚慌、絕望的感覺是甚麼。

-----廣告,請繼續往下閱讀-----

「誰不是艾娃?」

理解他人的想法與感覺這件事是如何可能的呢?圖/IMDb
理解他人的想法與感覺這件事是如何可能的呢?圖/IMDb

其實老闆的想法牽涉到一個更古老的哲學問題──他者心靈。究竟理解他人的想法與感覺這件事是如何可能的呢?老闆的結語看似幼稚,但其實與我們日常生活的某種習慣十分類似。老闆完全可以同意如果沒有主觀感覺的話艾娃便不能稱為擁有意識,甚至可以同意非物理主義者所言的心靈現象的非物理面向,但問題是我們憑甚麼斷言艾娃沒有主觀感覺呢?

再回想我們的日常生活,我們又是如何肯定公車上,旁邊那個人形的東西是具有主觀感覺的人類而不是機械人?似乎外顯的行為是我們唯一可以觀察到的東西,我們從來不是透過跑進他的心靈裡面,看看內裡有沒有所謂的感覺,來確定他是活生生的人。我們之所以覺得他有主觀感覺,是因為看到他被公車門夾到後喊痛,或跟女友講電話時的笑容。如此一來,老闆判斷艾娃具有意識,看似草率,但其實跟我們判斷別人是人不是機械人並沒有甚麼差別。如果我們覺得老闆的判斷有問題,似乎便得接受一個可怕的結論:我們平常判斷我媽媽是具有主觀感覺和意識的人,這判斷也是不可靠的。說不定她只是另一個艾娃?

電影最後,艾娃得償所願,來到了人來人往的十字頭口,如果你剛巧經過,你覺得你可以發現艾娃只是個人工智能嗎?如果艾娃一直在人類社會生活下去,艾娃又和人類還有甚麼差別呢?


  • 編按:二千多年前,曾經有個叫蘇格拉底的人,因為荼毒青年而被判死,最終他把毒藥一飲而盡。好青年荼毒室中是一群對於哲學中毒已深的人,希望更多人開始領略、追問這世界的一切事物。在他們的帶領下,我們可能會發現我們習慣的一切不是這麼理所當然,從這一刻起接受好青年荼毒室的哲學荼毒吧!

本文轉載自好青年荼毒室(哲學部)

-----廣告,請繼續往下閱讀-----
文章難易度
好青年荼毒室
29 篇文章 ・ 10 位粉絲
好青年荼毒室,一個哲學普及平台。定期發表各類型哲普文章,有深有淺,古今中外,無所不談。在這裏,一切都可以被質疑、反省和追問。目標是把一個個循規蹈矩的好青年帶進哲學的世界。網頁:corrupttheyouth.net;臉書:https://www.facebook.com/corrupttheyouth。

1

1
1

文字

分享

1
1
1
讓 AI 取代真人執法可行嗎?將判斷全交給 AI 可能隱藏什麼危險?——專訪中研院歐美研究所陳弘儒助研究員
研之有物│中央研究院_96
・2024/03/18 ・6292字 ・閱讀時間約 13 分鐘

-----廣告,請繼續往下閱讀-----

本文轉載自中央研究院「研之有物」,為「中研院廣告」

  • 採訪撰文|劉韋佐
  • 責任編輯|田偲妤
  • 美術設計|蔡宛潔

人工智慧將改變以人為主的法治領域?

由人工智慧擔任警察,再也不是科幻電影的情節,交通管制常見的科技執法就是應用 AI 辨識闖紅燈、未依規定轉彎、車輛不停讓行人等違規行為。 AI 的客觀、高效率正在挑戰以人為審判主體的法治領域,這樣的轉變會對我們產生什麼影響呢?中央研究院「研之有物」專訪院內歐美研究所陳弘儒助研究員,他將帶我們思考:當 AI 取代人類執法時,將如何改變人們對守法的認知?

交通尖峰時段,後方出現一台救護車,你願意闖紅燈讓道嗎?
圖|iStock

想像有一天你正在尖峰時段開車,車子停在十字路口等紅燈時,後方出現一輛急駛而來的救護車,你為了讓道必須開過停止線。這時你是否願意冒著違規被開罰的風險?還是承擔風險以換取他人盡速就醫?

在上述情境中,針對「要不要闖紅燈」我們經歷了一段價值判斷過程。如果剛好十字路口有真人警察,他的判斷可能是:這是情急之下不得不的行為,並非蓄意違規。

然而,如果負責執法的是「法律人工智慧系統」(Artificially legal intelligent,簡稱 ALI)情況可能截然不同。

-----廣告,請繼續往下閱讀-----

ALI 這個詞源自 Mireille Hildebrandt 的研究,在概念上可區分為兩類:採取傳統程式碼的 IFTTT(if this then that)、運用機器學習的資料驅動。前者是注重法律推理或論證的計算機模型,將法律規範轉為程式碼,藉由程式編寫來執行法律任務。後者則透過大量資料的學習,來預測行為範式,用於再犯率、判決結果預測上有較好的成果。

一般情況下,應用在交通管制的 ALI 會辨識車輛是否超速、闖紅燈等違規行為,不過交通情境千變萬化,ALI 能否做出包含「道德價值的判斷」將是一大挑戰!

中研院歐美研究所陳弘儒助研究員察覺,人工智慧(AI)正在左右人們對守法的價值判斷及背後的因果結構,進而反思當我們將原本由人來判斷的事項,全權交由 AI 來執行時,可能產生哪些潛移默化的影響?

讓我們與陳弘儒展開一場從法哲學出發的對話,探索 AI 與法治價值之間的緊張關係。

-----廣告,請繼續往下閱讀-----
中研院歐美研究所陳弘儒助研究員,從法哲學出發,探索 AI 與法治價值之間的緊張關係。
圖|之有物

問

怎麼會對「人工智慧」(AI)與「法律人工智慧系統」(ALI)產生研究興趣?

會對 AI 感興趣是因為我很早就對電腦有興趣,我原本大學想唸資訊工程,因為高中有些科目沒辦法唸,於是去唸文組,大學進入法律系就讀,研究所考入「基礎法學組」研讀法哲學。

後來我到美國讀書,當時 AlphaGo 的新聞造成很大的轟動,啟發我思考 AI 的應用應該有些法律課題值得探討,於是開始爬梳 AI 與法律的發展脈絡。

AI 這個詞大概在 1950 年代被提出,而 AI 與法律相關的討論則在 1970、80 年代就有學者開始思考:我們能否將法律推理過程電腦程式化,讓電腦做出跟法律人一樣的判斷?

事實上,AI 沒有在做推理,它做的是機率的演算,但法律是一種規範性的判斷,所有判斷必須奠基在法律條文的認識與解釋上,給予受審對象合理的判決理由。

這讓我好奇:如果未來廣泛應用 AI 執法,法律或受法律規範的民眾會怎麼轉變?

-----廣告,請繼續往下閱讀-----

至於真正開始研究「法律人工智慧系統」(ALI)是受到我父親的啟發。有一陣子我經常開車南北往返,有一天我跟父親聊到用區間測速執法的議題。交通部曾在萬里隧道使用區間測速,計算你在隧道裡的平均速率,如果超速就開罰。

父親就問我:「政府有什麼理由用區間測速罰我?如果要開罰就必須解釋是哪一個時間點超速。」依照一般的數學邏輯,你一定有在某個時間點超速,所以平均起來的速率才會超過速限,可是法律判斷涉及規範性,我們必須思考背後的正當性課題,不能只用邏輯解釋,這啟發我逐漸把問題勾勒出來,試圖分析執法背後的規範性意涵。

問

如果將執行法律任務的權限賦予 AI,可能暗藏什麼風險?

我們先來談人類和 AI 在做判斷時的差別。人類無時無刻都在做判斷,判斷的過程通常會先做「區分」,例如在你面前有 A 和 B 兩個選項,在做判斷前必須先把 A 和 B 區分開來,讓選項有「可區別性」。

在資料龐大的情況下,AI 的優勢在於能協助人類快速做好區分,可是做判斷還需經歷一段 AI 難以觸及的複雜過程。人類在成長過程中會發展出一套顧及社會與文化認知的世界觀,做判斷時通常會將要區分的選項放進這個世界觀中,最終做出符合社會或自身考量的抉擇。

-----廣告,請繼續往下閱讀-----

當我們將判斷程序交由 AI 執行,就會涉及「判斷權限移轉」的問題,這經常在日常生活中發生,你只要發現原本自己可以執行的事情,有另外一個對象做的比你好或差不多好,你就會漸漸把判斷的工作交給它,久而久之,你大概會覺得這是很好的做法,因為可以節省大量時間。

自駕車導航系統就是判斷權限移轉的例子,由於導航通常可以找出最佳行車路線,駕駛人幾乎會跟著走,但仍有可能誤入路況不佳或無法通行的地方。
圖|Vladimir Srajber, Pexels

我擔心這種判斷權限移轉會快速且廣泛的發生,因為 AI 的工作效率極高,可以大幅節省人力成本,但是哪一些權限可以放給 AI?哪一些權限人類一定要守住?我們經常沒有充足的討論,等到發生問題再亡羊補牢可能為時已晚。

以讓道給救護車而闖紅燈的情境為例,如果讓 AI 來做交管,可以節省警察人力,又可以快速精準地開罰,卻迫使民眾需額外花時間,證明闖紅燈有正當理由。如果是真人警察來判斷,警察通常會認為你的行為有正當理由而不開罰。這對於受法律規範的民眾來說,會產生兩種全然不同的規範作用。

AI 產生的規範作用會讓民眾擔心事後銷單的麻煩程序,如果無法順利解決,可能會訴諸民意代表或上爆料公社,並漸漸改變民眾對守法的態度。而真人警察產生的規範作用,將使民眾自主展現對法律的高度重視,雖然當下的行為牴觸法律,卻是行為人經過多方權衡後做的判斷,相信法律會支持自己出於同理心的行為。

-----廣告,請繼續往下閱讀-----

問

使用 AI 執法除了看上它的高效率,也是因為和真人相比 AI 不會受私情影響,比較可以做出公正的判斷。如果從法治觀念來看,為何決策權不能全權交由 AI 執行?

我認為法治的核心價值在臺灣並沒有很好的發展,我們常想的是怎麼用處罰促成民眾守法,長久下來可能會得到反效果。當人們養成凡事規避處罰的習慣,一旦哪天不再受法律約束,可能會失去守法的動機。

事實上,法治最根深柢固的價值為:

法律作為一種人類行為規範的展現,促使民眾守法的方式有很多種,關鍵在於尊重人的道德自主性,並向民眾陳述判決理由。

給理由非常重要,可以讓民眾不斷透過理由來跟自己和法律體系溝通。如此也可以形成一種互惠關係,使民眾相信,國家公權力能用適當的理由來制定法律,而制定出的法律是以尊重公民自主性為主。當民眾理解法律對我所處的社會有利,會比較願意自動產生守法的動機。

AI 執法看似比人類「公正無私」,但它的執法方式以處罰為主、缺乏理由陳述,也沒有對具體情境的「敏感性」。人跟人之間的互動經常需要敏感性,這樣才能理解他人到底在想什麼。這種敏感性是要鍛鍊的,真人警察可在執法過程中,透過拿捏不同情境的處理方式來累積經驗。

-----廣告,請繼續往下閱讀-----

例如在交通尖峰時段應該以維持交通順暢為原則,這時警察是否具備判斷的敏感性就很重要,例如看到輕微的違規不一定要大動作開罰,可以吹個警笛給駕駛警示一下就好。

我越來越覺得人類這種互動上的敏感性很重要,我們會在跟他人相處的過程中思考:跟我溝通的對象是什麼樣的人?我在他心中是什麼模樣?然後慢慢微調表現方式,這是人類和 AI 最根本的不同。

行動者受各種法律變項影響的因果圖。上圖是由真人警察執法,對於處罰之可能性有影響力,可依不同情境判斷是否開罰。下圖是由全自動法律人工智慧執法,由 AI 直接將處罰之可能性加諸在行動者身上,缺乏真人警察二次確認,很可能影響行動者對守法與否的衡量。
圖|之有物(資料來源|陳弘儒)

問

相較於法律人工智慧,ChatGPT 等生成式 AI 強大的語言功能似乎更接近理想中的 AI,其發展可能對我們產生哪些影響?

我認為會有更複雜的影響。ChatGPT 是基於大型語言模型的聊天機器人,使用大量自然語言文本進行深度學習,在文本生成、問答對話等任務上都有很好的表現。因此,在與 ChatGPT 互動的過程中,我們容易產生一種錯覺,覺得螢幕後好像有一名很有耐心的真人在跟你對話。

事實上,對於生成式 AI 來說,人類只是刺激它運作的外在環境,人機之間的互動並沒有想像中的對等。

仔細回想一下整個互動過程,每當外在環境(人類)給 ChatGPT 下指令,系統才會開始運作並生成內容,如果我們不滿意,可以再調整指令,系統又會生成更多成果,這跟平常的人際互動方式不太一樣。

-----廣告,請繼續往下閱讀-----
ChatGPT 能讓使用者分辨不出訊息來自 AI 或真人,但事實上 AI 只是接受外在環境(人類)刺激,依指令生成最佳內容,並以獲得正向回饋、提升準確率為目標。
圖|iStock

資工人員可能會用這個理由說明,生成式 AI 只是一種工具,透過學習大量資料的模式和結構,從而生成與原始資料有相似特徵的新資料。

上述想法可能會降低人們對「資料」(Data)的敏感性。由於在做 AI 訓練、測試與調整的過程中,都必須餵給 AI 大量資料,如果不知道資料的生產過程和內部結構,後續可能會產生爭議。

另一個關於資料的疑慮是,生成式 AI 的研發與使用涉及很多權力不對等問題。例如現在主流的人工智慧系統都是由私人公司推出,並往商業或使用者付費的方向發展,代表許多資料都掌握在這些私人公司手中。

資料有一種特性,它可以萃取出「資訊」(Information),誰有管道可以從一大群資料中分析出有價值的資訊,誰就有權力影響資源分配。換句話說,多數人透過輸入資料換取生成式 AI 的服務,可是從資料萃取出的資訊可能在我們不知情的狀況下對我們造成影響。

問

面對勢不可擋的生成式 AI 浪潮,人文社會學者可以做些什麼?

國外對於 AI 的運用開始提出很多法律規範,雖然國外關於價值課題的討論比臺灣多,但並不代表那些討論都很細緻深入,因為目前人類跟 AI 的相遇還沒有很久,大家還在探索哪些議題應該被提出,或賦予這些議題重新認識的架構。

這當中有一個重要課題值得思考:

我們需不需要訓練 AI 學會人類的價值判斷?

我認為訓練 AI 理解人類的價值判斷很可能是未來趨勢,因為 AI 的發展會朝人機互動模式邁進,唯有讓 AI 逐漸理解人類的價值為何,以及人類價值在 AI 運作中的局限,我們才有辦法呈現 AI 所涉及的價值課題。

當前的討論多數還停留在把 AI 當成一項技術,我認為這種觀點將來會出問題,強大的技術如果沒有明確的價值目標,是一件非常危險的事情。實際上,AI 的發展必定有很多價值課題涉入其中,或者在設計上有一些價值導向會隱而不顯,這將影響 AI 的運作與輸出成果。

思考怎麼讓 AI 理解人類價值判斷的同時,也等於在問我們人類:對我們來說哪一些價值是重要的?而這些重要價值的基本內容與歧異為何?

我目前的研究有幾個方向,一個是研究法律推理的計算機模型(Computational models of legal reasoning);另一個是從規範性的層面去探討,怎麼把價值理論、政治道德(Political morality)、政治哲學等想法跟科技界交流。未來也會透過新的視野省視公民不服從議題。

這將有助科技界得知,有很多價值課題需要事先想清楚,影響將擴及工程師怎麼設計人工智慧系統?設計過程面臨哪些局限?哪些局限不應該碰,或怎麼把某些局限展現出來?我覺得這些認識都非常重要!

鐵面無私的 ALI ?人類與人工智慧執法最大的分野是什麼?

陳弘儒的研究室有許多公仔,包括多尊金斯伯格(Ginsburg)公仔,她是美國首位猶太裔女性大法官,畢生為女權進步與性別平權奮鬥。
圖|之有物

陳弘儒是臺灣少數以法哲學理論研究法律人工智慧系統(ALI)的學者,他結合各種現實情境,與我們談論 ALI、生成式 AI 與當代法治價值的緊張關係。

由於 ALI 擅長的資料分類與演算,與人類判斷過程中涉及的世界觀與敏感性思辨,有著根本上的差異;以處罰為主、缺乏理由陳述的判斷方式,也容易影響民眾對公權力的信任。因此陳弘儒認為,目前 ALI 應該以「輔助人類執法」為發展目標,讓人類保有最終的判斷權限

至於現正快速發展的生成式 AI ,根據陳弘儒的觀察,目前仍有待各方專家探索其中的價值課題,包括資料提供與使用的權力不對等、哪些人類價值在訓練 AI 的過程中值得關注等。

在過去多是由人文社會學者提出警告,現在連 AI 領域的權威專家也簽署公開信並呼籲:AI 具有與人類競爭的智慧,這可能給社會和人類帶來巨大風險,應該以相應的關注和資源進行規劃和管理

在訪談過程中,有一件令人印象深刻的小插曲,陳弘儒希望我們不要稱呼他「老師」,因為他從小就畏懼老師、警察等有權威身分的人,希望以更平等的方式進行對話。

假如今天以 AI 進行採訪,整個談話過程或許能不受倫理輩分影響,但這也讓我們意識到,在 AI 的世界裡,許多人際互動特有的敏感性、同理反思都可能不復存在。

陳弘儒的研究讓我們體會,AI 在法治領域的應用不僅是法律問題,背後更包含深刻的哲學、道德與權力課題,也讓我們更了解法治的核心價值:

法律要做的不只是規範人們的行為,而是透過理由陳述與溝通展現對每個人道德自主性的尊重。

所有討論 1
研之有物│中央研究院_96
296 篇文章 ・ 3396 位粉絲
研之有物,取諧音自「言之有物」,出處為《周易·家人》:「君子以言有物而行有恆」。探索具體研究案例、直擊研究員生活,成為串聯您與中研院的橋梁,通往博大精深的知識世界。 網頁:研之有物 臉書:研之有物@Facebook

0

6
1

文字

分享

0
6
1
你聽過「量子意識」嗎?電子雙狹縫實驗讓人猜測意識會影響物質世界,真的假的?
PanSci_96
・2024/03/06 ・3800字 ・閱讀時間約 7 分鐘

-----廣告,請繼續往下閱讀-----

在市面上,我們常會看到號稱運用量子力學原理的商品或課程,像是量子內褲、量子能量貼片、量子首飾、量子寵物溝通、量子速讀、量子算命、量子身心靈成長課程等等。有人說,量子力學代表了意識具有能量,藉由調整心靈的共振頻率,就能保持身心健康,只要你利用量子力學原理進行療癒或冥想,就能提昇自己的能量,人能長高、身體變壯、每次考試都考一百分;又像是,量子力學就代表一種信息場,讓你跟別人有心電感應,只要轉念,讓宇宙能量幫助你,你就能發大財還能避免塞車。也有人說,別人吃一個下午茶,你也馬上吃一個下午茶,別人喝一杯咖啡,你也馬上喝一杯咖啡,別人跟家人吵架,你也馬上找一件事跟家人吵架,這就是量子糾纏。

然而,量子到底是什麼?跟身心靈、宗教和玄學真的扯得上關係嗎?是否真能幫助你維持健康又賺大錢呢?

在這一系列影片裡,我們就要來討論,量子力學的原理為何?背後又是基於哪些科學的研究成果。等你看完之後,相信對於量子力學跟上述五花八門商品究竟有沒有關係,心裡自然會有所答案。

量子力學和意識有關?

坊間常會聽到量子力學跟意識有關的說法;或許也是因為這樣,量子力學被許多身心靈成長課程甚至玄學拿來作為背書。但,量子力學真的是這樣子嗎?

說到量子力學跟意識的關係,我們就必須來看看,量子力學最著名的實驗之一,20 世紀的物理學大師費曼(Feynman)甚至曾經說過,這個實驗「包含了量子力學的核心思想。事實上,它包含了量子力學唯一的奧秘。」它,就是雙狹縫干涉實驗。

-----廣告,請繼續往下閱讀-----

雙狹縫干涉實驗

現在我拿的器材,上面有兩道狹縫,中間間隔了非常短的距離。等一下,我們會讓雷射光通過這兩道狹縫,看看會發生什麼事。

我們看到,雷射光在打向雙狹縫之後,於後面的牆上呈現有亮有暗的條紋分布,這跟我們在國、高中學過的波的性質有關。

在兩道光波的波峰相會之處,會產生建設性干涉,即亮紋的位置;而暗紋的部分,則是來自破壞性干涉,是兩道光的波峰和波谷交會之處,亦即,光的效應被抵銷了。

在歷史上,雙狹縫干涉實驗占有非常重要的地位。19 世紀初,英國科學家、也是被譽為「世界上最後一個什麼都知道的人」的湯瑪士.楊(Thomas Young),利用雙狹縫實驗,證明了光是一種波。

-----廣告,請繼續往下閱讀-----

那麼,如果我們拿不是波的東西,來進行雙狹縫實驗,會看到什麼結果呢?讓我們試驗一下。

現在我手邊有一堆的彈珠,前面是用紙板做成的兩道狹縫,後面則是統計彈珠落點的紙板。我們讓這些彈珠朝狹縫的地方滾過去,並在彈珠最後的落點劃下記號;若在同樣位置的記號越多,就代表有越多彈珠打中該位置。

在丟了一百顆彈珠之後,我們可以看到,扣除掉一部份因為路徑被擋住、通不過狹縫的彈珠之外,彈珠最終抵達的位置,大致分別以兩道狹縫的正後方為最多,呈現兩個區塊的分布,不像先前光的雙狹縫干涉實驗中,出現明暗相間的變化。

所以,我們得到結論:若是拿具有物理實體的東西進行雙狹縫實驗,因為其一次只能選一邊通過,所以落點最終只會聚集在兩個狹縫後方的位置;而且要是行進的路徑不對,還可能會被擋住。

-----廣告,請繼續往下閱讀-----

至於波的情形,那就不同了,只要狹縫的大小適當,波可以同時通過兩個狹縫,並互相干涉,產生明暗相間的條紋。

換言之,是波,還是物質,兩者在雙狹縫實驗的表現是截然不同的。

只不過,以上的實驗似乎並沒有什麼太令人感到意外的地方,我們也看不出來,它跟量子,還有意識,到底有什麼關係?事實上,若要真正顯示出它的獨特之處,就要來看電子的雙狹縫干涉實驗。

電子的雙狹縫干涉實驗

我們知道,電子是組成原子的基本粒子之一,而原子又組成了世間萬物。可以說,電子是屬於物質的一種極微小粒子。

-----廣告,請繼續往下閱讀-----

在電子的雙狹縫干涉實驗,科學家朝雙狹縫每次發射一顆電子,並在發射了很多顆電子之後,觀察電子的最終落點分布會怎麼呈現。

既然電子是物質的微小粒子,那麼在想像中,應該會跟我們前面使用彈珠得到的結果差不多,電子會分別聚集在兩道狹縫後方的區域。

從實驗的記錄影片中可以看到,在一開始、電子數量還很少的時候,其落點比較難看得出有明顯規律,但隨著電子的數目越來越多,我們慢慢能夠看出畫面上具有明暗分布,跟使用光進行雙狹縫實驗時得到的干涉條紋,有著類似的結構。

這樣的結果,著實令人困惑。直覺來想,既然電子是一顆一顆發射的,它勢必不可能像光波一樣,同時通過兩個狹縫,並且兩邊互相干涉,產生明暗相間的條紋。

-----廣告,請繼續往下閱讀-----

但無可否認,當我們用電子進行雙狹縫實驗時,最後得到的結果,看起來就跟干涉條紋沒什麼兩樣。

對這出人意表的觀測結果,為了搞清楚發生什麼事,科學家又做了更進一步的實驗:

在狹縫旁放置偵測器,以一一確認這些電子到底是通過哪一個狹縫、又如何可能在通過狹縫後發生干涉。

這下子,謎底就能被解開了――正當大家這麼想的時候,大自然彷彿就像在嘲笑人類的智慧一樣,反將一軍。

科學家發現,如果我們去觀測電子的移動路徑,只會看到電子一顆一顆地通過兩個狹縫其中之一,並最終分別聚集在兩個狹縫的後面――換言之,干涉條紋消失了!

-----廣告,請繼續往下閱讀-----

在那之後,科學家做過無數類似的實驗,都得到一樣的結果:只要你測量了電子的路徑或確切位置,那麼干涉條紋就會消失;反過來說,只要你不去測量電子的路徑或位置,那麼電子的雙狹縫實驗就會產生干涉條紋。

在整個過程中,簡直就像是電子知道有人在看一樣,並因此調整了行為表現。

在日常生活中,若有人要做壞事,往往會挑沒人看得到的地方;反過來說,當有其他人在看,我們就會讓自己的言行舉止符合公共空間的規範。

量子系統也有點像這樣,觀測者的存在與否,會直接影響到量子系統呈現的狀態。

-----廣告,請繼續往下閱讀-----

只不過,這就帶出了一個問題:到底怎麼樣才算是觀測?如果我們在雙狹縫旁邊只放偵測器不去看結果算嗎?我們不放偵測器只用肉眼在旁邊看算嗎?或是,整個偵測過程沒有人在場算嗎?

這就是量子力學裡著名的觀測問題(measurement problem)。

結語

在量子力學剛開始發展的數十年,有許多地方都還不是那麼清楚,觀測問題就是其一。在歷史上,不乏一些物理學家,曾經認真思考,是否要有「人的意識」參與其中,才能代表「觀測」。

如果真是這樣的話,那麼「意識」就存在非常特別的意義,而且似乎暗示人的意識能夠改變物質世界的運作。

有一些物理學家曾認真思考,是否要有「人的意識」參與其中,才能代表「觀測」。圖/envato

可以想見地,上述出自量子力學觀測問題的猜測,後來受到部分所謂靈性導師跟身心靈作家的注意,於是,形形色色宣揚心靈力量或利用量子力學原理進行療癒、冥想或身心靈成長的偽科學紛紛出籠,直到近年都還非常流行。

另一方面,可能因為量子兩個字帶給人一種尖端科學的想像,坊間琳瑯滿目的商品即使跟量子力學一點關係都沒有,也都被冠上量子兩字;除此之外,商品宣傳裡也常出現一堆量子能量、量子共振等不知所謂的概念,不然就是濫用量子力學的專有名詞如量子糾纏、量子穿隧等,來幫自己的商品背書。只要有量子兩字,彷彿就是品質保證,讓你靈性提升、身體健康、心想事成。

對此,我就給三個字:敢按呢(Kám án-ne)?

事實上,量子力學至今仍是持續演進的學問,我們對量子力學的理解也隨時間變得越來越豐富。現代的物理學家,基本上不認為我們可以用意識改變物質世界,也不認為「意識」在「觀測」上佔據一席之地,甚至可以說正好相反,人的意識在觀測上根本無關緊要。

不過,我們不會那麼快就直接進入觀測問題的現代觀點。在之後接下來的幾集,我們會先從基本知識開始說起,循序漸進,讓你掌握量子力學的部分概念。而在本系列影片的最後一集,我們才會重新回到觀測問題,並介紹量子力學領域近幾十年來在此問題上獲得的進展。

歡迎訂閱 Pansci Youtube 頻道 獲取更多深入淺出的科學知識!

討論功能關閉中。

PanSci_96
1219 篇文章 ・ 2176 位粉絲
PanSci的編輯部帳號,會發自產內容跟各種消息喔。

2

2
4

文字

分享

2
2
4
「意識」是什麼?人們已經找到答案了嗎?
PanSci_96
・2023/11/26 ・6000字 ・閱讀時間約 12 分鐘

-----廣告,請繼續往下閱讀-----

「意識」是什麼?

直到現在,仍是宗教、哲學、心理學、神經科學都還無法解答的難題。

但是今年, 2023 年,一場來自神經學家與哲學家對於「意識」解釋的賭注,在經過長達 25 年的研究後,終於要畫下句點了嗎?到底是誰贏了?對自己頭上頂著的大腦,我們又了解多少了?

25 年前,一場圍繞「意識」之謎的賭局

1998 年,神經科學家克里斯托夫・科赫(Christof Koch)和哲學家戴維・查爾莫斯(David John Chalmers)打賭一箱葡萄酒,如果 25 年後,人們已經能清楚地解釋意識背後的神經機制,那麼就是科赫贏了。反之,如果還是未能解答意識之謎,就是查爾莫斯贏了。

-----廣告,請繼續往下閱讀-----

但在揭曉勝者之前,我們要先來談談一個最基本的問題,「意識」到底是什麼?首先我們要先定義清楚,因為在中文中,意識指的可能是一個人的清醒狀態、也可以是對內在自我的一種感知、又或是包含感知、情緒、思考等等的一種總和、又甚至可以是指在精神分析理論中與前意識和潛意識的比較。

若要深入探討意識定義的發展以及不同的哲學論點,那真的不做個三十集做不完,在這集的時間內,就讓我們把重點放在感質(Qualia)的相關概念。感質,指的是個人直接體驗的主觀感受,被認為無法通過客觀描述或第三人稱觀察來完全理解或解釋。我們感知世界的方式、感受事物的質感、觸覺、視覺、聽覺、嗅覺等等都是屬於感質。

感質,指的是個人直接體驗的主觀感受,被認為無法通過客觀描述或第三人稱觀察來完全理解或解釋。圖/wikipedia

舉一個例子。若是把一顆紅蘋果放在大家面前,詢問蘋果這是什麼顏色,相信大家應該都會說這是紅色。然而,雖然科學能解釋紅色是因為有波長約 620 到 750 奈米的光,刺激到視網膜的錐細胞,產生一連串的神經反應,最後形成大腦的表徵,但卻無法解釋我們對紅色的主觀感受是怎麼形成的。

哲學家們也常思考,你看到的紅色,和我看到的紅色究竟是否一樣,是否有可能我眼中的紅其實是你眼中的綠。

-----廣告,請繼續往下閱讀-----

舉另一個例子,這件數年前爆紅的衣服,你覺得是藍色與黑色相間,還是白色與金色相間呢?

另外,像是這張圖究竟是兔子還是鴨子?

圖/wikipedia

這張圖究竟是狗還是小女孩?

明明有張客觀的圖片存在,每個人的主觀感受卻有不同的答案。

-----廣告,請繼續往下閱讀-----

「困難問題」(Hard problem of consciousness)是找不到答案的問題?

在意識賭局中的哲學家戴維・查爾莫斯,就提出感質以及主觀經驗為什麼(why)存在以及如何(how)產生是所謂的困難問題(Hard problem of consciousness),相較於簡單的問題是討論意識相關的功能和行為,困難問題涉及意識的經驗(現象、主觀),是沒辦法客觀觀察測量。也就是這個問題,是沒有答案的。

舉一個屬於困難問題的例子,明明都只是大腦的神經在放電,為何某些神經放電後會導致飢餓感而不是其他感覺,譬如口渴?他認為即使沒有飢餓這種「感覺」,飢餓衍伸出的行為,例如進食,也可以發生。因此這些產生的感覺,無法單純簡化由大腦等物理系統解釋。

圖/giphy

然而,困難問題的說法其實也存在爭論。根據 2020 年哲學期刊文章的互動式學術資料庫 PhilPapers 的調查, 29.72% 的受訪哲學家認為難題不存在,而 62.42% 的受訪哲學家認為難題是一個真正的問題。

也有一群神經科學家們雖然接受困難問題的存在,卻也認為困難問題未來可以被解決,又或是被證明這不是一個真正的問題。並開啟了他們對於意識相關神經區(neural correlates of consciousness)簡稱 NCC 的研究發展,試圖找到足以產生意識的最小神經集合。

-----廣告,請繼續往下閱讀-----
精神科學家開啟對於意識相關神經區(neural correlates of consciousness)簡稱 NCC 的研究發展,試圖找到足以產生意識的最小神經集合。圖/PanSci YouTube

但 NCC 的研究被認為最多只能找到神經反應與意識的相關性,解決的仍然只是簡單問題而非困難問題。為了突破 NCC 本身的限制,人們又開始轉往重視意識理論(theories of consciousness (ToCs))的發展。希望透過意識理論來超越以 NCC 為基礎的方法論,轉向提供更具解釋性見解的意識模型。

在意識模型這邊還在爭論不休,讓我們先把鏡頭換到神經學家這一邊。

研究科技進步,為意識研究帶來哪些幫助?

面對意識這個艱難的大哉問,克里斯托夫・科赫當初怎麼那麼有自信,敢發起這個看起來勝算就不大的挑戰呢?有那麼愛喝嗎?

1998 年,年輕有為的克里斯托夫・科赫已經是加州理工學院的助理教授,並和生命科學領域大咖中的大咖弗朗西斯・克里克,合作研究意識這個主題。沒錯,就是和華生一同發現 DNA 是雙股螺旋結構的克里克。除此之外,克里斯托夫還擁有物理的碩士學位,擁有跨領域的知識,讓他更加相信透過實證的方式,能找到意識的神經機制。

-----廣告,請繼續往下閱讀-----
克里斯托夫・科赫合作研究意識的對象便是與華生一同發現 DNA 是雙股螺旋結構的弗朗西斯・克里克。圖/PanSci YouTube

當時有許多大腦研究的技術蓬勃發展,像是功能性磁振造影(fMRI)已經獲得廣泛使用,使得科學家們能在對象進行活動或是受外界刺激時,同步從大腦血氧濃度的變化來推斷神經反應。

此外,光學遺傳學(optogenetics)技術也在那個時期開始萌芽,這讓研究者能用極佳的時間解析度來調控特定的大腦神經元,並藉此解碼大腦的秘密。舉例來說,現在的光學遺傳學能讓科學家們鎖定小鼠的特定神經細胞,並在小鼠頭上裝上 LED 光纖,只要開啟 LED 的光刺激,那些特定神經細胞就會興奮或抑制。藉由觀察小鼠行為的變化,就能了解不同行為表現是由哪些神經元所調控。

現在的光學遺傳學能讓科學家們鎖定小鼠的特定神經細胞。圖/PanSci YouTube

厲害的是,在 1979 年光學遺傳學的技術還未誕生前,克里克就認為如果想要了解大腦的運作,精準控制大腦中一種類型的所有細胞是非常重要的,而若想要有極佳的時間和空間精細度,必須使用光的技術,這與後來光學遺傳學的發明不謀而合。

有了這些科技加持,長達 25 年對於意識的賭注也即將來到結局。

-----廣告,請繼續往下閱讀-----

所以,誰贏了賭注?

2023 年 6 月 23 日,在科學意識研究協會的年會上,揭曉了這長達 25 年的賭局。神經科學家克里斯托夫・科赫(Christof Koch)最終承認,目前還不能解釋大腦的神經元是如何產生意識,並買了一箱好葡萄酒(1978 Madeira)給哲學家戴維・查爾莫斯(David John Chalmers)實現諾言。

克里斯托夫・科赫最終承認,目前還不能解釋大腦的神經元是如何產生意識,並買了一箱好葡萄酒給戴維・查爾莫斯。圖/PanSci YouTube

當然,這不是說意識的來源永遠沒有解答,只是當初賭局設下的 25 年時限到了。實際上到了 2018 年,他們兩位根本都忘了這場賭局,直到一位科學記者佩爾・斯納普魯德重新提及這個話題,才讓大家重新想起。

恰巧那個時間點,克里斯托夫・科赫和戴維・查爾莫斯都參與了鄧普頓世界慈善基金會支持加速意識研究的大型項目。該計畫建立一系列意識理論的「對抗性」實驗,希望透過讓兩個或多個持相反觀點的競爭對手共同合作研究,來挑戰各種意識假設。

意識理論的百家爭鳴

而其中包含兩個著名的意識理論,全局工作空間理論(Global Workspace Theory (GWT))和整合資訊理論(Integrated Information Theory (IIT))。

-----廣告,請繼續往下閱讀-----
全局工作空間理論(Global Workspace Theory (GWT))。圖/PanSci YouTube

全局工作空間理論(Global Workspace Theory (GWT))的概念,最早是由認知科學家伯納德・巴爾斯和斯坦・富蘭克林在 1980 年代晚期提出。他們認為意識的產生就像是劇場聚光燈一樣,當這個意識劇場透過名為選擇性注意的聚光燈在舞台上照出內容,我們就會產生意識情境。這聚光燈的投射也代表著全局工作空間,只有當感官輸入、記憶或內在表徵受到注意時,它們才有機會整合成為全局工作空間的一部分,被我們主觀意識到。而我們的行為決策,也是透過這個全局工作空間整合訊息,並分配到其他系統所產生。目前認為全局工作是發生於大腦前方的前額葉區域。

整合資訊理論(Integrated Information Theory (IIT))。圖/PanSci YouTube

與全局工作空間理論打對臺的,是整合資訊理論(Integrated Information Theory (IIT)),最早由朱利奧・托諾尼(Giulio Tononi)在 2004 年提出。這理論認為,意識背後是有數學以及物理為基礎的因果關係。應該先肯定意識的存在,再回推尋找其背後的物質基礎,並認為主觀意識是由客觀的感覺經驗產生的。克里斯托夫・科赫就是此理論的擁護者,他進一步認為,意識背後的那個神經機制,就存在於大腦後方後皮質熱區(Posterior cortical hot zone),包括頂葉、顳葉和枕葉的感覺皮質區域。

讓我們稍微總結一下兩者差異:

全局工作空間理論——

  • 意識只能透過訊息投射到一個稱做「全局工作空間」之後才能呈現
  • 訊息本身不會形成意識
  • 訊息要被注意到才會產生意識

整合資訊理論——

  • 意識存在
  • 產生的關鍵是需要將大腦處理感覺的皮質區域訊息整合

然而,經過六個獨立實驗室的研究,雖然有較多的證據支持整合資訊理論,但兩個理論都存在缺陷和質疑,直到目前都尚未有明確解答能解釋意識的神經機制,這也讓克里斯托夫・科赫大方承認自己輸掉了這 25 年的賭局。

隨著科學測量技術的演進以及越來越多的研究進展,有一些神經科學家認為意識理論即將崛起,目前的狀態只不過是一種研究過渡期。科學哲學家托馬斯・庫恩(Thomas Kuhn)將這種過渡期以「前典範式」(preparadigmatic science)來形容,認為一門不成熟的科學在成熟前,會面臨相互競爭的思想流派並各說各話。就像是當初達爾文提出演化論的物競天擇前有拉馬克主義、災變論與均變論來試圖解釋物種起源一樣。

下一場賭約?

雖然這次的打賭由戴維・查爾莫斯獲得一勝,但克里斯托夫・科赫在今年加倍賭注,認為下一個 25 年他一定會贏。到時候克里斯托夫已經 91 歲,戴維 82 歲了。

大家別擔心,這一集是會員共同選出來的題目, 25 年之後,我們也會再為各位泛糰做一集討論賭局的結果。

最後也想問問大家, 25 年之後,你賭這場對決會是誰贏呢?

  1. 我壓在克里斯托夫・科赫身上,我們一定能解開意識之謎
  2. 我賭戴維・查爾莫斯,意識這個問題,可能很難用科學來解釋
  3. 在那之前, AI 可能都已經有意識了,直接問 AI 還比較快

趕快來留言吧,記得 25 年後要回來看啊!

歡迎訂閱 Pansci Youtube 頻道 獲取更多深入淺出的科學知識!

參考資料

所有討論 2
PanSci_96
1219 篇文章 ・ 2176 位粉絲
PanSci的編輯部帳號,會發自產內容跟各種消息喔。