0

0
0

文字

分享

0
0
0

運用海量資料讓機器「自學」,電腦將成為更好的決策代理人-專訪台大資工教授林守德

陳妤寧
・2016/05/24 ・2921字 ・閱讀時間約 6 分鐘 ・SR值 550 ・八年級

立即填寫問卷,預約【課程開賣早鳥優惠】與送你【問卷專屬折扣碼】!

採訪編輯 / 陳妤寧

如今數據的存儲量越來越大,專長為機器發明和人工智慧的台大資工系林守德教授認為,關鍵在於如何從海量資料之中找出對於解答問題真正有用的部份。「大家常覺得大數據好像很神奇,但卻對著數據不知道要問什麼問題。但從應用的角度來說,定義問題才是最關鍵的第一步,才能進一步判斷要使用哪些數據來解答?或是需要多大多小的數據來處理?」舉例來說,如果想預測某個路段下一個小時的車流量,會需要採用什麼數據?需要其他路段的流量資料做搭配嗎?「數據都在那裡,但要做取捨。」林守德說。如果無法先決定什麼問題適合用大數據來解決、一個問題適合由哪些數據來回答,有運算再快的電腦或是再高效的演算法都派不上用場。

不做定義,丟資料讓機器自己學習掌握規律

機器學習(Machine Learning)是大數據分析的一種方法,透過給予電腦大量的「訓練資料(Training Data)」,讓機器從中找出規律、學習如何將資料分群或分類。舉例來說,分類(Classification)的工作可以讓電腦學習判斷如何將大量的資料(input)歸到不同的類別(Output),首先就要給電腦一批資料並告訴電腦不同資料所屬的類別為何,以照片為例,例如告訴電腦這一百張照片是大自然風景、另外五十張照片則是人像,電腦就會從中學習到某種分類的規則,當一張新的照片再被丟進來電腦分析時,電腦便能依據經驗判斷這張照片是風景照還是人像照。

在這過程中,人類並不需要去向電腦解釋、或去定義「何謂風景照」、「如果符合某幾項條件即為人像照」,而是透過不斷的丟相片讓電腦做「模擬考」並給予評分和訂正,電腦久而久之就能掌握分類的規則。「讓數據自己說話」才是機器學習在大數據中的精神。同樣地,以攔截垃圾電郵為例,若需要電腦自動判斷一支影片是不是垃圾電郵,也不用告訴電腦「出現什麼樣的訊息」則為垃圾郵件,而是告訴電腦「這群郵件是垃圾郵件」「另外這群不是」,電腦就會學習掌握這兩批資料的不同之處進而藉此自動產出預測模型。

分群(Clustering)也是利用類似訓練資料的方法,讓機器學習將相似的資料歸為一群,有時候人類沒有足夠多的時間資源把每筆資料分類給電腦訓練,電腦可以自動分群,然後讓人類對每群資料下標籤來定義。例如一百張照片,要求電腦分成兩群、三群、或四群都可以,然後就可以請人類對每群的特性做標記。

多元的資料型態,電腦如何處理?

資料的來源和型態可以很多元,可以是戶外感測器搜集到的資料(如溫濕度,震波),這些資料的特色是因為感測網都鋪在外面,感測到的資料容易有較多的雜訊或遺漏;而網路上的文本資料,因為是人用鍵盤直接打出來的內容,因此資料的信賴度較高,但必須處理同意字等語言上的問題。「如果要調查一部電影在網路上獲得的評價是正面還是負面較多,電腦進行語意分析時要怎麼避免將『反諷』的文字誤判為正面評價呢?」林守德回答道,這個問題同樣可以透過機器學習來改善,訓練電腦從反諷和非反諷的兩批文字中掌握差異和規律。

文字資料雖然並非數字,不過林守德提醒文字資料不意味只能進行質化分析,也可以計算「哪個詞出現最多次」來進行量化分析。不過這一切的前提,必須是資料要先經過「數位化」的過程,即便是手寫的資料,也必須先經過手寫辨識,才能成為電腦可以處理的資料。

跳過分析報表,直接提供最佳決策才是未來大勢

林守德認為,和過去運用統計軟體、計算相對較少量的資料、產生分析報表,資訊人未來重要的任務應該是直接設計有「決策」能力的軟體,直接提供電腦演算後判定最為推薦的決策結果是什麼。例如只需要告訴電腦我有十萬元的預算到日本進行一週的旅遊,就能夠直接得到包含航班、旅館的整套行程規劃,而不必仰賴人力去分別搜尋最優惠的航班和旅館,再土法煉鋼地配對找出時間上可搭配的最佳組合。

「巨量資料技術不只是停留在提供統計分析的結果供人類做決策,未來要直接跳過分析,直接推薦你最佳選擇。電腦推薦的最佳選擇要逐漸比你自己做出的決定更快、更準、更好。」資工人在大數據應用上是如何將預測模型(如演算法)以程式呈現,直接做成一個可被使用的工具。例如目前的高速交易(high speed trading),即時競價(real time bidding)都是電腦取代人類決策的例子。

以 Google Map 而言,由於用戶量大,Google 能夠搜集到的資料回報量也就隨之水漲船高,進而運用回報資料更加優化其地圖服務、提供更精準的資料和分析結果,這點是其他新進場的地圖公司較難和 Google 比拼的原因。目前線上地圖目前提供的「路徑規劃」功能,從僅僅計算兩點距離告知「最短路徑」,到未來將能夠加入交通尖峰時間狀況,意外事故,甚至天氣、群眾活動等事件的資料提供「最佳路徑」的選擇,林守德認為多樣化的資料,就能協助讓運算模型發展得更為精緻,而這個優化的過程正是決策工具如何不斷優化的關鍵。

社群網路和個人化推薦

大數據在社群網路上最顯著的應用莫過於 Facebook 上的個人化推薦和廣告推播了。因為每個用戶在 Facebook 上的操作行為,包括發文的活躍程度、按過什麼屬性的粉絲頁讚……各種足跡都會幫助 Facebook 分析你的喜好,進而推薦你好友、推薦廣告商品、以及各種潛在需求的預測和推薦,也就是推薦系統(Recommender System)在做的事情。反過來說,對於用戶歷史行為的分析,也能對商業公司產生價值,例如協助銀行判斷用戶的信用等級,讓銀行決定要不要借錢給你、你之後會不會還款?

林守德表示,目前的推薦系統仍然以分門別類獨自運作為主,例如推薦書籍系統使用的就是書籍購買與閱讀的資料、推薦電影系統則使用電影搜尋下載的資料;但是目前正在開發的新方法,應能利用更全方位的方案做出更好推薦,例如書籍的資料可以幫助建構電影的推薦,反之亦然。然而目前的瓶頸首先在於資料整合不易,二來是多元品項之間的關聯性電腦仍掌握得不夠好,無法找出背後隱含的需求。「目前我們在開發的技術,就是要找到這些隱含的連結。例如生小孩背後的意義到底是什麼,會跟什麼樣的行為連結?應該對應到哪些商品?這些連結不是人工定義,而是要讓電腦自動從資料中去找出來,進而做出更好的推薦。」

呼應到最前面所說的,林守德教授認為大數據當今最重要的問題是如何從繁雜的資料中找出有用的部份、確認問題真正需要的資料。而目前電腦的角色仍然是輔助人做決策,但未來的資訊科學界將會推出日益精準的決策工具,讓人類下放權力給電腦。「這波數據革命就如同工業革命,人類不用擔心是否會被機器取代,因為科技永遠會日新月異。當新機器投入人類舊有的工作,人類就會向前尋找更高階的研究與工作項目,持續往更高的決策權發展,站在更高的位置處理科技之間的衝突與更迭。」林守德說,人類不必為了人工智慧過度恐慌,而是站在人工智慧的浪頭上,持續往更進階的科技前進。

(本文由科技部補助「新媒體科普傳播實作計畫-智慧生活與前沿科技科普知識教育推廣」執行團隊撰稿)

責任編輯:鄭國威

大數據專題報導系列:

  1. 資料科學如何解決真實世界的問題?認識資料極限,打開分析視野-專訪DSP智庫驅動知識長謝宗震
  2. 不是只有數字才是數據,語意分析讓電腦掌握文字背後的情感-專訪意藍科技董事長楊立偉
  3. 從演算法設計到金融交易應用,數學在資料科學中無所不在-專訪東吳數學系教授吳牧恩
  4. 提昇大數據可信度,統計學用機率和抽樣優化分析模型-專訪典通公司總經理楊雅惠
文章難易度
陳妤寧
38 篇文章 ・ 0 位粉絲
熱愛將知識拆解為簡單易懂的文字,喜歡把一件事的正反觀點都挖出來思考,希望用社會科學的視角創造更宏觀的視野。

0

2
2

文字

分享

0
2
2
資料科學與研究資料管理的最前沿:2022 國際資料週
研究資料寄存所 (depositar)_96
・2022/10/07 ・5342字 ・閱讀時間約 11 分鐘

想和來自全世界的科學家、研究者、政策制定者、企業領袖等一起討論資料議題,想跟上資料科學與研究資料管理最前沿的腳步?國際資料週(International Data Week, IDW)是最好的選擇之一。

國際資料週是什麼?

「國際資料週」是由研究資料聯盟(Research Data Alliance, RDA)以及國際科學理事會(Internatioanl Science Counci, lSC)所屬的資料委員會(Committee on Data, CODATA)、世界資料系統(World Data System, WDS)所共同舉辦的資料科學盛事。自 2016 年起,通常每兩年舉辦一次,吸引近千名全球參與者。因為 COVID-19,2020 年的大會延到今年六月在首爾舉行。

國際資料週的議程由兩個大型研討會構成。例如 2022 的國際資料週,即結合了 RDA 第 19 次大會(RDA 19th Plenary Meeting)與 2022 年的科學資料會議(SciDataCon 2022 )這兩項會議。RDA 大會專注於促進資料分享與再利用的討論,SciDataCon 則著墨在研究資料的前沿議題。

2022 為 IDW 第 3 次舉行,議程為期 5 天,於今年的 6 月 20-24 日,在南韓首爾舉行,主題為「用資料改善世界」(Data To Improve Our World)。因  COVID-19 疫情,採實體與虛擬會議併行,議程總計約 150 場次。在 8 月底,RDA 大會與 SciDataCon 已將多數議程的錄影開放給所有人線上觀看(連結見本文最末)。

研究資料寄存所(depositar) 團隊也參與了本次會議,我們除加入各場次的討論外,亦參加海報徵件,向所有與會者說明我們近來在研究資料管理上的工作。筆者參與會議的部分場次,礙於篇幅,以下僅紀錄筆者感興趣的報告與討論。

場次紀錄:如何提高研究成果的可再重現或可複製性?

SUPPORTING RESEARCH TRANSPARENCY, ACCOUNTABILITY, AND REPRODUCIBILITY: LESSONS FROM THE TRENCHES

本場次專注討論研究成果在「運算」上的可再重現(reproducibility)或可複製性(replicability)。

有關研究成果可否被重現或複製,攸關該研究的可信度與透明性。美國國家學院(The National Academy of Science, Engineer, Medicine)在 2019 年出版了《科學的可重現與可複製性》報告,是研究者可參考的重要指引。

研究不可重現的原因眾多,在本場次中,來自 AGU 的 Shelly Stall 即指出,如紀錄不足、報告不透明、數位技術過時、或嘗試重現的過程有缺陷等,皆可能是研究結果無法重現的原因;要改善這類狀況,則可從分享資料與工作流程、對數位物件編配持續識別碼、強化資料引用、建立數位物件的說明等方面著手進行。

對此,來自 CURE 的講者們亦分享其機構內的作法。CURE 是由康乃爾大學、北卡羅萊納大學教堂山分校、以及耶魯大學等組成的聯盟,致力於倡議並實作研究在運算領域的可重現性。CURE 的運作環繞著四個基本原則:(1) 透明、近用、信任 (2) 可使用性 (3) 獨立性 (4) 出版前的研究重現(pre-publication)。

上述四個原則的完整說明,可在 CURE 的網頁上取得,例如獨立性即意味著可重現性必須「能在獨立的運算環境,交由獨立的第三方來確認」。

CURE 的成員亦分享了其如何實踐計算上的可重現性。例如康乃爾的社會科學中心的講者即表示,他們提供了全整合的服務(All-in-one service),除提供程式碼驗證的服務外,亦有經營資料儲存庫,將研究重現所需的資料悉數打包,存放於該機構的服務內,供他人使用或引用。

BEYOND MACHINE-ACTIONABLE DMPS – LET’S GO FORWARD TOGETHER!

本場次介紹「機器可操作的資料管理方案(machine-actionable Data Management Plans, maDMPs)」的近來發展。

DMP 是描述研究資料將如何被蒐集、使用、管理、(短期或長期)保存、分享等歷程的文件(有關 DMP 的介紹可見此)。 傳統上在撰寫 DMP 時,多是仰賴書寫以整理多方資料整理的工具與資源;而若完成的內容要挪作他用,亦多只能以人工手動進行。

為使 DMP 的內容能取用不同機器的資料,並在機器間進行順暢流通,RDA 自 2017 年起組成工作小組,擬定共通的控制語彙,以在人類可讀的條件下,實現機器可操作的 DMP。

經歷了數年的發展,採用該語彙的 maDMPs 服務亦已逐漸成形。在介紹何謂 maDMP 時,本場次講者 Tomasz Miksa 即指出,maDMP 就如各系統間的「膠水」,它能連結各個不同的研究系統,並自動將資料搬進搬出。

目前已邁入實作階段的 maDMPs 服務有歐盟資助的 Argos,其與歐盟的 OpenAIRE 和 EOSC 的相關服務進行整合,可讓研究者迅速取用不同平台的資料。

圖/Argos

DAMAP 則是另一類似的工具,其遵循 Science Europe 出版的「國際合用的研究資料管理實用指南」,以引導使用者填寫 DMP,而 DAMAP 在欄位設計上,亦遵循 RDA 工作小組所制定的標準,其匯出的 DMP 資料因此可被採用相同標準的服務自動取用。

DATA PUBLISHING IN THE OPEN SCIENCE ERA

本場次討論在自然科學領域,發布研究資料的相關議題,也討論如何消彌資料發布的障礙。

分享研究資料是開放科學的重要實踐項目之一,但在實踐上時常遭遇眾多複雜的阻礙。本場次的講者之一 Ohseok Kwon 教授分享了一篇 2014 年發表於 BMC Public Health 期刊上的文章,該文章透過實證研究,歸納出 6 類的資料分享障礙:技術、動機、經濟、政治、法律、倫理,並再進一步細分為 20 種不同的阻礙,如資料並未搜集(技術型阻礙)、欠缺信任(政治型阻礙)等。資料分享的複雜性可見一斑。

類似的研究,2021 年發表於 Scientifc Data 的研究,在向 199 名論文作者詢問資料後,亦彙整了其中 67 個拒絕分享資料的理由,「沒時間找資料」和「資料遺失」高居其中前兩名。

資料分享的困境,亦可從研究的準備工作就見端倪。來自密西根大學圖書館的報告者指出,根據其對該校所有的 DMP 進行分析的結果,僅有約 21% 的 DMP 會包含後設資料的陳述、僅有約 32% 包含了研究流程文件化的陳述,而若進一步深究兩者皆有提及的 DMP,更僅剩約 9% 左右。報告者 Jake Carlson 指出,這反映了研究人員普遍仍未意識到後設資料與文件化的建立,對研究資料分享至關重要,這是未來須強化的地方。

要改變資料分享與寄存的文化,由單一研究機構著力十分有限,跨學術機構的結盟時常是必要的。由十多個學術機構組成的「資料策展網絡(Data Curation Network, DCN)便是這樣的聯盟。

類似 DCN 的跨機構網絡,匯集了更充足的資源,可用以培訓來自各方的研究者,更完善地落實資料分享。相關網絡亦可為後續的資料策展提供一致的流程,並發展資料的策展標準。例如 DCN 即發展出了「資料策展入門(Data Curation Premier),針對不同類型的資料(如 PDF、Google 文件、Twitter 推文等)提供收藏上應有的考量與實作,供相關人員參考。

本場次的最後一部分,是由韓國科學技術研究院(Korea Institute of Science and Technology, KITSI)報告其對「資料論文」(Data Paper)的研究。資料論文是研究領域近來用以確保資料品質的重要方式之一。 根據 KITSI 的分析,全球資料論文的產量約自 2016 年後大幅上升,Elsevier 的加入,看來是造成明顯變化的主因。

CODATA-RDA SCHOOLS FOR RESEARCH DATA SCIENCE GROUP UPDATES AND NEW CHALLENGES

本場次由 CODATA-RDA School of Research Data Science 發起,討論該短期學校在經營永續性上的可能財務模式。

當代科學使用並生產了各式各樣的資料,研究人員是否具備充足的資料技能,往往是研究能否順利推展的關鍵。為此,CODATA 和 RDA 自 2016 年起,建立了 CODATA-RDA School(下稱「學校」),學校以數天至數週短期課程的方式,培力來自各國(特別是中低收入國家)研究人員相關的資料技能。

自 2016 年至今,學校所開設的課程總計已吸引逾 800 名的參與者。但如同研究資料會面臨如何永續保存的問題,資料學校也持續面臨組織如何方能永續有效運作的問題。

資料來源/CODATA-RDA Data Schools – Ignition Report

CODATA-RDA School 目前的經費主要來自各國政府或私部門所資助的專案經費(project funds)。計畫經費的使用有著用途固定、明確的優點,但也時常受到資金提供者的各種限制。

為了打造長期運作的模式,學校擘劃了兩種未來可能發展方向:小幅擴展、大幅擴展,並評估了兩類發展方式各別所需的活動及人事需求。

學校並設想了五種可能的資金來源:專案經費、CODATA 國家會員的額外資助、高教機構或研究組織的訂閱或貢獻、參與者付費、募資捐款,這五類來源可能交雜構成了未來的財務模式。

報告者也分析了各項經費來源的優缺點。例如「參與者付費」的優點,可能是學生會有較強的學習動機,學生也有正當理由去找尋不同來源的經費支持;但缺點則是學生可能對課程有較高的期待,而目前僅靠志願講師擔綱的課程,可能無法達到對應的要求等。

議程並邀請參與者針對各種可能資金來源集思廣益,例如提供可能資金贊助者的名單、或建立需求者間的國際網絡等,都是會議上曾被提出的建議。

或許是議程本身定位在意見蒐集,本場次在討論上並未有明確的結論。但可預見的是,隨著資料的重要性日益提升,這些與資料基礎建設攸關的學術財務或行政議題,在未來只會越來越受到重視,並不斷浮上檯面被討論。

海報:研究資料寄存所推展研究資料管理的現況 – ADVOCATING GOOD DATA PRACTICES: FROM RESEARCH DATA REPOSITORY TO RESEARCH DATA MANAGEMENT

除工作坊的議程外,RDA 大會歷來亦會有海報徵件的活動,讓研究者能透過自製海報,向與會者展示近來的工作成果。研究資料寄存所(depositar)在本次會議中也投稿海報,並順利入選

作為資料儲存庫的經營者,我們以「提倡良好的資料實務:從研究資料儲存庫到研究資料管理」為題,簡述台灣在研究資料管理的現況與背景、depositar 在推廣研究資料管理上的實踐、所習得的教訓、並描繪了研究資料管理與資料儲存庫的互動關係。

小結

確保資料具良好品質、可相互操作、可長期保存等特性,是以資料為底的科學研究能被持續推展的基礎。參與跨國界的科學合作,它們更是須被優先處理的基本議題。這些基本議題時常是由技術、經濟、政策、與法律等多面向交織而成,它們也構成了 International Data Week 多數議程的討論核心。

略嫌可惜的是,台灣對於這些基礎議題的討論與實踐仍少,國際會議的參與人數也不多。

但無論如何,2022 年國際資料週的所有場次(含 SciDataCon 2022 和 RDA Plenary 19)錄影均已在 8 月底公開,如有興趣一覽本次議程內容,可至以下網址,再次回顧這個全球的科學資料盛事。

研究資料寄存所 (depositar)_96
2 篇文章 ・ 2 位粉絲
研究資料寄存所 (depositar) 是由研究人員建立的線上資料儲存庫。所有人都能使用這個平台,自由地儲存、尋找、再次使用研究資料。

0

4
3

文字

分享

0
4
3
從「工人智慧」到「人工智慧」——《普林斯頓最熱門的電腦通識課》
商業周刊
・2022/03/13 ・3569字 ・閱讀時間約 7 分鐘

  • 作者/ 布萊恩·柯尼罕( Brian W. Kernighan)
  • 譯者/ 李芳齡

人工智慧的開端

在電腦發展之初的二十世紀中期,人們開始思考可以如何用電腦來執行通常只有人類才能做到的事情,一個明顯的目標是玩西洋跳棋和西洋棋之類的棋盤遊戲,因為這領域有個優點,那就是有完全明確的規則,並有一大群感興趣且有資格稱為專家的人。

另一個目標是把一種語言翻譯成另一種語言,這顯然困難得多,但更為重要,例如,在冷戰時期,從俄文到英文的機器翻譯是很要緊的事。其他的應用包括語音辨識與生成,數學與邏輯推理,做決策,及學習過程。

這些主題的研究很容易取得資助,通常是來自美國國防部之類的政府機構。我們已經在前文中看到,美國國防部對早期網路研究的資助有多珍貴,它引領出網際網路的發展。人工智慧的研究也同樣受到激勵及慷慨資助。

我認為,把 1950 年代及 1960 年代的人工智慧研究形容為「天真的樂觀」,應該是公允的。當時的科學家覺得突破就快到來,再過個五或十年,電腦就能正確地翻譯語言,在西洋棋比賽中擊敗最優的人類棋手。

我當時只是個大學生,但我著迷於這個領域和潛在成果,大四時的畢業論文就以人工智慧為主題。可惜,那篇論文早已被我搞丟了,我也想不起當年的我是否也抱持相同於當時普遍的樂觀態度。

但是,事實證明,幾乎每個人工智慧的應用領域都遠比設想的要困難得多,「再過個五或十年」總是一次又一次被端出來。成果很貧乏,資金用罄了,這領域休耕了一、二十年,那段期間被稱為「人工智慧之冬」。

網際網路發展成未來趨勢。圖/Pexels

把專家的判斷規則,直接寫成一堆判斷式的「工人智慧」階段

到了 1980 年代和1990年代,這個領域開始用一種不同的方法復耕了,這方法名為專家系統(expert systems)或規則式系統(rule-based systems)。

專家系統是由領域專家寫出很多規則,程式設計師把這些規則轉化為程式,讓電腦應用它們來執行某個工作。醫療診斷系統就是一個著名的應用領域,醫生制定研判一名病患有何問題的規則,讓程式去執行診斷、支援、補充,或理論上甚至取代醫生。

MYCIN 系統是早期的一個例子,用於診斷血液感染,它使用約 600 條規則,成效至少跟一般醫生一樣好。這系統是由專家系統先驅愛德華.費根鮑姆(Edward Feigenbaum)發展出來的,他因為在人工智慧領域的貢獻,於 1994 年獲頒圖靈獎。

專家系統有一些實質性的成功,包括顧客支援系統、機械維修系統以及其他焦點領域,但最終看來也有重大限制。

實務上,難以彙集一套完整的規則,而且有太多例外情況。這種方法未順利擴大應用於大量主題或新問題領域,需要隨著情況變化或了解的改進,更新規則,舉例而言,想想看,在 2020 年遇上一名體溫升高、喉嚨痛、劇烈咳嗽的病患時,診斷規則該如何改變?這些原本是一般感冒的症狀,或許有輕微的併發症,但很可能是新冠肺炎,具有高傳染性,且對病患本身及醫療人員都非常危險。

擺脫「工人智慧」,讓電腦能自學——機器學習的基本概念

機器學習的基本概念是對一種演算法給予大量的例子,讓它自行學習,不給它一套規則,也不明確地編程讓它去解決特定問題。

最簡單的形式是,我們為程式提供一個標記了正確值的訓練集(training set),例如,我們不試圖建立如何辨識手寫數字的規則,而是用一個大樣本的手寫數字去訓練一套學習演算法,我們對每個訓練資料標記其數值,這演算法使用它在辨識訓練資料時的成功及失敗來學習如何結合這些訓練資料的特徵,得出最佳辨識結果。

當然,所謂的「最佳」,並不是確定的:機器學習演算法盡力去提高得出好結果的機率,但不保證完美。訓練之後,演算法根據它從訓練集學到的,對新的資料進行分類,或是預測它們的值。

監督式學習——人類教電腦看見特徵,由演算法來算出規則

使用有標記的資料(labeled data/tagged data)來學習,此稱為監督式學習(supervised learning)。大多數監督式學習演算法有一個共通的架構,它們處理大量標記了正確類別(正確值)的例子,例如,這文本是不是垃圾郵件,或者,這照片中的動物是哪種動物,或者,一棟房子的可能價格。演算法根據這個訓練集,研判能讓它得出最佳分類或做出最佳預測的參數值;其實就是讓它學習如何從例子做出推斷。

我們仍然得告訴演算法,哪些「特徵」能幫助做出正確研判,但我們不對這些特徵給予權值或把它們結合起來。舉例而言,若我們試圖訓練演算法去過濾郵件,我們需要與垃圾郵件內容有關的特徵,例如類似郵件用詞(「免費!」)、已知的垃圾郵件主題、怪異字符、拼字錯誤、不正確的文法等等。

這些特徵單獨來看,並不能研判一份郵件就是垃圾郵件,但給予足夠的標記資料,演算法就能開始區別垃圾郵件與非垃圾郵件——至少,在濫發垃圾郵件者做出進一步調整之前,這演算法具有此過濾成效。

手寫數字辨識是一個眾所周知的問題,美國國家標準與技術研究院(National Institute of Standards and Technology,NIST)提供一公開測試組,有 60,000 個訓練圖像集和 10,000 個測試圖像集,<圖表>是其中一個小樣本。機器學習系統對此資料的辨識成效很好,在公開競賽中,錯誤率低於 0.25%,亦即平均 400 個字符中只有一個錯誤。

機器學習演算法可能因種種因素而失敗,例如,「過度擬合」(over-fitting),演算法對其訓練資料的表現很好,但對新資料的表現遠遠較差。或者,我們可能沒有足夠的訓練資料,或是我們提供了錯誤的特徵集,或者,演算法產生的結果可能確證了訓練集內含偏誤。

這在刑事司法應用系統(例如判刑或預測再犯)中是特別敏感的問題,但在使用演算法來對人們做出研判的任何情況,也會造成問題,例如信用評等、房貸申請、履歷表篩選。

垃圾郵件偵測及數位辨識系統是分類型演算法(classification algorithms)的例子:對資料項做出正確分類。

預測型演算法(prediction algorithms)則是試圖預測一數值,例如房子價格、運動比賽得分、股市趨勢。

舉例而言,我們可能試圖根據位置、年齡、客廳面積與房間數等主要特徵來預測房子價格,更複雜的模型——例如 Zillow 使用的模型——會加入其他特徵,例如相似房屋之前的售價、社區特色、房地產稅、當地學校素質。

非監督式學習——讓電腦自己找出特徵與規則

不同於監視式學習,非監督式學習(unsupervised learning)使用未加入標記的訓練資料,亦即沒有對資料加上任何標記或標籤。非監督式學習演算法試圖在資料中找出型態或結構,根據資料項的特徵,把它們分組。有一種盛行的演算法名為「k 群集分析」(k-means clustering),演算法盡力把資料分成 k 群,讓每一群中的資料項相似性最大化,並且各群之間的相似性最小化。

舉例而言,為研判文件的作者,我們可能假設有兩名作者,我們選擇可能的關聯性特徵,例如句子的長度、詞彙量、標點符號風格等等,然後讓分群演算法(clustering algorithm)盡它所能地把文件區分成兩群。

非監督式學習也適用於在一群資料項中辨識離群項(outliers),若大多數資料項以某種明顯方式群集,但有一些資料項不能如此群集,可能代表必須進一步檢視這些資料項。

舉例而言,設若<圖表>中的人工資料代表信用卡使用情形的某個層面,多數資料點分別群集於兩大群之一,但有一些資料點無法群集於這兩群中的任何一群,或許,這些資料點沒什麼問題——群集分析不需要做到完美,但它們也可能是詐欺或錯誤的情況。

群集分析以辨識異常值。圖/普林斯頓最熱門的電腦通識課

非監督式學習的優點是不需要做可能滿花錢的訓練資料標記工作,但它不能應用於所有情況。使用非監督式學習,必須思考出與各群集相關的一些可用的特徵,當然,對於可能有多少個分群,也需有一個起碼的概念。

我曾經做過一個實驗,使用一個標準的 k 群集分析演算法來把約 5,000 個臉孔影像區分為兩群,我天真地期望這演算法或許能區分出性別。結果是,它的正確率約 90%,我不知道它是根據什麼來下結論的,我也無法從那些錯誤的情況中看出什麼明顯型態。

——摘自《普林斯頓最熱門的電腦通識課》,2022 年 2 月,商業周刊

商業周刊
12 篇文章 ・ 3 位粉絲

1

8
2

文字

分享

1
8
2
花粉揭秘:黑死病災情,歐洲各地很不一樣
寒波_96
・2022/02/21 ・4340字 ・閱讀時間約 9 分鐘

14 世紀中葉,歐洲各地陸續爆發鼠疫。瘟疫在當時的歐洲並不稀罕,可是這回實在嚴重,大量人口慘遭消滅,後世稱之為「黑死病」。疫情主要發生在公元 1347 到 1352 年,有些學者估計令歐洲在短期內減少 30 到 50% 人口,或許高達 5000 萬人之多。

一項新上市的研究根據花粉分析,卻得到結論:黑死病對歐洲各地的影響差異不小,有些區域確實大受打擊,但是有些地區輕微得多。我們該怎麼解讀這些研究呢?

受到義大利黑死病爆發為背景的《十日談》啟發的畫作。圖/wiki 公有領域

瘟疫殺死歐洲一半人!真的嗎?

黑死病的病原體是鼠疫桿菌(Yersinia pestis),可藉由老鼠和跳蚤輔助傳播。近年來由遺骸取得古代 DNA 的研究大行其道,令我們得知超過五千年前,便有人感染鼠疫桿菌。鼠疫桿菌能搭乘跳蚤便車,關鍵在於 ymtYersinia murine toxin)基因,晚於四千年前的鼠疫桿菌皆已經具備。

歷史上三次大爆發:6世紀的查士丁尼瘟疫,14 世紀的黑死病,以及 19 世紀末的全球流行,人們面對的都是傳染力升級的細菌版本;除此之外,還有多次規模較小的流行。 遺傳變化有限的病原體,在不同時空的疫情差異很大。

歷次鼠疫桿菌導致的疫情中,黑死病的衝擊最大,有些研究甚至認為它消滅當時歐洲 50% 人口。這類死亡率的評估,主要來自歷史資料,如文書、稅務等紀錄;然而,這類資訊來源未必準確,有時文字會誇大不實,和實際數字有所差異。

還有一點侷限在,歷史資料主要紀錄人口聚居的城鎮,可是黑死病那個時候,歐洲超過 75% 人住在城市之外。人擠人的城市碰上鼠疫這類傳染病,通常受害較大,所以根據城市評估而得的結果,也許會高估瘟疫的危害。

另一方面,不同地區的受災程度很可能不同,就像正在進行的 COVID-19(武漢肺炎、新冠肺炎)疫情,遺傳上相同的病毒重擊秘魯,對澳洲的傷害卻相對有限。而黑死病也是如此,既有資料已經足以看出,相比於義大利深受打擊,波蘭更加輕微。幾處地區的狀況,不能擴大代表整個歐洲。

概念:在黑死病死亡率低的地區,農耕不太受到影響;死亡率高的地區則影響較大,產業轉為畜牧,甚至是恢復野生狀態;這些植物變化會反映在沉積物中的花粉。圖/參考資料 3

花粉大數據

要評估黑死病這類歷史大事件的影響,沒有一種理想辦法,一定要從不同方面尋找證據切入、互補,而環境變化可以作為切入點。突然爆發的疾病,導致大量人口死亡之後,也將造成經濟與社會的動盪,可想而知,自然環境也會受到牽連。

歐洲各地花粉的取樣地點。圖/參考資料 3

新發表的研究選擇以花粉作為指標,探討黑死病的影響,還創造一個看似 fancy 的新名詞描述:「大數據古生態學(big data palaeoecology,簡稱 BDP)」,反正大數據就是那樣。

概念是,受到黑死病負面影響愈嚴重的地區,人類活動會減少愈多,可以由花粉變化看出。具體樣本來自歐洲各地 261 處遺址,一共 1634 個沉積層樣本;年代介於公元 1250 到 1450 年,大致涵蓋黑死病發生之前到之後的各一百年,也就是前後約 4 代人。短時間內大量人口死亡,影響可能延續數代。

不同植物會生成不同花粉,有些花粉落到湖泊等環境,變成湖底的沉積物,有機會保存下來,成為歷史切片的見證。而人類活動影響環境,使得植物生態有別,便會留下不同的花粉組合。

例如農耕發達的地區,會留下大量農作物的花粉,畜牧業普及區則會是另一種風貌;若是人口減少令農牧活動降低,野生植物的花粉便會增加,不同階段又會生長不同野生植物。

地段,地段,地段!

新的分析思維看似很有道理,但是能相信嗎?研究者首先分析資訊最豐富的兩處地點:瑞典、波蘭。許多證據表示黑死病過去後,瑞典慘遭打擊,波蘭反而明顯成長;倘若花粉呈現的狀況一致,便說明這套分析是可靠的。結果花粉分析順利通過考驗。

波蘭和瑞典的比較,瑞典在黑死病之後明顯衰退,波蘭則否。圖/參考資料 3

花粉分析擴大到歐洲全境,最肯定的結論是:各地差異不小。黑死病前後,一些地區差異有限,有些甚至逆風高飛;農牧活動減少最多的地區位於斯堪地那維亞(北歐)、法國、德國西部、希臘、義大利中部。

有個假設是:瘟疫使人口減少以後,產業可能由勞力密集的農耕,轉向較不需要人力的畜牧。但是這回研究指出,所有農耕下降的地區, 畜牧也跟著減少;唯一例外是德國西南部,畜牧反而增長。

考察文獻得知,義大利、法國深受黑死病危害,這也反映在當地的花粉中,證實歷史紀錄的準確。農業開墾往往是森林的敵人,黑死病過後,義大利的森林甚至重新蓬勃復育;慘烈至此,難怪有薄伽丘《十日談》的誕生。

然而不少地區的農牧活動,黑死病前後的差異有限,或是顯著成長,像是伊比利、愛爾蘭,以及中歐、東歐多數地點。這些分析指出黑死病對歐洲各地的影響有別,整體死亡率大概沒有 50% 那麼誇張。

歐洲各地在黑死病前後的變化:穀物、畜牧、植被演替。圖/參考資料 3

其實還是不清楚黑死病的死亡率

該如何看待上述論點呢?花粉分析有優點,也有缺點。一如文字、稅務等切入方向,花粉也有自己方法學上的侷限。它能告訴我們歐洲各地的死亡率不均值,卻無法真正評估死亡率高低。

根據花粉組成在不同年代的相對變化,可以推論當地農牧活動的改變,卻不直接等同於人口的死亡程度。

一個地區在黑死病後一段時間,農牧活動明顯增長,不見得意謂瘟疫時沒有死很多人,也可能是恢復速度很快,或是還有黑死病以外的其他因素。

也要注意這兒的評估是相對的,某地相對的受災比較輕微,不等於災情不嚴重。一個地區在幾十年的時段內,如果損失 30% 人口當然是大災難,但是就算死亡「只有」5%,也不可能馬照跑,舞照跳。

歐洲各地在黑死病前後的變化統整,偏紅色為衰退,偏綠色為成長。圖中名號是當時的政權疆域。圖/參考資料 3

評估大瘟疫更廣泛的社會影響

儘管無法準確判斷死亡率,花粉能評估傳染病對社會更廣泛的影響。黑死病這類大瘟疫,不是只有鼠疫桿菌殺死多少人而已,還會牽連更廣泛的社會運作,累積間接傷害。

即使是一個較小的地理範圍,受災程度也可能有內部差異,如城鎮中心及其周圍的郊區、鄉村。沉積物中的花粉,是一個地區一段時間內的集合紀錄,似乎較能避免城鄉差距的影響。

有學者認為,黑死病過後一個地區之所以沒有衰退,也可能是外地人口填補所致,故質疑新研究的論點。就算真是如此,新遷入的人口也是來自歐洲其他地方,同樣支持新論點的大方向:歐洲各地受災程度有異,並非每處一樣嚴重。何況過往公認疫情嚴重的地區,新分析中也看得出來。

有趣的是,一項 2019 年發表的研究在檢視多重證據後,也認為查士丁尼瘟疫的災情言過其實,不如過往認知的那麼嚴重。提醒各位千萬不能忽略「沒有那麼嚴重,跟不嚴重是兩回事」。

花粉無法回答的問題是:黑死病為什麼在各地影響有別?有人推測是鼠疫桿菌的品系不同,在西歐的殺傷力較強,東歐較弱。但是此一論點缺乏遺傳學、病理學的證據。

2019 年底至今的全球瘟疫清楚告訴我們,遺傳上一模一樣的品系,在不同國家的傳播與傷害天差地別,涉及許多複雜的因素。黑死病比當下冠狀病毒造成的疫情嚴重很多,基本道理大概還是一樣的。

延伸閱讀

參考資料

  1. Susat, J., Lübke, H., Immel, A., Brinker, U., Macāne, A., Meadows, J., … & Krause-Kyora, B. (2021). A 5,000-year-old hunter-gatherer already plagued by Yersinia pestis. Cell Reports, 35(13), 109278.
  2. Spyrou, M. A., Tukhbatova, R. I., Wang, C. C., Valtueña, A. A., Lankapalli, A. K., Kondrashin, V. V., … & Krause, J. (2018). Analysis of 3800-year-old Yersinia pestis genomes suggests Bronze Age origin for bubonic plague. Nature Communications, 9(1), 1-10.
  3. Izdebski, A., Guzowski, P., Poniat, R., Masci, L., Palli, J., Vignola, C., … & Masi, A. (2022). Palaeoecological data indicates land-use changes across Europe linked to spatial heterogeneity in mortality during the Black Death pandemic. Nature Ecology & Evolution, 1-10.
  4. Black death mortality not as widespread as believed
  5. Did the ‘Black Death’ Really Kill Half of Europe? New Research Says No
  6. Mordechai, L., Eisenberg, M., Newfield, T. P., Izdebski, A., Kay, J. E., & Poinar, H. (2019). The Justinianic Plague: an inconsequential pandemic?. Proceedings of the National Academy of Sciences, 116(51), 25546-25554.

本文亦刊載於作者部落格《盲眼的尼安德塔石匠》暨其 facebook 同名專頁

所有討論 1
寒波_96
174 篇文章 ・ 667 位粉絲
生命科學碩士、文學與電影愛好者、戳樂黨員,主要興趣為演化,希望把好東西介紹給大家。部落格《盲眼的尼安德塔石器匠》、同名粉絲團《盲眼的尼安德塔石器匠》。