【Gene思書齋】快準狠的大數據（Big Data）

「大數據」（我個人比較喜歡「巨量資料」這個名詞），在歐美主流媒體早已成了常見的名詞了，到《紐約時報》（The New York Times） 用「Big Data」為關鍵字作搜尋就能找到一大堆有深度的文章，近年幾乎每週都有和「大數據」有關的新聞。國外已有媒體指出，大學甚至可能會因應市場需要，而開設 新課程或系所來訓練有能力分析大數據的人才；可是如果你用「大數據」在谷歌找中文新聞，出現的新聞要嘛是對岸的，要不然就是小眾媒體的。難怪台灣經濟會 悶……

為何「大數據」重要？

答案很簡單，因為，不管是基礎科學或者應用科學的研究，還有工商業，都可以用大數據來可以解決很多非常實際的問題。舉例來說，大數據已經協助迅速找 出有致命危險的人孔蓋，許多老舊的人孔蓋是不定時炸彈，但其中有些更容易闖禍，快速有效地尋找出它們悠關公共安全；在公共衛生上，從谷歌的搜尋字眼之使用 量趨勢，還可預測流感的蔓延，讓官方快速掌控疫情；谷歌也用大數據而非語言學家來進多語言翻譯的開發，雖然還有很搞笑的錯誤，但已是業界先鋒。

在工商業應用上，大數據可以預測機票的價格，這在美國已成了一個網站Farecast.com， 讓使用者可以依據機票浮動的機率決定是否下單，Farecast.com後 來被微軟併購；美國零售商Target用了大數據還可預測女生（甚至未成年）是否懷孕，來郵寄孕婦嬰兒用品的折價卷；大數據能夠幫忙規劃快遞的送貨路線， 尋找最少停停走走的路線，以節約能量；還有個有趣的應用研究，能從駕駛人的臀部 形態判斷是否為車主的防盜系統，甚至還能判斷車主有沒有酒駕或打嗑睡……

這麼好用，不買嗎？

不知上哪買？那就先讀牛津大學網路研究所教授麥爾荀伯格（Viktor Mayer-Schonberger）和《經濟學人》（The Economist）雜誌資料編輯庫基耶（Kenneth Cukier）的《大數據》（Big Data: A Revolution That Will Transform How We Live, Work, and Think）， 讓他們告訴你什麼碗糕是大數據，大數據有什麼意義…或義氣…還有大數據將如何改變我們的生活，對經濟、社會和科學會帶來什麼影響，我們又能如何趕搭上這波 新潮流，如何懂得保護自己，避免個人資料和隱私受到侵害。《大數據》就用以上提到的實例，深入淺出地解說大數據之發掘和應用。

很多討論大數據的文章會指出，大數據有 4V之美──Volume、 Variety、 Value、 Velocity（資料量大、資料多樣性、價值高、輸入和處理速度快）。大數據之應用和分析，也影響了環境科學、生態學、地球科學、天文學、海洋學、公共 衛生、神經科學、大氣科學、基因體學等學科，微軟研究院（Microsoft Research）出了一本免費的專書在做學術上的探討──The Fourth Paradigm: Data-Intensive Scientific Discovery。

大數據，簡單來說，是由於網際網路普遍了、電腦擷取、儲存、管理設備和強大的軟硬體提升了分析運算能力後，科學家可以方便地蒐集資料，並且把所有收集到的 資料拿去作運算，不必再取樣或犧牲掉大部分資料，甚至不必再取樣，而是取得母體來作分析，於是不必再拘泥傳統的統計理論和取樣方法。大數據的使用和分析， 也產生了一種新的思維模式，讓分析者不需要再擁抱精確性，也不再受限於因果關係的解釋，只有找出有應用價值的相關性就好，當然這是在應用上而言。

《大數據》也談大數據的研究過程，以及巨量 資料的基礎建設、運用方式與價值鏈。大數據對企業來說，也有利有弊，一般而言，大型和小型企業將受惠較多，因為大企業有能力投資設備和人才，而小企業則靈 活度高，然而中型企業可能因為不上不小而受創；大數據也讓一些專家失了業，例如亞馬遜網路書店就發現，用大數據分析出讀者 的口味再推薦，效果比書評家推薦的還好！（啊！糟糕了Orz）

大數據也有黑暗面，《大數據》也談風險、管控與未來。美國國家安全局（NSA）為了蒐集全美的網路資料，單單儲存設備就花了12億鎂，而社群網站的動態分 析也是重點，產生了政府該不該用這些巨量資料來監控人民的爭議；而且，大數據本身就不完美，《大數據》 舉了美國越戰時的國防部長麥納瑪拉（Robert McNamara）為例，指出迷信數字是會多麼的危險，連紅透半邊天的《半澤直樹》也有一個迷信數字的惡同事福山XD 因此，《大數據》特別強調人的「能動性」（human agency），也就是人類出於自由意志而選擇其行動。作者顯然不想看到電影《關鍵報告》（The Minority Report）的故事真實地上演。

水可行舟、亦可覆舟，大數據是標準的雙面刃。科技之所以存在，是為了要解決人類的問題，而且不管大數據有多海量，終究僅是大自然或人類文明的一小部分而已。《大數據》最後不忘提醒讀者，儘管讓公民、政府、社會帶來的種種挑戰和變革，大數據只是工具，勿忘謙卑與人性。

本文原刊登於Readmoo.com【GENE思書軒】，並同步刊登於The Sky of Gene。