0

0
0

文字

分享

0
0
0

大量資料即時處理

科景_96
・2011/02/10 ・513字 ・閱讀時間約 1 分鐘 ・SR值 515 ・六年級
相關標籤: 巨量資料 (5)

-----廣告,請繼續往下閱讀-----

Original publish date:Aug 29, 2010

編輯 HCC 報導

MIT Technology Review 雜誌自1999年起,逐年以TR35專欄甄選一群年紀低於35歲的創新者,表彰其在科技發明及研究上的前驅與突破;研究領域涵蓋醫療、電腦運算、通訊、電子、奈米科技等。2010年8月甫公佈其評選的35位青年創新先行者,大量資料即時處理為其中一個創新領域。

大量資料即時處理技術創新者為Richard Tibbetts,年齡:30歲,學歷:MIT 電腦科學碩士,服務公司:StreamBase Systems

-----廣告,請繼續往下閱讀-----

無論是企業界、政府部門、研究單位經常都需處理瞬息萬變大量湧進的資訊,資訊的即時處理成了一個大難題,傳統上是先將資訊儲存到資料庫再進行處理,不過資料庫不善於即時處理資料,使用者必須等待所有的資料累積完畢,方能執行下一步驟。

身兼StreamBase Systems開創元老以及技術執行長的Richard,研發了一套資料處理系統。此套圖形事件流程電腦語言﹝graphical event-flow language﹞StreamSQL EventFlow,擴展標準的SQL查詢模型﹝SQL query model﹞與運算子﹝Operator﹞,得以處理即時與歷史資料流﹝historical data streams﹞,將大量變化的連續性輸入資料精粹到進行決策所需的訊息,其結果可應用於股票交易、趨勢指標、國防應用等。

StreamBase Systems公司專門開發複雜事件處理﹝Complex Event Processing, CEP﹞軟體,處理高流量,低延遲﹝low-latency﹞事件。StreamBase Systems 同時被 MIT Technology Review 評選為2010年最具創新力的50家企業之一。

參考來源:

-----廣告,請繼續往下閱讀-----

 

文章難易度
科景_96
426 篇文章 ・ 7 位粉絲
Sciscape成立於1999年4月,為一非營利的專業科學新聞網站。

0

0
0

文字

分享

0
0
0
【Gene思書齋】跟著大數據學習教育
Gene Ng_96
・2015/02/03 ・2892字 ・閱讀時間約 6 分鐘 ・SR值 534 ・七年級

-----廣告,請繼續往下閱讀-----

A1500526Big_Data_cover-230x346

在這裡介紹過了牛津大學網路研究所教授麥爾荀伯格(Viktor Mayer-Schonberger)和《經濟學人》(The Economist)雜誌資料編輯庫基耶(Kenneth Cukier)的《大數據》Big Data: A Revolution That Will Transform How We Live, Work, and Think)這本好書,他們探討大數據(巨量資料)是什麼碗糕,大數據有什麼意義,還有大數據將如何改變我們的生活,對經濟、社會和科學會帶來什麼影響,我們又能如何趕搭上這波新潮流,如何懂得保護自己,避免個人資料和隱私受到侵害等等(請參見〈快準狠的大數據〉)。

這次他們把魔爪…哦不…觸手伸到了「教育」,寫了這本《大數據:教育篇:教學與學習的未來趨勢》Learning with Big Data: The Future of Education),因為跟據他們的觀察,大數據正在跨入教育體系,對於全世界的教學與學習活動,勢必將產生極為深遠的影響,因此在這本書就是要談談大數據將如何改變教育。

他們舉出「大規模開放式線上課程」(MOOC)、可汗學院(Khan Academy)、Duolingo語文學習網站等案例。雖然這些線上課程早已不是新聞了,可是他們要再進一步告訴我們,當大數據的時代來臨,教育就不只 是上課聽講、讀書考試打成績、或是輕易選修更多科目而已。透過大數據,我們可以擁有史上最強大、具實證效果的工具,能夠瞭解「誰在學習」、「怎樣教學」與 「如何學習」這些重要的課題。

大數據讓我們前所未有的方式和觀點,看到究竟什麼有用、什麼沒用,以前不可能觀察到的種種學習阻礙,現在有辦法一一化解,大幅改善學生的學習成效,顛覆傳 統教學模式,造福更多學子。課程可以依據學生個人的需求做調整,真正做到因材施教,因為教師可以透過學生在線上學習時不經意的行為來判斷成效、調整教學內 容和順序,以及多次複習會造成學習瓶頸的困難觀念,甚至即時因應學生的反應而出招等等。教師的工作不會被教學網路和影片取代,而會變得更有效益、也更有 趣,因為能夠更專注針對學生作個人化的指導。

-----廣告,請繼續往下閱讀-----

他們也認利用大數據分析,學校領導者和政府決策官員,也能用更低的成本提供更多教育機會,這些正是減少社會貧富差距、讓社經階層流動的重要因素;社會大眾 也能夠知道「學習」應當是怎麼一回事,打破教育主管機關和學校的壟斷地位,從而讓教育的本質和體制徹底翻轉。他們主張,大數據時代正是不斷學習的時代、翻 轉教育的時代!

不過大數據的應用是雙面刃,我們可能會把相關性誤判為因果,而且如果學生的個資無法被保護,其舊學習歷程被曝光,可是會影響日後的升學與就業。關於這方 面,《大數據:教育篇》引用了《大數據》的許多觀念和案例,例如誤將相關性當因果以及個資保護等等,所以建議也要去讀《大數據》這本書。

不過,盡信書不如無書,作者在西方遇到的問題,和我們在東亞遇到的,有很大的差異。最大的差異有兩點。

一個大差異,在一張很多網友在臉書分享的圖表清楚表達出來:圖裡有兩條軸線,第一條軸線為「歐美人才養成」,而第二條則是「台灣人才養成」,軸線將學習生 涯分成「學前」、「小學」、「國中」、「高中」以及「大學」等五個階段。「歐美人才養成」各階段的學習目標相當明確並且不同,學前做好生活管理、小學探索 環境、國中要開始找尋自己的夢想、高中則要面對生涯抉擇,而到了大學就要開始培養實務能力。

-----廣告,請繼續往下閱讀-----

台灣人才培養的軸線,從「學前」一直到「高中」生涯,全是「讀書考試」,一直到「大學」時期,才要將「生活管理」、「探索環境」、「找尋夢想」、「生涯抉擇」以及「培養實務能力」一次統統完成,其中當然還少不了「讀書考試」。

歐美的教育偏向素質教育,相對於偏重考試的應試教育而言,較為注重體育、藝術能力和多元智能的培養,而真正的素質教育,目的在於讓學生能發揮個人潛能,各 展所長,並培養良好的品格,並不局限於學術上的才能。台灣的教育能夠篩選出很會考試(甚至還不見得會「讀書」哦)的學生,連公務系統都極度依賴考試,雖然 有好些公家工作幾乎不需要考試的技能。可是因為考試實在太浮濫,使得疲於奔命的教師能好好用心出題的時間都被嚴重壓縮,連有沒有認認真真地好好考考學生各 方面的學術能力都成問題,更甭提學術能力也非社會所需的全部。

另外一個差異是,台灣的教育太過注重標準答案,可是嚴重扼殺學生的創意。但是歐美的教育很注重個人的啟發,所以頂尖的人才在歐美的教育環境,往往可以更容 易發揮出他們的潛力,表現出他們充沛的創造力。可是他們的對素質一般的學生,反正做得不見得比台灣好。台灣的教育環境,讓學生拚命練習考試、練習考試再練 習考試,讓學生的程度比起歐美整齊的多。以我和朋友們在美國唸博班當助教的經驗來看,台灣學生的程度差異在一個班中,算是比較整齊的,成績優劣幾乎憑個人 努力付出多寡。可是在美國大學,尤其是公立學校,大部分的學生,在數理方面真的很不行!

舉個例子來說,我們常常看到學生在實驗數據中,他們嘗試要把上噸的鹽溶在小燒杯裡,或者把實驗桌上的小鉛球射上火星,因為連單位都搞錯了Orz 有位老師在普通生物學考題上問學生什麼是pH值,居然有四分之一的學生選擇「它不存在」;還有老師指出,大四的學生,居然有兩成回答果蠅的基因數量是小於 一,另外兩成寫無窮大(正確數目大約是一萬多),他說那四成學生基本上是「完全的廢物」;還有很多搞笑的事,真是罄竹難書。面對這些學生,教授們的態度往 往是「放棄」,可是大數據或許能讓這情勢反轉。

-----廣告,請繼續往下閱讀-----

台灣的教育環境,往往比歐美更善待中上程度的學生,用嚴酷的練習考試來磨練他們的能力,可是卻嚴重地忽略了頂尖人材的教育,而且也幾乎完全沒有為培養社會 各界的領袖所準備。台灣的大學,就算連頂尖的台大和清大,大致上都還是停留在訓練優異的幹部為主,教授的教學方式和內容,和其他大部分的大學幾乎沒差太 多,頂多深度有一些差異而已。可是,就拿美國來說,頂尖大學的目標是在培養頂尖的領袖!一流大學的目標是在培養社會各界菁英、二流大學的是在培養優異的幹 部、三流大學的是在培養良好的基層員工等等。所以,很不幸的,台灣的大學可能在培養優異的幹部上很稱職,可是要成為社會各界菁英,就只能靠學生自己的努力 和見識,領袖的話就算了。

要培養出優異的幹部,大數據的應用應該有其優勢,可是社會菁英和領袖的培養,大數據或許無用武之地,因為大據數無法告訴你過去未曾發生的事情,也無法預測 和產生出創新,因此對於台灣的教育,大數據可以提高學生的學業,可是五育的訓練,以及領袖和社會菁英的培養,我們可能先不要去思考什麼大數據之類的,先從 整體教育環境下手才比較實際。

關於教育,這裡只能點出冰山一角,我也沒有標準答案,但請容我在此私心介紹一位好友謝宇程在商周的高人氣專欄「學與業壯遊」,裡頭有很多很多問題,我們必須繼續思索。

台灣教育問題多如牛毛,不過我們不必對台灣教育灰心,看了以下影片,你應該會很感動,希望還是在的:

-----廣告,請繼續往下閱讀-----

本文原刊登於【GENE思書軒】,並同步刊登於The Sky of Gene

Gene Ng_96
295 篇文章 ・ 30 位粉絲
來自馬來西亞,畢業於台灣國立清華大學生命科學系學士暨碩士班,以及美國加州大學戴維斯分校(University of California at Davis)遺傳學博士班,從事果蠅演化遺傳學研究。曾於台灣中央研究院生物多樣性研究中心擔任博士後研究員,現任教於國立清華大學分子與細胞生物學研究所,從事鳥類的演化遺傳學、基因體學及演化發育生物學研究。過去曾長期擔任中文科學新聞網站「科景」(Sciscape.org)總編輯,現任台大科教中心CASE特約寫手Readmoo部落格【GENE思書軒】關鍵評論網專欄作家;個人部落格:The Sky of Gene;臉書粉絲頁:GENE思書齋

0

0
0

文字

分享

0
0
0
滅火新趨勢:資料探勘直搗黃龍
李柏昱
・2014/04/21 ・1573字 ・閱讀時間約 3 分鐘 ・SR值 514 ・六年級

-----廣告,請繼續往下閱讀-----

 

荷蘭阿姆斯特丹的災害風險地圖。(資料來源:Qliktech)
荷蘭阿姆斯特丹的災害風險地圖。(資料來源:Qliktech)

在紐約、倫敦、阿姆斯特丹或是其他任何一座現代大型城市中,數百萬棟建築聚在一塊兒,而每年總有幾千棟會被大火吞噬。消防隊有沒有可能事先預知哪一棟建築將竄出火花?有關部門又該如何決定資源的配置以因應潛在的嚴重意外?
 
過去看似無解的難題,巨量資料時代的來臨與資料探勘(data mining)技術的發展,或許帶來解決問題的一道曙光。
 
巨量資料時代
 
巨量資料在當今諸多領域都是熱門話題。用最簡單的話講,巨量資料就是數據資料的資料量大到難以進行分析、搜尋或是處理。目前我們的社會正以爆炸性的速度產生各種資料。根據IBM的報告,自人類有歷史以來,有90%的資料是在過去的兩年中被創造出來。
 
巨量資料主要來自電腦、智慧型手機、社群網站、各種錄影設備以及網路。不過隨著電腦運算能力與時俱進、軟體逐漸高度專業化,我們開始有能力處理並使用這些大海般的資料數據,也就是能開始進行資料探勘的工作。
 
資料探勘
 
回到火災的話題上,利用新科技與新軟體,各地消防部門的風險管理員得以分析一拖拉庫的資料數據。透過整合建築物、街道、水路、運輸管線、貧窮、屋齡、空屋、有無電氣問題、灑水器數量與位置、有無電梯等等與火災相關的資訊,與消防意外事件數、火災傷亡人數疊合,便能製作出一份「災害風險地圖」。
 
這張地圖對於消防部門助益極大。首先,消防部門能有效部屬應對不同事故所需的資源,例如化學火災或車禍,在災害發生第一時間就擁有正確的救難設備與資源。
 
其次,各地區消防員的訓練能依照各地災害風險的不同量身打造;進行例行性的消防檢查時,消防員也能從中得知哪些是風險最高的建築物,需要優先拜訪。而在此之前,消防員的例行檢查都是隨機進行的。
 
第三,對於那些住在災害風險高的建築物的居民,消防部門也能提供他們如何提升安全指數的改善建議。
 
最後,這套系統能作為消防部門決策的依據,根據風險高低制定救災優先順序。風險最高的地區需要最短的救災反應時間。同時,災害風險地圖也能協助指揮救災資源的配置。
 
不過,一切才剛開始,防災地圖未來有十足的發展可能性。比如說,未來消防車上將配置能顯示技術資訊與風險資料的螢幕,從社群媒體上取得資料也是考慮中的方案。
 
目前消防部門碰上所有推動防災工作的人都會遭遇的問題:他們無法證明火災發生次數的下降是否為災害風險地圖的功勞,某些「原本」應該付之一炬的建築,是否因為這份地圖而被拯救。或許只有透過長期的追蹤,這份火災的風險地圖才能在持續下降的數據當中,展現它的價值。

(本文由科技部補助「新媒體科普傳播實作計畫─重大天然災害之防救災科普知識教育推廣」執行團隊撰稿/2014年/3月)
 
責任編輯:鄭國威│元智大學資訊社會研究所

本文原發表於行政院科技部-科技大觀園「科技新知」。歡迎大家到科技大觀園的網站看更多精彩又紮實的科學資訊,也有臉書喔!

延伸學習:

0

0
0

文字

分享

0
0
0
【Gene思書齋】精準預測的訊號與雜訊
Gene Ng_96
・2013/12/09 ・978字 ・閱讀時間約 2 分鐘 ・SR值 494 ・六年級

-----廣告,請繼續往下閱讀-----

精準預測:如何從巨量雜訊中,看出重要的訊息?The Signal and the Noise: Why So Many Predictions Fail—but Some Don’t

 

《精準預測:如何從巨量雜訊中,看出重要的訊息?》The Signal and the Noise: Why So Many Predictions Fail—but Some Don’t)是一本非常值得期待的好書,Amazon.com就把《精準預測》評選為2012年最佳非文字書籍第一名!這不意外,因為Amazon.com就是精準預測顧客品味而稱霸零售業的XD 《精準預測》長居《紐約時報》(The New York Times)和Amazon.com的暢銷排行榜。

以一本談統計和預測的書而言,《精準預測》暢銷得異常。可是讀了《精準預測》之 後,就完全不意外了,因為《精準預測》真的是本很好看的書!雖然是處女作,不過席佛卻能把統計預測這看似乏味的事,解說成是世界上最有趣的玩意兒之一!他 對統計預測在經濟學、政治學、氣候學、地震學、流行病學、電腦科技、棒球、德州撲克、體育賭博等等領域,都有獨到和精闢的見解,讀這本《精準預測》是一趟樂趣無窮的知性之旅!

討論大數據的書開始變多,所以有了大數據,我們對這個世界的各方面,就能做出更好的預測嗎?各行各業和各學門,是否都要擁抱大數據呢?《大數據》(Big Data: A Revolution That Will Transform How We Live, Work, and Think)告訴我們,在大數據時代,可以不必在乎因果的問題,還有不擔心雜訊(請參見〈快準狠的大數據(Big Data)〉)。

可是預測天才奈特.席佛(Nate Silver)卻在《精準預測》指 出,其實關鍵還是人的解讀,不是純粹的數字而已。而最難預測之處在於,我們要懂得分辨出哪些是無意義的雜訊,哪些才是關鍵的訊號。如果誤把雜訊當訊號,做 出來的預測,不管用的數據有多龐大,都不會準確,而且嚴重的謬誤與損失還會迎面而來!數據導向的預測會成功也會失誤,數據並非多就是美,要求更多數據之 際,人更應該自我要求模型的正確。

-----廣告,請繼續往下閱讀-----

席佛是美國當代知名的統計與預測鬼才。據說他從小就對數字與思考展現興趣與天分,六歲便開始預測棒球賽事。他進入芝加哥大學主修經濟學,並在大三前往倫敦 政經學院研修一年。大學畢業後,進入安侯建業事務所(KPMG)擔任顧問。在安侯建業雖然他有一份穩定高薪的工作,可是卻不是他真正想要的。

 

閱讀全文:

精準預測的訊號與雜訊

Gene Ng_96
295 篇文章 ・ 30 位粉絲
來自馬來西亞,畢業於台灣國立清華大學生命科學系學士暨碩士班,以及美國加州大學戴維斯分校(University of California at Davis)遺傳學博士班,從事果蠅演化遺傳學研究。曾於台灣中央研究院生物多樣性研究中心擔任博士後研究員,現任教於國立清華大學分子與細胞生物學研究所,從事鳥類的演化遺傳學、基因體學及演化發育生物學研究。過去曾長期擔任中文科學新聞網站「科景」(Sciscape.org)總編輯,現任台大科教中心CASE特約寫手Readmoo部落格【GENE思書軒】關鍵評論網專欄作家;個人部落格:The Sky of Gene;臉書粉絲頁:GENE思書齋