分享本文至 E-mail 信箱
學術引用格式
MLA
APA
EndNote(.enw)

Google與詞義辨識的人工智能化

2011/02/09 | 未分類 |

Original publish date:Feb 12, 2005

編輯 HCC 報導

以Google搜尋不同字詞同時出現在同一網頁的頻率來定義字詞間的關聯性,人工智能或許能夠開始了解字詞的義意。

對文字工作者而言,無論是寫作或譯述,Google已經是不可或缺的重要工作利器了,比方說在翻譯一個陌生的英文字詞時,許多人都會將想要轉譯的字詞google幾次(“to google”已經變成一個動詞了),然後從搜尋到的千百筆資料中,研判哪個中文意思最接近。例如我壓根兒不知“fluorescence microscopy”是啥意,於是把fluorescence microscopy”丟入Google,google出了好多筆資料都提到螢光顯微鏡,而且出現的頻率很高,於是很篤定的認為“fluorescence microscopy”就是螢光顯微鏡。所以許多人除了以Google搜尋資料之外,亦以Google進行文字意義的處理與辨識。

一個字詞的意義經常能從其他與它並用的字眼而獲得,例如"rider"這個英文字,經常與"horse" 以及"saddle"一道出現,所以從horse、saddle、rider此些字眼的關聯性可以推測出rider的意思了,於是八九不離十,rider和馬、馬鞍有關。當然企圖從上千萬的字詞關係析出其意義,需要一個龐大、詳盡的資料庫,否則怎知rider 與horse、saddle 一起出現的頻率很高,thanks god,我們有一個現成且免費的Google。

荷蘭阿姆斯特丹數學與電腦科學學院的Paul Vitanyi與Rudi Cilibrasi發現Google搜尋引擎能用來檢測兩個字詞之間的關聯性,例如電腦想要知道“hat”為啥,首先得建立一個字詞樹狀結構,亦即一個足以顯現字詞之間關聯性的資料庫,此種樹狀結構資料庫可以從任兩個字詞開始,去了解其間的關聯性,例如於google鍵入hat與head此兩個字詞,幾乎可以搜尋到8,800,000筆資料,不過若鍵入hat與banana此兩個字詞,則僅有576,000筆資料,很明顯的,hat與head之間的關聯性較hat與banana為強。

為了要量測其關聯性,Vitanyi 與Cilibrasi基於搜尋到的資料筆數發展了一種統計指標,能顯示一對字詞之間的邏輯距離,並稱之為正常化的Google距離(normalized Google distance, NGD),NGD越低,兩個字詞之間的關聯性越緊密。對許多的字詞對(pairs of words)重複上述統計過程,即可能建立字詞對之間的關聯性距離圖譜,顯示此些字詞之間的關聯性,電腦由此即能推測出某個字詞的意義。Vitanyi.認為此即電腦的字詞意義萃取機制,能讓電腦辨識字詞。研究人員根據其在Google搜尋到的資料筆數與出現頻率,已經能利用電腦辨識出顏色、數字與不同宗教等字詞的意義。

參考來源:

本文版權聲明與轉載授權資訊:

  • [Feb 09, 2008] 預測大選結果與股票價格的網路工具
  • [Nov 11, 2006] Google 的統計式機器翻譯名列前茅
  • [Jul 13, 2002] 字跟字的距離
  • [Jul 13, 2002] 字跟字的距離
  • [Jul 13, 2002] 字跟字的距離

     

    您最近是不是也有以下的感受?

    1.各類議題中的科學及專業知識日益複雜,想懂實在太難。

    2.資訊爆炸、真假難辨、覺得無所適從,甚至想不聽不看。

    3.擔心身邊的人受偽科學與謠言所誤,但不知道該怎麼辦。

    這時候你需要「科學思辨力」幫助你,建立自己的邏輯、跨過複雜議題討論的門檻、提升資訊選擇、處理與溝通的能力。

    用 12 堂課讓你成為更能面對未來變化的公民吧!

    課程內容詳見:《科學思辨力》

    泛科學總編輯鄭國威招牌課程再度開課,面對面傳授閱讀理解、科普寫作到內容行銷的心法,幫助你打造個人品牌。

    慶祝泛科學院周年慶,快來領取專屬優惠,現在購買課程還有機會抽中 $1,111 折價券喔!課程傳送門請點我

  • 關於作者

    科景

    Sciscape成立於1999年4月,為一非營利的專業科學新聞網站。

    網站更新隱私權聲明
    本網站使用 cookie 及其他相關技術分析以確保使用者獲得最佳體驗,通過我們的網站,您確認並同意本網站的隱私權政策更新,了解最新隱私權政策