又一個黑科技:由腦神經訊號直接轉譯出合成語音,成真啦!

上周(4月24日)剛出爐,熱騰騰的「 Nature 」,有一篇論文「 Speech synthesis from neural decoding of spoken sentences 」(利用神經解碼技術對整句口語的語音合成),是由加州大學舊金山分校神經外科系的  Edward F. Chang  領導的研究團隊所發表。

在腦部植入電極,就可以讀出語音了?圖/pixabay

心領神會不是神話?

研究團隊與腦袋裡已經為了治療癲癇而植入電極陣列的病人合作,讓他們講數以百計的句子,利用植入的電極紀錄腦部活動,將句子的內容、說這些句子時發音器官(舌頭、嘴唇、下顎等)的運動模式、以及對應的大腦電訊號的紀錄,作為遞迴神經網路( recurrent neural network )的訓練資料集,然後讓受試者在心中默唸句子,再將此時記錄到的腦波輸入訓練好的神經網路。神經網路的不是直接輸出句子,而是由腦訊號先轉成「發音器官的運動」,再以這些器官的動作模擬出合成語音。

測試結果顯示,聽了 101 句由腦波直接轉譯的句子,測試者可以分辨出 70% 左右。

植入大腦中的電極陣列。圖/Nature News

物理學家史蒂芬‧霍金,因罹患漸凍人症,做了氣切手術無法說話,所以得靠語音輔助系統與別人溝通,必須一個字母一個字母輸入,然後合成語音,這種方式講話超慢,大約每分鐘只能講十個字,本研究可以達到正常講話的速度,每分鐘約 150 個字。

因罹患漸凍人症,而必須依靠語音輔助系統才能表達的霍金。圖/wiki

過去類似的技術只能轉譯一個一個的單字,這次能夠說出整個句子,是技術上的一大突破。由於人工智慧輸出的不是變化繁複之極的人類語言,而是相對單純的發音運動,所以不需要太大的訓練資料集。

  • 你聽懂了嗎?由腦波轉譯的語音檔。音源:Nature News Credit: Chang lab, UCSF Dept. of Neurosurgery

鋼彈故事中的科技逐漸成真

鋼彈世界裡面的兩大不可思議黑科技:「米諾夫斯基粒子」,與能夠讀取駕駛員腦波,並增幅直接操控機體的「精神感應框體 Psycho Frame 」。上回講了米諾夫斯基核融合爐(只是內容物不含米諾夫斯基粒子);今天的報導告訴我們,距離製造出 Psycho Frame 與「強化人間」的日子又接近了一步!

獨角獸鋼彈Psycho Frame的暴走,不過這已經是超自然現象了,不是一般的Psycho Frame。圖/Sunrise, BANDAI
。

只是想起來有點恐怖的是,以前拷問俘虜的時候用的是嚴刑拷打與自白劑,有了這個技術,只要電極一接,腦袋裡想什麼就可以直接讀取,根本就是反烏托邦世界……

什麼?跟物理學無關?以電極讀取神經電訊號的神經電生理學、由發音器官運動模擬聲音的聲學,當然都是物理學啊!超有關的好不好!

資料來源

 

  • 本文轉載自東海大學應用物理系粉絲頁,歡迎追蹤!

921 地震 20 週年活動

距離 921 大地震發生已經過了 20 年,時間漸漸走過,傷口慢慢癒合,但地震、颱風甚至是極端氣候等天災對我們的侵襲依然無可避免。那麼我們已經學會如何和天災共處了嗎?

2019/9/21 當天,來和震識副總編輯阿樹、救災經驗豐富的消防員宗翰,一起聊聊震災的相關研究和應變方法!免費報名傳送門:https://lihi1.com/AksNA


如何準確投資自己,才能因應新世代的數位挑戰? 各行各業都力拼「數位轉型」,你也準備好自己的「數位力」迎擊了嗎?

泛科學院特別精選 12 堂職場必備數位技能線上課程,從 GA、試算表到聊天機器人,不論是在職進修還是為轉職提前做準備,泛科學院陪你一起練功! 9/30 前泛科選課九折再送課 👉 選課這邊走

關於作者

活躍星系核

活躍星系核(active galactic nucleus, AGN)是一類中央核區活動性很強的河外星系。這些星系比普通星系活躍,在從無線電波到伽瑪射線的全波段裡都發出很強的電磁輻射。 本帳號發表來自各方的投稿。附有資料出處的科學好文,都歡迎你來投稿喔。 Email: contact@pansci.asia

網站更新隱私權聲明
本網站使用 cookie 及其他相關技術分析以確保使用者獲得最佳體驗,通過我們的網站,您確認並同意本網站的隱私權政策更新,了解最新隱私權政策