是誰在跳舞,電腦掐指一算就知道!

隨著機器學習(machine learning)技術的進步,我們能透過聲波的特徵將音樂分門別類,甚至找出一首歌的原唱是誰也早已不是什麼難事。

綜觀人類在音樂上的發展,應該不難發現,音樂是一門與舞蹈密切相關的藝術領域,也是舞蹈創作相當重要的元素之一。

如果我們已經可以用人工智慧分類音樂,那麼舞蹈是不是也能走上這條不歸路

音樂風格,決定你舞動的姿態!

音樂世界之大,存在各式各樣的風格與流派,人們可以透過節拍、配器、音色甚至氛圍來分辨華爾滋、巴薩諾瓦、倫巴、民謠、搖滾樂、迪斯可和電子樂等不同的音樂風格,並產生不同的身體律動。

萊莎菲爾(Micheline Lesaffre)等人於 2008 年的研究指出,多數人會以某種運動來詮釋自己所聽到的音樂,簡單如拍手或用腳打節拍,複雜一點,還可以根據音樂的不同跳著各種華麗的舞蹈。[1]

-----廣告,請繼續往下閱讀-----
我們聽到不同的音樂時,通常會演繹出不同風格的舞蹈。圖/Giphy

此外,過去幾項研究發現,音樂裡的所摻雜的各種聲音特質,也會造成自然的肢體動作大小與型態有所不同,例如,大鼓音量會影響舞者動作的程度與節奏[2],而貝斯與吉他在高低頻上的走勢與節奏型態,也和人們跳舞時頭部的旋轉速度、手伸展的距離、肩膀擺動的幅度等動作有關[3]

但是,這件事情並非全然與音樂的本質或生理因素有關,部分曲風或作品也會受到特殊文化或特定事件影響,而有不同的⋯⋯儀式化行為(X)!像是當人們聽到爵士樂時會不自覺地跳起搖擺舞(swing dancing),或在金屬搖滾樂現場熱血地在大肆衝撞。

更近一點的例子是荷蘭電音二人組 Vicetone 的爆紅單曲 Astronomia,聽到這首歌,你大概只會想著要跳黑人抬棺舞(Coffin Dance),才不會有自然舞動這種事咧!

2020年4月,抬棺舞(Coffin Dance)在全球爆紅,成為盛極一時的網路迷因。影/DigiNeko

隨音樂起舞的身心理過程

我們從聽到音樂刺激的輸入(input),到手舞足蹈的輸出(output),絕對少不了腦神經的各項指揮與指令傳輸。

-----廣告,請繼續往下閱讀-----

然而,音樂畢竟是充滿感情的產物,這種「一個指令、一個動作」的說法,似乎還是不足以回答「人們為何會自然而然地隨著音樂起舞」這個問題。

心理學中有一派的說法是,大腦並非決定認知的唯一器官,身體本身的感知與經驗,也會影響認知的判斷結果與行動,即所謂的體現認知(embodied cognition)[4]

舉例來說,當你手裡拿著一杯熱飲時,你可能會覺得眼前的人十分溫暖,換句話說,在描繪眼前景象的當下,身體其實也參了一咖。

曾有文獻指出,比起手握冰咖啡,當我們拿著熱咖啡時,比較容易覺得眼前的人讓人感到溫暖。圖/Pixabay

人們對音樂的體驗也是如此。

比利時根特大學(Ghent University)系統音樂學(systematic musicology)教授萊曼(Marc Leman)曾於 2008 年發表《體現音樂認知與冥想技術》(Embodied music cognition and mediation technology[5]一書。

-----廣告,請繼續往下閱讀-----

其中,針對音樂的體現認知,萊曼教授大致上的定義是:聽眾接收變化萬千的聲音形式後,透過內心、肢體或任何可行的方式分析與模仿,由此可知,當我們隨著音樂不自主地擺弄身軀時,也符合這樣的概念。

比起分析曲風,演算法更擅長分辨舞者本人

既然音樂與肢體動作間蘊藏著某種關聯性,如果今天某個人戴著耳機,自顧自地跳著舞,我們是否也能透過人工智慧(artifitial intelligence, AI),從舞者的動作型態分析他正在聽什麼樣的音樂?

芬蘭于韋斯屈萊大學(Jyväskylän yliopisto)跨域音樂研究中心團隊找來 73 名受試者,讓他們隨著藍調、鄉村、電子舞曲、爵士、金屬、流行、雷鬼以及饒舌等八個曲風自然擺動身體,並以好萊塢等級的動作捕捉技術(motion capture technology)搭配機器學習(machine learning)分析,試圖從人們的動作區分出舞蹈背後的音樂風格。[6]

研究結果顯示,雖然難以透過機器學習區分舞者搭配的音樂風格,但卻能分析出是誰在跳舞!

他們發現,當受試者在熱舞的時候,對於「肢體動作所對應的曲風」,演算法可準確分辨的時間不到三成,反而有將近 94% 的時間卻能判斷「是誰在跳舞」。

-----廣告,請繼續往下閱讀-----
比起舞蹈背後的音樂,演算法分析結果指出,不同人之間的舞蹈動作可能更加獨特而明顯。圖/Giphy

對此,研究協同作者兼資料分析師薩里(Pasi Saari)表示,舞蹈就像是人的另一副「指紋」,即便他們聽到的音樂不同,卻仍能保持著獨特的動作特徵。[7]

去(2020)年年初,研究團隊將這份研究結果發表於《新音樂研究期刊》(Journal of New Music Research),隨後獲選為計量學(Altmetrics)的 2020 年百大研究,排名 92。

舞步辨識大未來,有可能發生嗎?

等等,這是否意味著,如同手機上的指紋或臉部辨識,「舞蹈動作辨識系統」也將應運而生?

想像一下,人們站在手機面前大跳熱舞,只為了解鎖裝置,這個功能好像有點荒謬 XD

即便這個發現可能開啟生物辨識的另一種可能性,但可惜的是,卡爾森與團隊可能對於非音樂性的知識探討興趣缺缺,反倒比較想深入探討一些很根本的問題,包括:舞蹈模式是否會在生命週期裡發生改變、舞蹈動作的分析是否能找出文化之間的微妙差異,以及人們評鑑舞蹈動作的方式與電腦有何不同。

-----廣告,請繼續往下閱讀-----

雖然卡爾森並不打算藉此探索「舞蹈辨識」的未來,但不妨我們自己腦洞大開——假如有一天,這類「舞蹈辨識技術」發達到足以開發更實際的應用,也許我們會創造出到處都在 battle 的世界吧?XDDD

參考文獻

  1. Lesaffre, M., Voogdt, L. D., Leman, M., Baets, B. D., Meyer, H. D., & Martens, J. P. (2008). How potential users of music search and retrieval systems describe the semantic quality of music. Journal of the American Society for Information Science and Technology, 59(5), 695-707.
  2. Van Dyck, E., Moelants, D., Demey, M., Deweppe, A., Coussement, P., & Leman, M. (2012). The impact of the bass drum on human dance movement. Music Perception: An Interdisciplinary Journal, 30(4), 349-359.
  3. Burger, B., Thompson, M. R., Luck, G., Saarikallio, S., & Toiviainen, P. (2013). Influences of rhythm-and timbre-related musical features on characteristics of music-induced movement. Frontiers in psychology, 4, 183.
  4. Embodied cognition – Wikipedia
  5. Embodied Music Cognition and Mediation Technology – Marc Leman, Research Professor and Head of the Department of Musicology Marc Leman – Google Books
  6. Carlson, E., Saari, P., Burger, B., & Toiviainen, P. (2020). Dance to your own drum: Identification of musical genre and individual dancer from motion capture using machine learning. Journal of New Music Research, 49(2), 162-177.
-----廣告,請繼續往下閱讀-----
波留先生 M. Beaulieu

曾當過兩三年的職能治療師,在體力正式走下波前轉戰出版業,現為出版社圖文編輯,並斜槓各式聲音工作。

View Comments

  • 英國有研究團隊研發走路資態辨識系統,據稱可以使用閉路電視的錄像片段辨識身份,解決人面辨識不能使用的情境(例如面部被遮擋或非面對鏡頭)

Recent Posts

哺乳期進補小心踩雷,減重黃金期你掌握了嗎?

產後想恢復體態,中醫調養加上生...

2 天 ago

掉髮、水腫、紅疹⋯全身異狀竟是免疫系統自我攻擊!

即使有充足睡眠仍覺得筋疲力竭,...

6 天 ago

氣喘治療別再等發作才用藥!醫師揭長期控制的關鍵

氣喘不是發作才處理!醫師強調:...

1 週 ago

夜間駕駛變惡夢?長焦段人工水晶體幫你還原暗夜視力

白內障影響視力,特別是夜間光暈...

2 週 ago

善用分析工具 抓出半導體缺陷

半導體製程中的微米至奈米級汙染...

2 週 ago

頭痛、視力模糊別輕忽!可能是腦部淋巴癌警訊

原發性中樞神經系統 B 細胞淋...

2 週 ago