隨著機器學習(machine learning)技術的進步,我們能透過聲波的特徵將音樂分門別類,甚至找出一首歌的原唱是誰也早已不是什麼難事。
綜觀人類在音樂上的發展,應該不難發現,音樂是一門與舞蹈密切相關的藝術領域,也是舞蹈創作相當重要的元素之一。
如果我們已經可以用人工智慧分類音樂,那麼舞蹈是不是也能
走上這條不歸路?
音樂風格,決定你舞動的姿態!
音樂世界之大,存在各式各樣的風格與流派,人們可以透過節拍、配器、音色甚至氛圍來分辨華爾滋、巴薩諾瓦、倫巴、民謠、搖滾樂、迪斯可和電子樂等不同的音樂風格,並產生不同的身體律動。
萊莎菲爾(Micheline Lesaffre)等人於 2008 年的研究指出,多數人會以某種運動來詮釋自己所聽到的音樂,簡單如拍手或用腳打節拍,複雜一點,還可以根據音樂的不同跳著各種華麗的舞蹈。[1]
此外,過去幾項研究發現,音樂裡的所摻雜的各種聲音特質,也會造成自然的肢體動作大小與型態有所不同,例如,大鼓音量會影響舞者動作的程度與節奏[2],而貝斯與吉他在高低頻上的走勢與節奏型態,也和人們跳舞時頭部的旋轉速度、手伸展的距離、肩膀擺動的幅度等動作有關[3]。
但是,這件事情並非全然與音樂的本質或生理因素有關,部分曲風或作品也會受到特殊文化或特定事件影響,而有不同的⋯⋯儀式化行為(X)!像是當人們聽到爵士樂時會不自覺地跳起搖擺舞(swing dancing),或在金屬搖滾樂現場熱血地在大肆衝撞。
更近一點的例子是荷蘭電音二人組 Vicetone 的爆紅單曲 Astronomia,聽到這首歌,你大概只會想著要跳黑人抬棺舞(Coffin Dance),才不會有自然舞動這種事咧!
隨音樂起舞的身心理過程
我們從聽到音樂刺激的輸入(input),到手舞足蹈的輸出(output),絕對少不了腦神經的各項指揮與指令傳輸。
然而,音樂畢竟是充滿感情的產物,這種「一個指令、一個動作」的說法,似乎還是不足以回答「人們為何會自然而然地隨著音樂起舞」這個問題。
心理學中有一派的說法是,大腦並非決定認知的唯一器官,身體本身的感知與經驗,也會影響認知的判斷結果與行動,即所謂的體現認知(embodied cognition)[4]。
- 想要了解更多「體現認知」?延伸閱讀:先來點熱的,再調情
舉例來說,當你手裡拿著一杯熱飲時,你可能會覺得眼前的人十分溫暖,換句話說,在描繪眼前景象的當下,身體其實也參了一咖。
人們對音樂的體驗也是如此。
比利時根特大學(Ghent University)系統音樂學(systematic musicology)教授萊曼(Marc Leman)曾於 2008 年發表《體現音樂認知與冥想技術》(Embodied music cognition and mediation technology)[5]一書。
其中,針對音樂的體現認知,萊曼教授大致上的定義是:聽眾接收變化萬千的聲音形式後,透過內心、肢體或任何可行的方式分析與模仿,由此可知,當我們隨著音樂不自主地擺弄身軀時,也符合這樣的概念。
比起分析曲風,演算法更擅長分辨舞者本人
既然音樂與肢體動作間蘊藏著某種關聯性,如果今天某個人戴著耳機,自顧自地跳著舞,我們是否也能透過人工智慧(artifitial intelligence, AI),從舞者的動作型態分析他正在聽什麼樣的音樂?
芬蘭于韋斯屈萊大學(Jyväskylän yliopisto)跨域音樂研究中心團隊找來 73 名受試者,讓他們隨著藍調、鄉村、電子舞曲、爵士、金屬、流行、雷鬼以及饒舌等八個曲風自然擺動身體,並以好萊塢等級的動作捕捉技術(motion capture technology)搭配機器學習(machine learning)分析,試圖從人們的動作區分出舞蹈背後的音樂風格。[6]
研究結果顯示,雖然難以透過機器學習區分舞者搭配的音樂風格,但卻能分析出是誰在跳舞!
他們發現,當受試者在熱舞的時候,對於「肢體動作所對應的曲風」,演算法可準確分辨的時間不到三成,反而有將近 94% 的時間卻能判斷「是誰在跳舞」。
對此,研究協同作者兼資料分析師薩里(Pasi Saari)表示,舞蹈就像是人的另一副「指紋」,即便他們聽到的音樂不同,卻仍能保持著獨特的動作特徵。[7]
去(2020)年年初,研究團隊將這份研究結果發表於《新音樂研究期刊》(Journal of New Music Research),隨後獲選為計量學(Altmetrics)的 2020 年百大研究,排名 92。
舞步辨識大未來,有可能發生嗎?
等等,這是否意味著,如同手機上的指紋或臉部辨識,「舞蹈動作辨識系統」也將應運而生?
想像一下,人們站在手機面前大跳熱舞,只為了解鎖裝置,這個功能好像有點荒謬 XD
即便這個發現可能開啟生物辨識的另一種可能性,但可惜的是,卡爾森與團隊可能對於非音樂性的知識探討興趣缺缺,反倒比較想深入探討一些很根本的問題,包括:舞蹈模式是否會在生命週期裡發生改變、舞蹈動作的分析是否能找出文化之間的微妙差異,以及人們評鑑舞蹈動作的方式與電腦有何不同。
雖然卡爾森並不打算藉此探索「舞蹈辨識」的未來,但不妨我們自己腦洞大開——假如有一天,這類「舞蹈辨識技術」發達到足以開發更實際的應用,也許我們會創造出到處都在 battle 的世界吧?XDDD
參考文獻
- Lesaffre, M., Voogdt, L. D., Leman, M., Baets, B. D., Meyer, H. D., & Martens, J. P. (2008). How potential users of music search and retrieval systems describe the semantic quality of music. Journal of the American Society for Information Science and Technology, 59(5), 695-707.
- Van Dyck, E., Moelants, D., Demey, M., Deweppe, A., Coussement, P., & Leman, M. (2012). The impact of the bass drum on human dance movement. Music Perception: An Interdisciplinary Journal, 30(4), 349-359.
- Burger, B., Thompson, M. R., Luck, G., Saarikallio, S., & Toiviainen, P. (2013). Influences of rhythm-and timbre-related musical features on characteristics of music-induced movement. Frontiers in psychology, 4, 183.
- Embodied cognition – Wikipedia
- Embodied Music Cognition and Mediation Technology – Marc Leman, Research Professor and Head of the Department of Musicology Marc Leman – Google Books
- Carlson, E., Saari, P., Burger, B., & Toiviainen, P. (2020). Dance to your own drum: Identification of musical genre and individual dancer from motion capture using machine learning. Journal of New Music Research, 49(2), 162-177.