國立交通大學
音樂研究所 音樂科技組
碩士學位論文
肢體動作情緒元素及自動作曲整合系統
The Integration System of Body Movement,
Emotion Elements, and Automated Composition
研究生：羅尹均
指導教授：曾毓忠、黃志方
中華民國一○二年十二月
肢體動作情緒元素及自動作曲整合系統
The Integration System of Body Movement, Emotion Elements,
and Automated Composition
研 究 生：羅尹均
Student：Yin-Chun Lo
指導教授：曾毓忠
Advisor：Yu-Chung Tseng
黃志方 Chih-Fang Huang
國立交通大學
音樂研究所 音樂科技組
碩士論文
A Thesis
Submitted to Institute of Music
College of Humanities and Social Sciences
National Chiao Tung University
In Partial Fulfillment of the Requirements
For the Degree of
Master of Art
(Music Technology)
December 2013
Hsinchu, Taiwan, Republic of China
中華民國一○二年十二月
肢體動作情緒元素及自動作曲整合系統
學生：羅尹均
指導教授：曾毓忠、黃志方
國立交通大學音樂研究所音樂科技組
中文摘要
本論文主要探討肢體動作對應情緒因素產生相對應音樂的互動音樂科技系 統，根據肢體動作的量質化及其蘊含的情緒因素，並透過二維情緒圖解析不同情 緒的基本動機元素，將其對應至音樂的元素，並經由準則自動作曲的邏輯產生具 有情緒的音樂作品。肢體動作的量質化根據「拉邦運動分析(Laban Movement Analysis)」理論， 將人體動作質化為基本的運動形態，再透過運動學的相關研究，將運動形態以運 動學量化。並依照文獻的研究結果，以量化後動作因子與情緒模型產生之情緒基 本動機因子 Arousal 及 Valance 對應，藉以做為情緒音樂之重要參數。情緒音樂 的產生以準則作曲為實現方法，藉由「音級(Pitch Class)」及「馬可夫鏈(Markov Chain)」理論，設計具有隨機性之自動作曲邏輯，經由電腦產生相對應之音樂。 本系統實作方面以 Max/MSP 為程式撰寫平台，透過體感裝置 Kinect 擷取動 作送入程式內，經過 LMA 動作與情緒對應系統、自動作曲系統，進而即時的產 生音樂。 此系統經過問卷實驗，驗證其輸入動作及音樂與情緒的關聯性，結果顯示此 系統對於情緒動作及情緒音樂的整合具有一定程度的可行性。 關鍵字：拉邦運動分析、二維情緒圖、情緒音樂、準則作曲、電腦自動作曲、音 級、馬可夫鏈、互動科技整合
ii
The Integration System of Body Movement, Emotion Elements, and
Automated Composition
Student: Yin-Chun Lo
Advisor：Yu-Chung Tseng, Chih-Fang Huang
Institute of Music
National Chiao Tung University
Abstract
The thesis is about the mutual technological system of producing music with emotional features through physical movement. Based on the qualitative and quantitative analysis of physical movement and its emotional factors, the basic motivational elements will be analyzed through the use of two-dimension emotion diagram. The corresponding musical elements with the conventional auto composing logic will decide the emotional features of the final composition of music.
The qualitative and quantitative aspects of the physical movement are based on Laban Movement Analysis. It describes human action with several basic physical movement aspects and then quantifies them according to the related research on physical movement. According to the results of some literature study, the basic emotional factors Arousal and Valance can be found through quantifying the movement factors. And emotional prototype is the most important parameter in emotional music composition. Through the casually
computer automated composition function, emotional music will be produced with the standard composing theory - the theory of Pitch Class and Markov Chain.
The practical system of the program is based on the Max/MSP. Through the Kinect, the physical movement will be recorded and the data will be run in the program. With LMA's movement and emotion parallel system and auto composition system, the relative music could be produced immediately.
Through the experiment and questionnaire, the relationship between human emotion and physical movement will be shown, and the possibility of connecting human emotion and physical movement will be proved, and emotional music will be produced by the system at the same time.
Key words：Laban Movement Analysis, Two-Dimensional Model of Emotion, Emotional Music, Algorithmic Composition, Computer Automated Composition, Pitch Class, Markov Chain, Interactive Technology Integration.
誌謝
時間過得飛快，不知不覺在交大音樂所已經渡過了第五年，我現在應該也算是音樂 所最老的研究生了吧哈哈… 其實在碩士生涯這段期間，經歷了幾次令我想放棄學業的人生轉折點，從轉戰吉他 教師、作場樂手、玩樂團，到現在加入了回聲樂團，也即將在明年初發新專輯… 但 最後我還是選擇了完成這份學業，無非希望是給自己在音樂路上能有個交代，也希望 在學習音樂的過程有個深刻的里程碑。 在交大的這段時光，真的認識了不少良師益友，還有許多音樂圈的好夥伴，首先我 最要感謝的就是我的 Lab 指導教授黃志方老師，我大概也是在他的 Lab 混最久的學生 了哈哈，感謝黃老師在這段時間的指導與照顧，雖然研三到研四我都處於失蹤狀態， 但老師還是在最後我任性的在最後一學期趕著畢業時給了我最大的幫忙，老師你真的 超nice 的! 再來我要感謝曾毓忠老師，在我研一及研二時修了他許多有趣的課，引導了我對電 子音樂的興趣，雖然現在都在做一些流行音樂的 case，但是有時想起曾老師要我們做 的有趣聲響及電子音樂的曲子，我都希望能有天可以把它應用在流行歌裡哈哈，而且 曾老師對於創作與音樂科技的熱情也常常使我得到激勵，希望我能像老師一樣對音樂 創作永遠都那麼有衝勁！ 最後我要謝謝音樂研究所的同學建榜，聲創學程的毅凡、怡瑩，謝謝你們的幫忙!還 有現在同是音樂路上的哥兒們阿智，我們要一起加油！還有辛苦的學弟妹們：為博、 育賢、偉剛、書寰、還有很多我記不得名字的學弟妹(未來我一定會一一記得你們!)， 謝謝你們的幫忙我才能順利完成研究！還有最後一直被我電話騷擾的音樂所辦瑞紋姐 ，感謝你辛苦了! 謝謝支持我的爸媽和弟弟，我愛你們！謝謝所有支持我的人！ 羅尹均 2013.12.10iv
目錄
目 錄 ... iv 圖 目 錄 ... vii 表 目 錄 ... ix 第 一 章 、 緒 論 ... 1 第 一 節 研究動機 ... 1 第 二 節 背景介紹 ... 1 第 三 節 論文架構 ... 2 第 二 章 、 相 關 研 究 ... 3 第 一 節 肢體動作的量質化 ... 3一、 肢體動作的量化分析研究-拉邦動作分析(Laban Movement Analysis, LMA) ... 3
二、 拉邦動作的定義 ... 3 三、 LMA 分析之 Effort ... 4 四、 LMA 分析之 Shape ... 6 五、 拉邦動作分析與運動學定義 ... 6 六、 拉邦運動模型化 ... 8 七、 二維情緒圖之研究 ... 10 八、 肢體動作與情緒的相關性實驗 ... 11 九、 情緒與音樂的研究 ... 12 第 二 節 準則作曲之研究 ... 16
一、 Pitch Class ... Error! Bookmark not defined. 二、 級數和弦 ... 18
三、 終止式 ... 18
四、 馬可夫鏈理論與機率控制 ... 19
第 一 節 系統架構流程圖 ... 21
第 二 節 動作擷取系統 ... 22
一、 使用 Kinect 擷取即時影像 ... 22
二、 使用 SYNAPSE for Kinect 擷取人體骨架及座標點 ... 22
三、 使用 Kinect Via Synapse 控制 OSC 訊號 ... 23
四、 Laban Movement Analysis Patcher (LMA Patcher) ... 24
五、 LMA 之 Effort 參數實作 ... 24 六、 LMA 之 Shape 參數實作 ... 27 第 三 節 LMA 動作與情緒對應系統 ... 28 一、 情緒模型 ... 28 1. 情緒參數與 LMA 參數的對應 ... 29 第 四 節 自動作曲系統 ... 32 一、 系統架構 ... 33 二、 調性 ... 34 三、 音階 ... 35 四、 級數 ... 37 五、 和弦組成音 ... 38 1. 和弦轉位 ... 38 2. 產生和弦音 ... 39 六、 旋律 ... 41 1. 設定一小節(最多 32beats)為旋律產生之空間 ... 42 2. 依據和弦狀態產生核心音符 ... 42 3. 產生和聲外音(經過音及鄰音) ... 44 4. 音域選擇 ... 45 5. 八度音修正 ... 45 七、 伴奏 ... 47 1. 產生一小節之伴奏空間 ... 48 2. 依照權重值分配音符拍點位置 ... 48 3. 依照權重值調整聲部織度 ... 50 4. 依照權重值調整聲部開離狀況 ... 50
vi
2. 音長 ... 52
3. 力度 ... Error! Bookmark not defined. 4. 音色 ... 53 第 四 章 、 實 驗 與 結 果 分 析 ... 54 第 一 節 實驗架構 ... 54 第 二 節 實驗結果 ... 56 第 三 節 總體樣本統計 ... 62 第 四 節 實驗結果分析與討論 ... 62 第 五 章 、 結 論 與 未 來 研 究 ... 64 第 一 節 結論 ... 64 第 二 節 未來研究 ... 64 參 考 文 獻 ... 66 附 錄 系統重要 Max/MSP 程式片段 ... 68
圖目錄
圖 2-1 近似加速度示意圖 ... 7
圖 2-2 LMA Effort 元素與 a.樂(Happy)、b.怒(Angry)、c.哀(Sad)、d.喜(Polite)之關聯圖 ... 8
圖 2-3 以 Arousal 及 Valance 定義之二維情緒 Circumplex Model ... 10
圖 2-4 LMA 元素與情緒關連性統計 ... 11 圖 2-5 情緒音樂在二維情緒圖之分布 ... 12 圖 2-6 音樂元素與二維情緒元素關聯圖 ... 13 圖 2-7 C 大調馬可夫鍵權重表 ... 20 圖 3-1 肢體與情緒音樂整合系統流程圖 ... 21 圖 3-2 Kinect ... 22 圖 3-3 Synapse 系統示意圖 ... 23
圖 3-4 Kinect via Synapse 示意圖 ... 23
圖 3-5 Laban Movement Analysis Max/MSP Patcher ... 24
圖 3-6 運動參數運算之 Max/MSP Patcher ... 25
圖 3-7 LMA Effort & Shape 系統實作之 Max/MSP Patcher 示意圖 ... 27
圖 3-8 二維情緒模型之 Max/MSP Patcher 截圖 ... 28
圖 3-9 元素對應二維情緒元素(Arousal、Valance)之 Max/MSP 程式截圖 1 ... 31
圖 3-10 LMA 元素對應二維情緒元素(Arousal、Valance)之 Max/MSP 程式截圖 2 ... 31
圖 3-11 自動作曲系統流程圖 ... 33 圖 3-12 調性控制之 Max/MSP 程式截圖 ... 34 圖 3-13 音階產生之 Max/MSP 程式截圖 ... 35 圖 3-14 級數馬可夫鏈之 Max/MSP 程式截圖 ... 37 圖 3-15 和弦產生之 Max/MSP 程式截圖 ... 39 圖 3-16 和弦音八度修正之 Max/MSP 程式截圖 ... 40 圖 3-17 旋律產生流程圖 ... 41 圖 3-18 一小節音符空間示意圖 ... 42 圖 3-19 產生核心音符(Valance 高) ... 42 圖 3-20 產生核心音符(Valance 低) ... 42 圖 3-21 核心音符權重值之 Max/MSP 程式截圖 ... 43 圖 3-22 和聲外音判斷準則 ... 44
viii 圖 3-27 旋律八度音修正後之示意圖 ... 46 圖 3-28 伴奏產生流程圖 ... 47 圖 3-29 產生節奏空間示意圖 ... 48 圖 3-30 伴奏產生示意圖(Arousal 大) ... 48 圖 3-31 伴奏產生示意圖(Arousal 小) ... 48 圖 3-32 伴奏產生示意圖(Valance 大) ... 49 圖 3-33 伴奏產生示意圖(Valance 小) ... 49 圖 3-34 聲部開離示意圖(Arousal 大) ... 50 圖 3-35 聲部開離示意圖(Arousal 小) ... 50 圖 3-36 伴奏傾向三和弦之示意圖(Valance 小) ... 51 圖 3-37 伴奏傾向七和弦之示意圖(Valance 大) ... 51 圖 4-1 音樂及舞蹈背景知識調查統計圖 ... 55 圖 4-2 受試者對於舞者做出開心狀態(Happy)動作時的認同分數統計圖 ... 56 圖 4-3 受試者對於情緒音樂在開心狀態(Happy)時的認同分數統計圖 ... 56 圖 4-4 受試者對於開心(Happy)情緒動作與音樂的相關性之認同分數統計圖 ... 57 圖 4-5 受試者對於舞者做出難過狀態(Sad)動作時的認同分數統計圖 ... 57 圖 4-6 受試者對於情緒音樂在難過狀態(Sad)時的認同分數統計圖 ... 58 圖 4-7 受試者對於難過(Sad)情緒動作與音樂的相關性之認同分數統計圖 ... 58 圖 4-8 受試者對於舞者做出憤怒狀態(Angry)動作時的認同分數統計圖 ... 59 圖 4-9 受試者對於情緒音樂在憤怒狀態(Angry)時的認同分數統計圖 ... 59 圖 4-10 受試者對於憤怒(Angry)情緒動作與音樂的相關性之認同分數統計圖 ... 60 圖 4-11 受試者對於舞者做出愉悅狀態(Polite)動作時的認同分數統計圖 ... 60 圖 4-12 受試者對於情緒音樂在愉悅狀態(Polite)時的認同分數統計圖 ... 61 圖 4-13 受試者對於愉悅(Polite)情緒動作與音樂的相關性之認同分數統計圖 ... 61
表目錄
表 2-1 拉邦運動分析 Effort 釋義表 ... 5 表 2-2 拉邦動作分析 Shape 釋義表 ... 6 表 2-3 動作元素及量化描述表 ... 9 表 2-4 Arousal、Valance 與音樂參數對應表 ... 15 表 2-5 Pitch Class 表 ... 17 表 2-6 Pitch Class 音程表 ... 17 表 2-7 級數和弦表 ... 18 表 3-1 運動參數表 ... 25 表 3-2 拉邦運動分析(LMA)之 Effort 元素與運動參數關聯表 ... 26 表 3-3 拉邦運動分析(LMA)之 Shape 元素與運動參數關聯表 ... 27 表 3-4 二維情緒與 LMA 之 Effort 對應表 ... 29 表 3-5 二維情緒與 LMA 之 Shape 對應表 ... 30 表 3-6 LMA 元素與二維情緒元素關聯表 ... 30 表 3-7 調性狀態表 ... 34 表 3-8 系統預設產生音階表 ... 35 表 3-9 音階產生表 ... 36 表 3-10 調性為 C 之音階產生表 ... 36 表 3-11 系統產生級數和弦表 ... 38 表 3-12 和弦轉位表 ... 38 表 3-13 Arousal、Valance 與伴奏氛圍關系表 ... 49 表 3-14 Arousal、Valance 與聲部織度關系表 ... 50 表 3-15 Arousal、Valance 與其他音樂參數關聯表 ... 52 表 4-1 總體樣本統計表* ... 62
1
第一章、緒論
第一節
研究動機
電腦自動作曲的研究已行之有年，產生音樂元素的演算法也漸趨縝密，但大多數的 自動作曲系統，在資訊輸入端需透過手動調整音樂元素的比例，(例如輸入調性的走向 、和聲的織度範圍、節奏的形態等等)，或是採用自動分析風格性音樂作品，進而自動 產生相似風格之樂曲。以上常見的自動作曲系統，其輸入的因素皆為音樂性質的資訊 及以音樂性的描述語彙，而音樂以外的認知與情感資訊，是否能成為自動作曲系統的 輸入參數，或是透過跨領域的資訊與自動作曲系統的整合，能夠帶來更多音樂創造的 可能性，這正是本研究所要探討的重點。 音樂及舞蹈同樣為人類與身俱來的能力，在一定程度上也扮演著抒發個人情感的媒 介，而「情感」是否能夠成為音樂及肢體語言間共通的參數，將音樂中的不同的旋律 、節奏、和聲等元素分析其不同情感的界定，與舞蹈中不同的肢體動作所隱含的情緒 因子相對應，進而整合出「由具情緒的肢體動作產生其相對應的情緒音樂」，本研究 的目的即是具體的建立此自動作曲的系統。第二節
背景介紹
互動科技的核心隨著電腦運算技術的日新月異，電腦多媒體的處理技術，以及跨媒 體的整合系統也漸趨成熟，而透過軟硬體的全面進化，我們在面對資訊的輸入端，已 漸漸由鍵盤、滑鼠等傳統的介面，演變成透過各種基於人因工程層面的感測器(sensor) ，而使得在互動科技上具有無限的可能性。在坊間有許多互動科技的軟硬體已商業化 量產，證明此概念與技術與現今電腦資訊處理能力間整合的可靠性及應用程度已到達 成熟的階段。 面對不同層面的資訊，要將其連結並整合，首要目標即是分析及量化資訊，例如家 用遊戲機 wii 的輸入端，即是利用使用者手上感測器的陀螺儀，即時送出因動作產生 的三維的加速度向量至主機，使我們能夠靠手部動作直接控制遊戲內的操作，而不需 透過傳統的按鈕控制。在人因層面上，直接由人體所產生的身體訊號，例如肢體動作 、口語、抑或是生理資訊如腦波、心跳、體溫等，若能將其分析及量化，而成為資訊 輸入的控制元素，對於互動科技系統的設計，將會更直接的貼近人性需求。而在音樂 創作的層面來看，從古典時期莫扎特曾以擲骰子決定音樂譜寫的走向，使得「準則作曲」、「機遇作曲」等音樂創作手法應運而生，透過作曲家賦予的邏輯，產生具一定 自由度的隨機音樂，也是音樂創作上極富未知性及挑戰性的藝術創作實驗。透過現代 電腦科技，上述作曲手法如今已可程式化、自動化，而衍生出「自動作曲」「電腦作 曲」等等實現手段，而以電腦多媒體為創作工具的情況下，我們也能夠因此開發出新 的音樂創作材料，透過多媒體的輸入環境將其應用於創作上。 在音樂的創作中，「情感」一直已來都扮演著大部份作曲家及作品與其鑑賞者間溝 通的橋樑，而對於歷年來心理學的研究，人類的情感因素(或稱情感因子)，已逐經由 實驗而有具體的歸納方法，透過量化後的情感因素，能否跨越音樂文法，直接地成為 音樂創作的輸入元素，而使我們能夠直接地使用情緒產生相對應的音樂，這也是近年 來在自動作曲領域上受到關注的一大議題。
第三節
論文架構
本論文以互動科技及自動作曲系統整合研究為主要架構，文獻探討的前半部份以過 去的肢體量化研究及對於人類情緒的關聯性加以闡述，後半部份是情緒與音樂元素對 應的相關研究，以及自動作曲概念的說明，研究方法是以具體建構出一套能夠偵測肢 體動作及分析動作內蘊含情緒狀態並產生相對應之情緒音樂的即時互動科技系統。應 用體感裝置(Kinect)即時量測肢體動作在運動學上的參數，並將其對應至情緒模型，再 從情緒模型中的本質參數送入即時自動作曲系統(Max/MSP)，使其產生適合的情緒音 樂。實驗部份是透過舞者依照情緒模型所定義的四象限情緒(喜怒哀樂)分別輸入動作 ，並將其產生的情緒音樂與動作間做關聯性的評測，藉以驗證系統的有效性。3
第二章、相關研究
第一節
肢體動作的量質化
根據研究我們可以得知，人類在身體動作的傳達可以用動作的量化及質化來區分， 在動作的量化中我們能知道什麼部位做了什麼事，而動作質化的研究中我們能知道該 部位是如何執行動作，以及動作所傳達的意涵1。 而 在 人 類 情 感 的 研 究 中 ， 第 一 個 現 代 科 學 的 研 究 是 笛 卡 爾 的 “ 情 緒 ” (Descrates1649)，其中笛卡爾在方法論上所描述的所有可能的情感。情緒可以被看作 是心理狀態直接導致從生理活動，並體現在各個方面的人類行為。情緒會影響面部表 情，語調的聲音，肢體表情，手勢和運動和各種生理參數。而這些參數經由人類社會 的評斷，漸漸地成為人類共通的訊息傳遞方式2。 而在前人對於肢體與情感互動科技系統的整合研究，我們可將其整理成下列幾點：一、 肢體動作的量化分析研究
-拉邦動作分析(Laban Movement
Analysis, LMA)
1928 年德國舞蹈家魯道夫‧拉邦在《動作的言語》(The Language of Movement)一書 中提到「在一連串自然的動力組合之中，包含了內在的心理狀態」。而他的學生當初 為了加強傳統舞譜之不足，發明了拉邦動作分析系統，傳統的舞譜只記錄時間與步伐 ，為了彌補其不足，進而更深入的加入時間、空間與量化的方式記錄身體動作。3
二、 拉邦動作的定義
拉邦認為動作應該將三個層面做探討： 1古名伸、陳瑤，〈身體動作質地數位化分析新解 — 「三之一從數位化角度看身體動作質地」〉，《美 育》162，70-‐73 (2008)。2 Avi Barliya etc al., “Expression of Emotion in the Kinematics of Locomotion. ” Experimental Brain
Research, Volume 225, Issue 2: 159-176 (2013),
l 根基性：動作必須以深層處為出發點，不單指動作的外觀，應將焦點著重於深 層的肌肉或關節為啟動點。 l 整體性：應將間斷或不連續的動作串聯，從內而外，由外至內整合為一體，以 達到時間與空間中身體肢段的合諧性(harmony)。 l 功能性：動作在各領域所代表的功能不盡相同，所表達的方式也不一樣，依照 專家學者的見解與研究目的，無法將動作做出合理的區別，不論從事什麼樣子 的動作，動作本身還是有其可分辨的外觀與本質。並將人的肢體動作分為「 Effort(勁力)」、「Shape(動作外型)」、「Space(空間關系)」這三種分析條件， 以下列舉與本研究相關之前兩項分析條件：
三、
LMA 分析之 Effort
以「Effort」分析條件來說，拉邦動作分析將其以四種運動狀態，各運動狀態又以兩 個相對的形容詞加以描述：5 表 2-1 拉邦運動分析 Effort 釋義表 資料來源：古名伸、陳瑤，〈身體動作質地數位化分析新解 — 「三之一從數位化角度看身體動作質地」〉， 《美育》162，70-73 (2008) 註解 形容詞 順暢狀態（Flow）：物體運動的順暢程度 Bound 拘束 動作受控制的，呈現可以隨時停止 的運動狀態。 控制地、緊繃地、可隨時停 止地、拘謹地、小心翼翼地。 Free 流暢 動作不受拘束，具有自由度以及流 暢性。 自由地、流水般地、流動地。 時間狀態（Time）：表現動作的時間狀態，是屬於突然地或是綿延地的時間狀 態。 Sudden 突然 動作具有令人surprise 之特性，與發 生的前一秒有較強的對比。 緊急地、驚訝地、急速地。 Sustain 綿延 動作有持續不斷、綿延不絕的特性。 持續地、延續地、不打算停 止的。 重力狀態（Weight）：表現動作的重力狀態。 Strong 強力 動作強而有力，且較容易出現在出 力抵抗外在，例如：用力推牆壁。 形容詞：強而有力地、抵抗 某些東西似地、勁道很強地、 通常是下沉的動作。 Light 輕飄 大部分是在抵抗地心引力，使得動 作看起來輕盈，具有輕浮之感，譬 如飄動的雲或煙。 輕盈地、輕如空氣般地、上 升地、纖細地。 空間狀態（Space）釋義：空間上的直接或是間接，與動作者的動機 Intention 有相關。 Direct 直接 在動作上是直接的，非拐彎抹角的， 動作的路徑相當單純，同時具有清 楚的開始與結束點。 明確指出、瞄準地、目標清 楚。 Indirect 迂迴 動作迂迴，動作路徑上出現多轉折 點特性，動作意圖沒有清楚且單一 的目標。 不明確地、不定向地、間接 地、摸索地。
四、
LMA 分析之 Shape
拉邦動作分析中的動作外型(Shape)，主要用來形容動作長相、身體外貌的主要分析 工具。在這個動作外貌項目之下被分類成三個人體與外在空間形象相關的項目，包括 自我動作（Shape Flow）、包覆動作（Shaping）以及動作路徑（Directional）： 表 2-2 拉邦動作分析 Shape 釋義表五、 拉邦動作分析與運動學定義
本文參考學者羅孟剛(2008)所提出的八個量化人體動作的運動學參數公式。設 𝑎 𝑋!, 𝑌!, 𝑍! , 𝑏(𝑋!, 𝑌!, 𝑍!)兩點，分別為質心位移之開始與結束之 X,Y,Z 座標位置， 𝑡!− 𝑡! = ∆𝑡為位移之終點時間減去啟始時間之位移所需時間變化量，我們可以得到以 下公式： Displacement (位移): 計算肢段由開始到結束時間點的移動直線距離。𝑆!"為 A、B 兩點間所形成線段之距離。 𝑆!" = (𝑋!− 𝑋!)!+ (𝑌!− 𝑌!)!+ (𝑍!− 𝑍!)!………(1) Velocity (速度): 計算肢段由開始到結束時間點的移動速度，即單位時間位移量。將 式(1)除以∆𝑡即可得到速度。 註解 延申解釋 自我動作 （Shape Flow） 代表自我（Self）的細微的動 作，範圍較小，通常關節呈 現彎曲，不伸展的狀態。 與周遭環境不相干的，與外在世界 隔離的可能不自覺的動作。較具神 經質的外型表現無意中顯露出深層 內心狀態。 包覆動作 （Shaping） 具有容積感或空間感的包覆動作，通常使用到軀幹，尤其是胸部， 有時會加入腹部與骨盤的使用。動作具有強烈三度空間感。 動作路徑 （Directional） 用來表示動作的路徑，具有清楚的目標點，分為直線路徑與曲線路 徑兩種。7 Acceleration (加速度): 以差分法計算肢段由開始之初速到結束之尾速間的近似加速 度。 𝐴 = 𝑉!− 𝑉! = (!!!!!!!) !!(! !!!!!!)!!(!!!!!!!)! ∆!! − (!!!!!!!)!!(!!!!!!!)!!(!!!!!!!)! ∆!! ………(3) 圖 2-1 近似加速度示意圖
六、 拉邦運動模型化
Diane M. Chi (2000)的研究成功的將人類手臂運動的 LMA 之 Effort 元素以數學模型 建構出來，而在Tino Lourens, Roos van Berkel, Emilia Barakova (2010)的研究中，透過 擷取手前臂的擺動取得其加速度量值，以情緒圖四象限之情緒為出發點產生動作，並
與 LMA 之 Effort 元素建立起關聯性圖表如下，紅線表示在此一情緒中呈現正相關的
Effort 元素：
圖 2-2 LMA Effort 元素與 a.樂(Happy)、b.怒(Angry)、c.哀(Sad)、d.喜(Polite)之關聯圖
資料來源：Lourens, T., van Berkel, R. and Barakova, E. 2010. “Communicating emotions and mental states to robots in a real time parallel framework using Laban movement analysis”. Robotics and Autonomous
Systems Volume 58, Issue 12, 31: 1256–1265.
而Megumi Masuda, Shohei Kato (2009)的機器人實驗中驗證了 LMA 參數化與人體運 動學相互聯結的可能，並列出下列動作分析元素：
9
表 2-3 動作元素及量化描述表
資料來源：Masuda, M. and Kato, S. 2009.“Motion Rendering System for Emotion Expression of Human Form Robots Based on Laban Movement Analysis.”RO-MAN, 2010 IEEE: 324–329.
動作分析元素 對應機器人肢體動作 動作量化描述 Space 以基準點比較之全身各 動作偏離值 每個肢體點的單位向量單元的運動 向量之間的內積的加權總和 Time 全身各動作之速度 各關節速度的加權和 Weight 全身各動作之力度 各關節的力的加權總和 Inclnation! 動作姿勢相對於正前方 的偏值 前腳支撐重心時和中心位置的距離 差 Inclination! 動作姿勢相對於左右方 的偏值 左右腳支撐重心時和中心位置的距 離差 Height 動作姿勢的高度 身體極高及極低點和中心位置的距 離差 Area 身體在平面的投影程度 身體在平面上下左右的極值
七、 二維情緒圖之研究
對於情緒的分類研究，過去的研究已實驗出多種分類方法，本篇論文根據心理學最 常引用的二維情緒模型(2-Dimension Model of Emotion) 我們可將人類的情緒反應以二 維坐標圖(x：arrousal、y : valance)的方式量化表示，而 Russell 所提出的 Circumplex model 更進一步將情緒的形容詞與情緒模型結合：
圖 2-3 以 Arousal 及 Valance 定義之二維情緒 Circumplex Model
資料來源： Koenig, A., Omlin, X., Zimmerli, L., Sapa, M., Krewer, C., Bolliger, M., Müller, F., and Riener, R. 2011.“Psychological State Estimation From Physiological Recordings During Robot-assisted Gait
Rehabilitation.”Journal of Rehabilitation Research & Development. Volume 48: 367-386.
11
八、 肢體動作與情緒的相關性實驗
Megumi Masuda and Shohei Kato (2009)與 Antonio Camurri, Ingrid Lagerlöf, Gualtiero Volpea(2002)的實驗，以 40 位受試者觀察機器人行拉邦動作分析內 Effort 元素的動作
化，並依照各個動作逐一評比 Circumplex Model 內代表四象限極值的情緒強度
(Pleasure, Anger, Sadness, Relaxed)，每種情緒的量值評比從弱到強為 0 到 1 的小數值，
該量化值在該實驗中被稱為“情感估計值”。用以導出 LMA 動作內的情緒因子，實
驗結果顯示情緒LMA 參數的相關程度是顯著的，且得到下列情緒與 LMA 之元素與情
緒的關系4：
圖 2-4 LMA 元素與情緒關連性統計
資料來源：Masuda, M. and Kato, S. 2009.“Motion Rendering System for Emotion Expression of Human Form Robots Based on Laban Movement Analysis.”RO-MAN, 2010 IEEE: 324–329.
4 Spa：Space、Tim：Time、Wei：Weight、𝐼𝑛𝑐
九、 情緒與音樂的研究
由 認 知 反 應 評 估 音 樂 情 緒 的 研 究 ， 已 有 多 方 實 驗 及 論 證 ， 其 中 又 以 arousal (activation)及 valence (pleasantness)為 X,Y 變數的二維圖為音樂認知實驗的指標(Bradley and Lang, 1994)，而在情緒的 mapping 中，依據德國 Augsburg 大學於 2005 年發表的 情緒與腦波研究 (Wagner, Kim, and André, 2005)，人的喜、怒、哀、樂四類情緒會依 照激動(arousal)程度及令人愉快的程度(valence)，做二維圖的情緒分布。此結論支持了 本論文所提出的運動元素與情緒音樂整合系統的關鍵橋樑。
依據加拿大Montreal 大學所發表的研究(Vieillard et al. 2007)，在實驗中讓受試者聆聽 不同情緒類型的音樂，評估各類型音樂產生的認知反應如下圖：
圖 2-5 情緒音樂在二維情緒圖之分布
資料來源：Vieillard, S., Peretz, I., Gosselin, N., Khalfa, S., Gagnon, L., and Bouchard, B. 2008. “Happy, Sad, Scary and Peaceful Musical Excerpts for Research on Emotions.” Cognition And Emotion, 22 (4): 720
-752.
13
根據音樂與認知情緒的實驗(Gomez and Danuser. 2007.)，透過受試者在聆聽多個音
樂片段後，對音樂帶來的情緒認知評分，分數區段以1 至 7 分，1 分代表相關性最高，
7 分代表相關性最低。
音樂片段經過專家分析後與受試者的評分做統計，實驗結果如下圖，除了 Sound
intensity 是以分貝數(dB)做為評比，其他數值皆代表關聯性係數：
圖 2-6 音樂元素與二維情緒元素關聯圖
資料來源：Gomez, P. and Danuser, B. 2007.“Relationships Between Musical Structure and Psychophysiological Measures of Emotion.”Emotion, Vol 7(2): 377-387.
整合文獻的實驗結果可得到以下結論：
l 音符強度(Velocity)在 Arousal 值偏小時呈現較低的狀態，在 Arousal 偏大時呈現 較高的狀態。
l 速度(Tempo)在 Arousal 值偏大時，呈現較快的狀態，而在 Arousal 值偏小時，呈 現較慢的狀態。
l 節奏複雜度(Rhythm)在 Arousal 大、Valance 小時呈現較高的狀態，而在其他三 象限是較低的狀態。且節奏正拍的強度(Accentuated rhythms)會隨著 Arousal 值 變大而增強。
l 音符詮釋(Articulation)在 Arousal 大時較常出現 Staccato 的奏法，而在 Arousal
小時，較常出現Legato 的奏法。
l 隨著 Valance 的值增加，melodic 有 descending 的傾向。
l 音符分布狀況(Pitch range)在 Valance 值小時幅度較廣，在 Valance 值大時呈現較
窄的狀況，但在Arousal 值在中間時有傾向較窄的特別情況。
l 調式(Mode)在 Valance 大、Arousal 值小時傾向為大調，而在 Valance 小、Arousal 大時傾向小調行進。
l 和聲複雜度(Harmonic complexity)在 Valance 值大時呈現較低的狀況，在 Valance 值大時呈現較高的狀況。
l 音樂和諧度(Consonance)在 Arousal 值小，Valance 值大時呈現較高的狀況，在 Arousal 值小、Valance 值大呈現和諧度較低的狀況。
上述實驗結果經整理後如下表：
15
表 2-4 Arousal、Valance 與音樂參數對應表 資料來源：本論文整理
Arousal 大 Arousal 小 Valance 大 Valance 小 音符強度 (Velocity) 高 低 速度(Tempo) 高 低 節奏複雜度 (Rhythm) 高 低 低 高 音符詮釋
(Articulation) Staccato Legato 音符分布狀況 (Pitch range) 窄 寬 調式(Mode) 大調 小調 小調 大調 和聲複雜度 (Harmonic complexity) 低 高 音樂和諧度 (Consonance) 高 高 低 高
第二節
準則作曲之研究
「準則作曲」(Algorithmic Composition)是一種利用演算法來產生音樂的作曲方法， 其基本概念是由作曲家設定一套規則，再根據這套規則來隨機產生音樂，此作曲法及 其概念也衍生出一系列系統化的現代作曲法，如序列音樂作曲(Serial Composition)等 ，而現今因為電腦的普及化及運算能力的進步，作曲家可以透過電腦程式撰寫，實現 更為複雜與精準的準則作曲演算，近幾年也因為電腦多媒體應用的快速進展，使作曲 家在詮釋音樂作品上，大量的使用電聲與預置音源，而使得準則作曲的作品無論在樂 理及聲響方面，都蘊含著無限的可能性。電腦自動作曲(Computer Automated Composition)：透過電腦程式的編撰，我們可以 將系統化的作曲手法即時或非即時的生成音樂作品，並透過音樂參數化的概念，分析 及調整經量化後的音樂元素，使其成為自動作曲中的變數，進而生成具邏輯性，甚至 是風格性的音樂作品。 而要具體實現電腦自動作曲，首要條件即是將音樂參數化，以下列舉已知的音樂元 素、作曲概念與其參數化的方法：
一、 音級
(Pitch Class)
音級是20 世紀因應序列音樂所產生的音程概念，在傳統聲學及調律學中對於音高的 定義因受到律法的的不同，使得產生的音階在八度之外的音高會有些微不同，而造成 轉調上的困難，也因此衍生了「十二平均律」，將八度內的半音音程平均分配為12 等 分。 而在程式化作曲中，十二平均律產生的音高結果讓我們可以使用0~11 的整數去標記 ：17 表 2-5 Pitch Class 表 資料來源：本論文整理 此外，由音級的概念，我們也可將其延伸至音程的表示，將八度內兩音的距離以 0~11 的整數值表示其相隔半音數量： 表 2-6 音級音程表 資料來源：本論文整理 半音數 音程 0 完全一度 1 小二度 2 大二度 3 小三度 4 大三度 5 完全四度 6 增四度/減五度 7 完全五度 8 小六度 9 大六度 10 小七度 11 大七度 音名 C C# Db D D# Eb E F F# Gb G G# Ab A A# Bb B Pitch Class 0 1 2 3 4 5 6 7 8 9 10 11
二、 級數和弦
在調性音樂中，若將該調音階上的每個音符，向上疊加該調性所對應的三度及五度 音，即可得到七組以該調性音所組成的和弦，此時我們稱之為級數和弦(或稱順階和弦 )，並以羅馬數字標記其順序，稱為級數，並賦予其和弦在該調性內的功能名稱。以 C 大調音階為例： 表 2-7 級數和弦表 資料來源：本論文整理 組 成 音 G E C A F D B G E C A F D B G E C A F D B 和弦 C Major D minor E minor F Major G Major A minor B dimished 級 數 I II III IV V VI VII 功 能 名 稱
Tonic/ Root Supertonic Mediant Sub
Dominant Dominant Submediant
Diminished/ Leading
三、 終止式
終止式(Cadence)的概念源自於 16 世紀的西方音樂，其目的是針對功能性的和聲導進 建立一套法則，定義和弦進行時的樂句型式及文法。基本的終止式法則將調性內的級 數和弦分成三類： l T(Tonic)：以 I 級和弦為代表。為該調的中心與靈魂和弦，也是最具安定性的和19 l S(Sub Dominant)：以 IV 級和弦為代表。和 D 的功用正好相反，使用上較具有色 彩性及帶有些許飄逸的氣氛。 終止式的各種型式： l 正格終止(Authentic Cadence)：和弦進行的結束由 D 類和弦至 T 類和弦，通常使 用在一段樂句的結束，功能如同標點符號的句號。 l 半終止(Half Cadence)：和弦進行停在 D 類，功能如同標點符號的逗號。 l 變格終止(Plagal Cadence)：和弦進行由 IV 級和弦直接進行至 I 級和弦，在嚴格 的聲部導進角度來看，變格終止不能算是正規的終止式，但在樂句文法的功能 上，變格終止扮演著文字寫作中「因此」、「所以」的文法角色。 l 假終止(Deceptive Cadence)：和弦由 V 級和弦進行至 VI 級和弦，功能如同標點 符號的逗號。
四、 馬可夫鏈理論與機率控制
在設計自動作曲系統時，為了使系統能參考使用者輸入的參數產生相對應的音樂結 果，一方面也需要系統在遇到邏輯問題時的導向結果能有多種可能性，故大部份自動 作曲系統都會將「機率參數」加入系統控制中，使產生的音樂能夠維持一定的變異性 與自由度。機率控制法則可利用馬可夫鏈理論加以實現。 根據〈馬可夫鏈的簡介〉(姜袓恕 1988，43-49)，馬可夫鏈(Markov Chain)之定義為： 在一連串的試驗中，每次試驗所可能發生的結果為 𝐸!、𝐸!、… 𝐸!，每一個結果 𝐸! ，我們若能給定一個出現的可能性 𝑃!（即機率），則對某一特定樣本之序列 𝐸!!、𝐸!! 、… 𝐸!"，我們知道它出現的機率是 𝑃 𝐸!! 𝐸!!… 𝐸!" = 𝑃!!… 𝑃!"。這個是試驗與試驗 彼此互相獨立的基本狀態與精神。但在馬可夫鏈的理論中，因為我們沒有辦法知道每 一個事件出現的可能性；也就是說「𝑃!」是不存在的，所以我們給予一對事件 𝐸!, 𝐸! 一 個機率𝑃!"，此時𝑃!"即成為條件機率，就是假設在某次試驗中𝐸!已經出現，而在下一次 試驗中𝐸!出現的機率。除了𝑃!"之外 ，我們還需要知道第一次試驗中𝐸!出現的機率𝑎! 。有了這些資料後，一個樣本序列𝐸!! 𝐸!!… 𝐸!"的機率即可用下面的方程式表示： 𝑃 𝐸!!𝐸!! 𝐸!!… 𝐸!" = 𝑎!𝑝!!!!𝑝!!!!… 𝑝!"!"!!在自動作曲中，馬可夫鏈常應用在旋律音序列的產生規則，及和弦級數的行進規則 ，藉由控制「權重值」(條件機率)，使產生的音樂在其元素的總量或是行進走向能夠有 一定的規範程度，進而操控產生音樂的風格或意象。 下圖是經由Max/MSP 的 object 統計 1700 首單旋律歌曲(已轉為 C 大調)，其中包含大 約73,000 音符所生成的一階馬可夫鏈權重表： 圖 2-7 C 大調馬可夫鍵權重表
21
第三章、研究方法
第一節
系統架構流程圖
圖 3-1 肢體與情緒音樂整合系統流程圖 資料來源：本論文整理 將動作對應情緒圖之x,y 值 送入自動作曲系統 使用者輸入動作 動作元素組合成LMA 元素 以二維情緒圖對應情緒因 子的分布位置 動作分析系統擷取出動作元素 • 近似瞬時速度 • 近似瞬時加速度 組合LMA 之 EFFORT 元素 組合LMA 之 SHAPE 元素 取得各動作元素所對應的 情緒因子及量值 以x,y 值對應音樂參數量值 及機率權重值 即時產生音樂 • 和弦產生、行進邏輯 • 伴奏生成邏輯、旋律生成邏輯 • 音高、速度第二節
動作擷取系統
本系統是使用Microsoft XBOX 遊戲主機上的 Kinect 硬體，配合 SYNAPSE for Kinect
軟體，捕捉人體在測量空間的形狀及前後景深度，最後透過 Max/MSP 的邏輯運算 patcher，計算出各關節點的拉邦運動系數。
一、 使用
Kinect 擷取即時影像
Kinect 可同時擷取彩色影像、3D 深度影像以及聲音訊號。首先是 Kinect 機身上有 3 顆鏡頭，中間的鏡頭是一般常見的RGB 彩色攝影機，左右兩邊鏡頭則分別為紅外線發 射器和紅外線CMOS 攝影機所構成的 3D 深度感應器，Kinect 主要就是靠 3D 深度感應 器偵測玩家的動作。 圖 3-2 Kinect二、 使用
SYNAPSE for Kinect 擷取人體骨架及座標點
SYNAPSE for Kinect 是一套可讀取 Kinect 資訊及人體追蹤(Body Tracking)的軟體，
利用他的人體追蹤功能，可將 Kinect 的拍攝的畫面即時分析人體的軀幹及各關節位置
，並以OSC(Open Sound Control)訊號格式送出各關節點的三維座標，在本系統中，我
們使用這套軟體做為人體骨幹分析的工具，並透過他所偵測出的人點關節點三維座標
23
圖 3-3 Synapse 系統示意圖
三、 使用
Kinect Via Synapse 控制 OSC 訊號
Kinect Via Synapse 是以 Max/MSP 建構的 patcher，在本系統裡，我們使用此 patcher
以控制及監控從SYNAPSE for Kinect 送入的座標值，並調整其送入訊號的時間間隔及
座標值的單位(設定為公分)
圖 3-4 Kinect via Synapse 示意圖
四、
Laban Movement Analysis Patcher (LMA Patcher)
圖 3-5 Laban Movement Analysis Max/MSP Patcher
五、
LMA 之 Effort 參數實作
因 SYNAPSE 於接受 Kinect 訊號時，得到的值是非連續性的單位時間取樣點，故我 們利用此一特性，捨棄求得連續性的微分方程式，而用差分法及畢式定理(Pythagorean Theorem)，計算出單位時間內兩取樣點在空間內的： l 近似速度 l 近似加速度利用上述兩參數，更進一步演算出四個符合Laban Movement Analysis 裡 Effort 所需
要的運動學參數：
25 表 3-1 運動參數表 資料來源：本論文整理 不同使用者的動作絕對量值不盡相同(ex: 身高較高的舞者在各動作參數所量測出來 的絕對量值會比身材較矮小的舞者大)，故此系統設計以動作輸入期間內的最大值與現 值的比值做為輸出值(現值/最大值，介於 0~1 之間的浮點數值)。 圖 3-6 運動參數運算之 Max/MSP Patcher 釋意 應用 速度總量(Sum of Velocity，SV) 測量時間內的速度值加 總 值愈大表示動作趨 於頻繁 加速度變化量 (Variation of Acceleration，VA) 測量時間內的加速度變 化值加總 值愈大表示動作趨 於強力 加速度變化率 (Ratio of Acceleration，RA) 測量時間內加速度在正 值及負值切換的次數 值愈大表示動作趨 於不連續 分量加速度變化量 (Variation of Axis Acceleration，VAA) 測量時間內加速度變化 值在三維上的投影 值愈大表示動作趨 於迂迴
此四數值對應Laban Movement Analysis 關系如下表： 表 3-2 拉邦運動分析(LMA)之 Effort 元素與運動參數關聯表 資料來源：本論文整理 LMA Effort 運動參數關系 順暢狀態 （Flow） Bound 拘束 SV 小、VAA 大 Free 流暢 SV 大、VAA 小 時間狀態 （Time） Sudden 突然 VA 大、RA 大 Sustain 綿延 VA 小、RA 小 重力狀態 （Weight） Strong 強力 SV 大、VA 大 Light 輕飄 SV 小、VA 小 空間狀態 （Space） Direct 直接 SV 小、VAA 小 Indirect 迂迴 SV 大、VAA 大
27
六、
LMA 之 Shape 參數實作
Laban Movement Analysis 中的 Shape 係使用各關節點相對於軀幹中心的距離值，同 樣是以動作輸入期間內的距離最大值與現值的比值做為輸出值(現值/最大值，介於 0~1 之間的浮點數值)。
表 3-3 拉邦運動分析(LMA)之 Shape 元素與運動參數關聯表 資料來源：本論文整理
以下為LMA Effort & Shape 系統實作之 Max/MSP Patcher：
圖 3-7 LMA Effort & Shape 系統實作之 Max/MSP Patcher 示意圖
LMA Shape 空間關系
自我動作 靠近身體中心，距離變化量小
第三節
LMA 動作與情緒對應系統
一、 情緒模型
本系統所使用的情緒模型為 Gomez 提出的二維情緒模型(Gomez and Danuser 2004,
91)，係將 ”Valance” 及 ”Arousal” 兩情緒因子做為二維坐標中的 X,Y 變數，藉此定
義不同情緒在四個象限的分布位置，而此系統的情緒圖介面是以Max/MSP 所繪製，如
下圖：
圖 3-8 二維情緒模型之 Max/MSP Patcher 截圖
29 1. 情緒參數與 LMA 參數的對應
本系統參考(Lourens et al. 2010, 1256)的研究，將二維情緒因子與 LMA 之 Effort 與 Space 參數對應表如下： 表 3-4 二維情緒與 LMA 之 Effort 對應表 資料來源：本論文整理 情緒狀態 二維情緒因子 LMA Effort 參數 Happy Arousal 大 Valance 大 Weight 小 (輕飄) Flow 小 (流暢) Time 大 (突然) Space 大 (直接) Anger Arousal 大 Valance 小 Weight 大 (強力) Flow 大 (拘束) Time 大 (突然) Space 小 (迂迴) Polite Arousal 小 Valance 大 Weight 小 (輕飄) Flow 小 (流暢) Time 小 (綿延) Space 大 (直接) Sad Arousal 小 Valance 小 Weight 小 (輕飄) Flow 大 (拘束) Time 小 (綿延) Space 小 (迂迴)
表 3-5 二維情緒與 LMA 之 Shape 對應表 資料來源：本論文整理 上述二表經整理為Arousal 及 Valance 的關聯表如下： 表 3-6 LMA 元素與二維情緒元素關聯表 資料來源：本論文整理 情緒狀態 二維情緒因子 LMA Shape 參數 Happy Arousal 大 Valance 大 包覆動作 距離變化量大 Anger Arousal 大 Valance 小 自我動作 距離變化量大 Polite Arousal 小 Valance 大 自我動作 距離變化量小 Sad Arousal 小 Valance 小 包覆動作 距離變化量小
Flow Time Weight Space 包覆動
作
距離變 化量
Valance(X 值) 負相關 負相關 正相關 正相關
31
以下為系統實作之Max/MSP LMA to Emotion Map Patcher：
圖 3-9 元素對應二維情緒元素(Arousal、Valance)之 Max/MSP 程式截圖 1
圖 3-10 LMA 元素對應二維情緒元素(Arousal、Valance)之 Max/MSP 程式截圖 2
第四節
自動作曲系統
自動作曲的部份，在上述研究與討論中已有多種音樂參數與認知情緒圖有直接相關 ，而在實作中，我們使用部份的音樂參數：
33
一、 系統架構
圖 3-11 自動作曲系統流程圖 情緒對應系統 送入X、Y 值 對應音樂參數 調性 級數和弦行進 行進穩定性 伴奏 旋律 速度 產生音樂 以馬可夫鏈選擇大小 調和弦的比例，以X 值 改變大小調的權重 以終止式為規則，馬可 夫鍵為選擇方式 Y 值影響和弦行進 的穩定性，Y 值大 則和弦變化較為頻 繁 依照和弦內音，加 上經過音產生旋律 依照和弦內音配合預設的pattern 產 生 由Y 值對應音樂的 速度 X: Valance Y: Arousal 產生音階 依照大小調的狀況及 和弦級數狀態產生對 應的音階二、 調性
在此系統中我們判斷 x 值(valance)的大小，控制歌曲行進時和弦走向落在大調或小 調的機率。 圖 3-12 調性控制之 Max/MSP 程式截圖 機率的控制是使用 Max/MSP 中的 prob 物件，該物件的前兩常數為狀態的變化趨勢 ，第三常數為達到此變化之權重值(weight)，我們設置四種可能發生的狀況如下： 表 3-7 調性狀態表 資料來源：本論文整理 Major : 0 ; minor : 1 調性狀態 0 0 調性維持在大調 0 1 調性由大調轉小調 1 0 調性由小調轉大調 1 1 調性維持在小調 當 x 值大時(valance 高)，調性維持在大調及調性由小調轉大調的權重值變大，產生 曲調會有較高的機率由小調轉大調或停留在大調，反之若 x 值小(valance 低)則調性維 持在大調及調性由小調轉大調的權重值變小，產生曲調會有較高的機率由大調轉小調35
三、 音階
在此系統預設產生的音階共有三種，分別是大調音階、小調音階、和聲小調音階： 表 3-8 系統預設產生音階表 資料來源：本論文整理 主音 上主音 中音 下屬音 屬音 下中音 導音 大調音階 1 2 3 4 5 6 7 小調音階 1 2 b3 4 5 b6 b7 和聲小調音階 1 2 b3 4 5 b6 7 音階的使用是依照調性產生系統而選擇大調或小調音階，並在級數進行至五級時使 用和聲小調音階，藉此修正小調和弦行進時導音的上行。 圖 3-13 音階產生之 Max/MSP 程式截圖 音階的產生是以該調的MIDI 音高再加上全音(+2)及半音(+1)的排列而組成，以 C 調 為例：表 3-9 音階產生表 資料來源：本論文整理 在此系統中音階的使用將影響和弦級數對應到的根音絕對音高，及各級數和弦所使 用的和弦內音絕對音高(C3=48)如下： 表 3-10 調性為 C 之音階產生表 資料來源：本論文整理 Do Re Mi Fa Sol La Si 大調 +0 +2 +4 +5 +7 +9 +11 小調 +0 +2 +3 +5 +7 +8 +10 和聲小調 +0 +2 +3 +5 +7 +8 +11 C 調 Do Re Mi Fa Sol La Si 大調 48 50 52 53 55 57 59 小調 48 50 51 53 55 56 58 和聲小調 48 50 51 53 55 56 59
37
四、 級數
此系統所設定的調性法則為單一調性，所以級數和弦行進的起始值是參考終止式法 則，而透過Arousal 及 Valance 的影響，在級數的行進可能性也會因此影響，以下將敘 述其流程。 和弦行進以「級數」為控制參數，而級數的行進選擇是透過馬可夫鏈(Markov Chain) 控制級數的走向，利用馬可夫鏈的機率定義，我們可在當下的級數狀態給予進行到下 個級數的機率，藉此達到即時運算作曲的目標。 使用者可以預先輸入級數行進的兩組馬可夫鏈權重值表，此兩組馬可夫鍵值表的預 設是以大調及小調終止式的規則為預設權重值所集合的列表，此兩組權重值表，分別 代表以X 軸上 Valance 最大及最小值所對應的和弦行進的權重值序列，而透過 Valance 的變化，兩組的馬可夫鏈也會做等比例的加總，藉此達到 Valance 的大小會影響整體 和弦進行方向的控制目標。 而Arousal 的大小也會影響和弦的變化量，意即在 Arousal 大時，和弦的行進傾向移 動到其他級數，而在 Arousal 小時，和弦的行進傾向停留在調性一級，藉此達到 Arousal 影響曲式進行穩定性的目標。 圖 3-14 級數馬可夫鏈之 Max/MSP 程式截圖五、 和弦組成音
產生組成音： 和弦組成音是由歌曲的調性，並對應和弦行進的級數決定，以下為系統所使用的和 弦組成音： 表 3-11 系統產生級數和弦表 資料來源：本論文整理 當歌曲行進的級數值送至和弦組成音patcher 時，會自動選用當前級數所對應的級數 和弦值(例：級數為 I 時，組成音會選用 1, 3, 5, 7 四音)。 1. 和弦轉位 在和弦轉位的機制中，設計原位和弦、第一轉位、第二轉位、第三轉位，四種和弦 轉位的可能性。 透過產生和弦內音的排列順序，將和弦值做不同的排列，使根音因不同轉位狀態而 變化： 表 3-12 和弦轉位表 資料來源：本論文整理 級數 I II III IV V VI VII大調 Maj7 min7 min7 Maj7 Dom7 min7 min7b5
小調 min7 min7b57 Maj7 min7 Dom7 Maj7 Dom7
和聲 小調
mMaj7 min7b5 Maj7#5 min7 Dom7 Maj7 Dim7
例：I 和弦 根音 第一音 第二音 第三音
原位和弦 1 3 5 7
第一轉位 3 5 7 1
39
和弦轉位的控制是以 Valance 影響，當 Valance 大時，和弦較易進行轉位，使 chord
melody 的變化較為平緩，製造平順而舒服的感覺，而在 Valance 小時，和弦較易使用 原位和弦，製造突兀而對比性強的感覺。 2. 產生和弦音 經過先前處理的和弦內音(相對音高)，最後用於送至目前使用之音階做比對，藉此產 生絕對的音高： 圖 3-15 和弦產生之 Max/MSP 程式截圖 經轉位過的和弦內音，會再經過系統內八度音的修正，使每個和弦內音的音程維持 在符合樂理的情況。
圖 3-16 和弦音八度修正之 Max/MSP 程式截圖
41
六、 旋律
為了使系統保有一定的自由度，且以即時自動作曲的邏輯概念為系統設計導向，旋 律的產生方法大量的使用控制權重(Weight)下的機率演算，流程圖如下： 圖 3-17 旋律產生流程圖 資料來源：本論文整理 設定一小節(32個音符空間)為旋律片段 依據和弦狀態產生核心音符 • Valance值影響核心音符與當下和弦的正相關性 產生經過音 • Valance值影響經過音的連接順暢度 • Arousal值影響經過音的多寡 音域選擇及修正音程 • Arousal值控制產生旋律的音高分布位置 • 增加導音上行至高八度音的機率 • 增加音符在跨越八度時進行至較近音程之音符的機率 產生ㄧ小節之旋律1. 設定一小節(最多 32beats)為旋律產生之空間 在本系統的設定中，即時旋律系統先產生一小節的音符空間。 圖 3-18 一小節音符空間示意圖 2. 依據和弦狀態產生核心音符 核心音符的選擇是由旋律中與當前節奏及和弦內音最為相符的音為選擇目標，依 Valance 值控制其正相關性，在 Valance 值較大時，核心音符在產生出和弦內音的權重 較大，意即較易產生出與當下和弦較為和諧的旋律重心，而在 Valance 較小的情況下 ，產生的核心音符與伴奏的相關性較低，意即較易產生較不和諧的旋律重心。 圖 3-19 產生核心音符(Valance 高)
43
3. 產生和聲外音(經過音及鄰音) 和聲外音的產生是以二階馬可夫鏈法則進行運算，系統判斷相臨兩核心音符的音高 ，在其中置入適合的經過音或鄰音。 判斷準則： 圖 3-22 和聲外音判斷準則 圖 3-23 和聲外音產生之流程圖 核心音符 和聲外音 核心音符 和聲外音 核心音符
產生經
過音
核心音符1 依權重值決定經過音的音高 產生機率 核心音符2 送入音高 送入音高45 經過音和鄰音的產生由Arousal 控制其相關性，意即當 Arousal 值較小時，產生的和 聲外音與前後兩核心彼此音程較近，趨於級進式的連結，或是產生後面核心音符的下 四度音，藉以構成平順的音程解決，使整體旋律的平滑度增加，製造平穩的效果。而 當 Arousal 值較大時，產生的和聲外音與前後兩核心的關連性較小，意即較易產生與 前後兩核心音符較突兀的音，或是音程較遠的音，整體旋律的平滑度較低，而製造緊 張及興奮的效果。 圖 3-24 產生和聲外音(Arousal 小) 圖 3-25 產生和聲外音(Arousal 大) 4. 音域選擇 系統產生的音符會透過Arousal 參數影響其音域，系統預設以 C5(72)為中央主音，當 Arousal 較大時，產生旋律的音域會依照參數大小使音符傾向座落至 C5 至 C7 的音程， 使旋律整體走向偏高，藉以呈現刺激之感。而當 Arousal 較小時，產生旋律的音城會 傾向座落至C3 至 C5 的音程，使旋律整體走向偏低，藉以呈現溫和之感。 5. 八度音修正 旋律系統初步所產生的音符是選用八度內的調性音階所排列，而為了考量到旋律進 行至導音時，傾向往高八度的主音上行，或是在音程跳進時，傾向往音程較近之同音
連結，故系統在產生完八度內的旋律時，會依照相鄰二音的音程關系，控制上下行八 度的機率，此部份也是依照相鄰二音音程的緊密程度，調整機率的權重，目的也是在 遵照作曲家習慣的同時，還能保有機率作曲的自由度。 圖 3-26 旋律八度音修正前之示意圖 圖 3-27 旋律八度音修正後之示意圖
47
七、 伴奏
伴奏部份為了讓系統在產生音符及節奏可以更切合四象限下的不同情緒，亦在自動 產生系統中大量使用權重值控制各伴奏元素產生的機率，此結果亦使得伴奏的格式的 自由度上升，以下為伴奏產生的流程圖： 圖 3-28 伴奏產生流程圖產生一小節之伴奏音符空間
依照權重值分配音符拍點位置
• 以Arousal值控制在正拍產生和弦音的機率 • 以Valance值控制在反拍點產生和弦音的機率依照權重值調整聲部織度
• 以Arousal值控制正拍點和弦織度的大小 • 以Valance值控制反拍點和弦織度的大小依照權重值調整聲部開離狀況及和
聲形態
• 以Arousal值控制聲部開離大小觸發目前級數下的和弦音
• 以Valance值判斷三和弦或七和弦的使用產生伴奏音符
1. 產生一小節之伴奏空間 為了使伴奏與旋律產生的時間與空間可以配合，系統設定一次產生一小節之伴奏， 亦即先產生一小節的節奏空間，與旋律產生系統不同的是，節奏產生空間點為固定的 16beats, 即一小節最多產生 16 個節奏點。 圖 3-29 產生節奏空間示意圖 2. 依照權重值分配音符拍點位置 依照和弦系統產生的四音級數和弦，系統預設最多為四部的合聲，利用權重值的大 小，分別判別各部的音符出現位置的機率，藉此達到節奏變化的效果。 以 Arousal 值的大小控制在奇數拍點上產生音符的機率，Arousal 值大時，產生的機 率較高，呈現能量較大，較具份量的氛圍，反之 Arousal 小時，在奇數拍點產生音符 的機率低，呈現能量較小的氛圍。 圖 3-30 伴奏產生示意圖(Arousal 大) 圖 3-31 伴奏產生示意圖(Arousal 小)
49 以Valance 值的大小控制在偶數拍點上產生音符的機率，Valance 值小時，產生的機 率較高，伴奏呈現緊張之感，反之 Valance 大時，在偶數拍點產生音符的機率低，呈 現較為輕鬆舒服之感。 圖 3-32 伴奏產生示意圖(Valance 大) 圖 3-33 伴奏產生示意圖(Valance 小) 綜合以上的拍點控制，可以得到以下伴奏產生的氛圍： 表 3-13 Arousal、Valance 與伴奏氛圍關系表 資料來源：本論文整理 Valance 小 Valance 大 Arousal 大 能量大、緊張 (Angry) 能量大、舒服 (Happy) Arousal 小 能量小、緊張 (Sad) 能量小、舒服 (Pleasure)
3. 依照權重值調整聲部織度 聲部的織度是透過各部的音符出現多寡而判定，此部份同時受到上述拍點控制的結 果所影響，經過整理可得： 表 3-14 Arousal、Valance 與聲部織度關系表 資料來源：本論文整理 Valance 小 Valance 大 Arousal 大 正反拍點產生音符皆多，織度極 大(Angry) 正拍點產生音符多，織度大(Happy) Arousal 小 正拍點產生音符少，織度小(Sad) 反拍點產生音符少，織度小(Polite)
4. 依照權重值調整聲部開離狀況 聲部的開離是透過Arousal 的大小所控制其產生機率，當 Arousal 大時，聲部開離的 機率低，產生的音符音程較密集，使和聲較具有壓力之感。 圖 3-34 聲部開離示意圖(Arousal 大) 當Arousal 小時，聲部開離的機率高，產生的音符音程較擴散，使和聲較具有舒張之 感。 圖 3-35 聲部開離示意圖(Arousal 小)
51 5. 擷取目前級數下的和弦音 將產生之一小節伴奏行進之音符序列，送入先前和弦產生系統所暫存的和弦音，將 其產生和弦音之絕對音高。 透過Valance 的大小，控制第四音符送出的機率，當 Valance 小時，第四音較易送出 ，亦即伴奏較易以七和弦的合聲形態出現，使和聲傾向具有憂鬱的七度合音，反之若 Valance 大時，第四音較不易送出，亦即伴奏較易以三和弦的和聲形態出現，使和聲 傾向較為明亮簡潔的狀態。 圖 3-36 伴奏傾向三和弦之示意圖(Valance 小) 圖 3-37 伴奏傾向七和弦之示意圖(Valance 大)
八、 產生音樂
在系統接收到經邏輯產生旋律及伴奏音符資訊後，最後分析目前 Arousal 及 Valance 的數值，做音長、速度、力度、音色的調整，使產生的情緒音樂更具層次性與鑒別度 。Arousal 及 Valance 對上述音樂參數的影響如下表： 表 3-15 Arousal、Valance 與其他音樂參數關聯表 資料來源：本論文整理 音長 速度 力度 伴奏音色 Arousal 大/小 短/長 快/慢 大/小 n/aValance 大/小 n/a n/a n/a 鋼琴音色及
殘響量值 1. 速度 速度由Arousal 的大小控制，在 Arousal 變大時，歌曲整體的進行速度加快，使歌曲 具有能量感及刺激感，而在 Arousal 變小時，歌曲整體的進行速度變慢，使歌曲趨於 平緩且輕鬆。 2. 音長 系統透過分析 Arousal 的大小，調整旋律及伴奏音符的長度，Arousal 小時產生的音 長較長，使整體音樂呈現綿延之感。而在 Arousal 大時產生的音長較短，使整體音樂 呈現活潑感。 3. 音符強度
產生音符的強度(Velocity)是透過 Arousal 參數所控制，當 Arousal 大時，音符力度隨
53 4. 音色
透過Max/MSP 輸出的 MIDI 音樂資訊，我們將其直接輸入至 Logic Pro 內的 Steinway
鋼琴音色，藉以達到更精細且真實的音色感。
第四章、實驗與結果分析
第一節
實驗架構
本實驗的目的是驗證經由 LMA 量化之情緒動作產生二維情緒座標後，透過自動作
曲系統產生之音樂與其輸入情緒動作的相關程度。
實驗採問卷評分制，我們請舞者分別就「樂(Happy)」、「哀(Sad)」、「怒(Angry) 」、「喜(Polite)」四種情緒，以 LMA 之 Effort 及 Shape 動作為出發點，預錄此四段各 15 秒的舞蹈影片，同時我們透過系統擷取舞者的動作，即時產生四種各 15 秒的情緒音 樂。 在四種情緒的相關性判定過程中，每種情緒皆只有舞蹈動作，無音樂的影片，及舞 蹈動作加上音樂的影片，我們請受試者先觀看無音樂的影片，為了評斷受試者對於影 片中舞蹈動作與相對應情緒的認同度，在看完影片後，就我們所指定情緒與其受試者 自身感受程度將影片動作評以1~10 分(10 分為相關性最高)，接下來請受試者觀看有音 樂的影片(影片內的動作相同),也請受試者就我們所指定情緒與其自身感受程度將音樂 評分，最後請受試者就影片及音樂對於此一情緒表達的關聯性評以1~10 分，藉以此評 量方式驗證本系統之動作與情緒音樂整合的有效性。 本實驗共採用了 128 位受試者，其中 51 位受試者未曾受過音樂訓練，有 20 位受過 一年以內的專業音樂訓練，14 位受過一至三年的專業音樂訓練，14 位受過三至五年的 專業音樂訓練，13 位受過五至十年的專業音樂訓練，16 位受過十年以上的專業音樂訓 練。 而此128 位受試者內，有 18 位受過一年專業舞蹈訓練，5 位受過一至三年專業舞蹈 訓練，1 位受過三至五年專業舞蹈訓練，2 位受過五至十年專業舞蹈訓練，其餘 102 位 受試者未曾受過專業舞蹈訓練。
55
第二節
實驗結果
受試者對於四種象限情緒對應之舞者動作及音樂的認同分數統計圖如下：
57
圖 4-4 受試者對於開心(Happy)情緒動作與音樂的相關性之認同分數統計圖
圖 4-6 受試者對於情緒音樂在難過狀態(Sad)時的認同分數統計圖
59
圖 4-8 受試者對於舞者做出憤怒狀態(Angry)動作時的認同分數統計圖
圖 4-10 受試者對於憤怒(Angry)情緒動作與音樂的相關性之認同分數統計圖
61
圖 4-12 受試者對於情緒音樂在愉悅狀態(Polite)時的認同分數統計圖
第三節
總體樣本統計
表 4-1 總體樣本統計表* 資料來源：本論文整理第四節
實驗結果分析與討論
在純影片方面，受試者對於難過(Sad)動作的影片相關性評比分數是最高的，推斷此 因素關系到舞者自身在詮釋拉邦動作分析對應到難過(Sad)動作的表現力較足夠，故導 致有此結果。其平均數在快樂(Happy)動作：6.71、難過(Sad)動作：7.72、生氣(Angry) 動作：7.77、愉悅(Polite)動作：5.67。 在音樂部份，其整體情緒相關性分數高於比純動作影片，推論可能是音樂部份在情 緒參數對應的表現性較顯著，使得受試者易於跟情緒狀態做聯想。其平均數在快樂 (Happy)：7.82、難過(Sad)：8.3、生氣(Angry)：6.97、愉悅(Polite)：5.68。 在動作影片與音樂的相關性統計結果中，快樂(Happy)與憤怒(Angry)的關聯性評分 低於動作影片及純音樂的評分，推測在以情緒輸入之動作設定與二維情緒模型中之 關 聯 性 H 影 H 音 H 影 音 S 影 S 音 S 影音 A 影 A 音 A 影 音 P 影 P 音 P 影音 平 均 6.71 7.82 6.41 7.72 8.30 8.31 7.77 6.97 6.71 5.67 5.68 6.41 眾 數 8.00 8.00 7.00 8.00 10.00 10.00 8.00 7.00 7.00 6.00 6.00 6.00 標 準 差 2.07 1.82 2.42 2.09 1.71 1.68 1.76 2.11 2.14 2.17 2.09 2.18 *H: 開心(Happy)、S:難過(Sad)、A:憤怒(Angry)、P:Polite(愉悅) 影：舞蹈影像、音：情緒音樂、影音：影像及音樂63
成功的。其平均數在快樂(Happy)：6.41、難過(Sad)：8.3、生氣(Angry)：6.71、愉悅 (Polite)：6.41。
