由 認 知 反 應 評 估 音 樂 情 緒 的 研 究 ， 已 有 多 方 實 驗 及 論 證 ， 其 中 又 以 arousal (activation)及 valence (pleasantness)為 X,Y 變數的二維圖為音樂認知實驗的指標(Bradley and Lang, 1994)，而在情緒的 mapping 中，依據德國 Augsburg 大學於 2005 年發表的 情緒與腦波研究 (Wagner, Kim, and André, 2005)，人的喜、怒、哀、樂四類情緒會依 照激動(arousal)程度及令人愉快的程度(valence)，做二維圖的情緒分布。此結論支持了 本論文所提出的運動元素與情緒音樂整合系統的關鍵橋樑。
依據加拿大Montreal 大學所發表的研究(Vieillard et al. 2007)，在實驗中讓受試者聆聽 不同情緒類型的音樂，評估各類型音樂產生的認知反應如下圖：
圖 2-5 情緒音樂在二維情緒圖之分布
資料來源：Vieillard, S., Peretz, I., Gosselin, N., Khalfa, S., Gagnon, L., and Bouchard, B. 2008. “Happy, Sad, Scary and Peaceful Musical Excerpts for Research on Emotions.” Cognition And Emotion, 22 (4): 720
-752.
13
根據音樂與認知情緒的實驗(Gomez and Danuser. 2007.)，透過受試者在聆聽多個音 樂片段後，對音樂帶來的情緒認知評分，分數區段以1 至 7 分，1 分代表相關性最高，
7 分代表相關性最低。
音樂片段經過專家分析後與受試者的評分做統計，實驗結果如下圖，除了 Sound intensity 是以分貝數(dB)做為評比，其他數值皆代表關聯性係數：
圖 2-6 音樂元素與二維情緒元素關聯圖
資料來源：Gomez, P. and Danuser, B. 2007.“Relationships Between Musical Structure and Psychophysiological Measures of Emotion.”Emotion, Vol 7(2): 377-387.
整合文獻的實驗結果可得到以下結論：
l 音符強度(Velocity)在 Arousal 值偏小時呈現較低的狀態，在 Arousal 偏大時呈現 較高的狀態。
l 速度(Tempo)在 Arousal 值偏大時，呈現較快的狀態，而在 Arousal 值偏小時，呈 現較慢的狀態。
l 節奏複雜度(Rhythm)在 Arousal 大、Valance 小時呈現較高的狀態，而在其他三 象限是較低的狀態。且節奏正拍的強度(Accentuated rhythms)會隨著 Arousal 值 變大而增強。
l 音符詮釋(Articulation)在 Arousal 大時較常出現 Staccato 的奏法，而在 Arousal 小時，較常出現Legato 的奏法。
l 隨著 Valance 的值增加，melodic 有 descending 的傾向。
l 音符分布狀況(Pitch range)在 Valance 值小時幅度較廣，在 Valance 值大時呈現較 窄的狀況，但在Arousal 值在中間時有傾向較窄的特別情況。
l 調式(Mode)在 Valance 大、Arousal 值小時傾向為大調，而在 Valance 小、Arousal 大時傾向小調行進。
l 和聲複雜度(Harmonic complexity)在 Valance 值大時呈現較低的狀況，在 Valance 值大時呈現較高的狀況。
l 音樂和諧度(Consonance)在 Arousal 值小，Valance 值大時呈現較高的狀況，在 Arousal 值小、Valance 值大呈現和諧度較低的狀況。
上述實驗結果經整理後如下表：
15
(Articulation) Staccato Legato
音符分布狀況
第二節 準則作曲之研究
「準則作曲」(Algorithmic Composition)是一種利用演算法來產生音樂的作曲方法，
其基本概念是由作曲家設定一套規則，再根據這套規則來隨機產生音樂，此作曲法及 其概念也衍生出一系列系統化的現代作曲法，如序列音樂作曲(Serial Composition)等
，而現今因為電腦的普及化及運算能力的進步，作曲家可以透過電腦程式撰寫，實現 更為複雜與精準的準則作曲演算，近幾年也因為電腦多媒體應用的快速進展，使作曲 家在詮釋音樂作品上，大量的使用電聲與預置音源，而使得準則作曲的作品無論在樂 理及聲響方面，都蘊含著無限的可能性。
電腦自動作曲(Computer Automated Composition)：透過電腦程式的編撰，我們可以 將系統化的作曲手法即時或非即時的生成音樂作品，並透過音樂參數化的概念，分析
17
二、 級數和弦
Tonic/ Root Supertonic Mediant Sub
Dominant Dominant Submediant Diminished/
Leading
三、 終止式
終止式(Cadence)的概念源自於 16 世紀的西方音樂，其目的是針對功能性的和聲導進 建立一套法則，定義和弦進行時的樂句型式及文法。基本的終止式法則將調性內的級 數和弦分成三類：
l T(Tonic)：以 I 級和弦為代表。為該調的中心與靈魂和弦，也是最具安定性的和
19
根據〈馬可夫鏈的簡介〉(姜袓恕 1988，43-49)，馬可夫鏈(Markov Chain)之定義為：
在一連串的試驗中，每次試驗所可能發生的結果為 𝐸!、𝐸!、… 𝐸!，每一個結果 𝐸!
在自動作曲中，馬可夫鏈常應用在旋律音序列的產生規則，及和弦級數的行進規則
，藉由控制「權重值」(條件機率)，使產生的音樂在其元素的總量或是行進走向能夠有 一定的規範程度，進而操控產生音樂的風格或意象。
下圖是經由Max/MSP 的 object 統計 1700 首單旋律歌曲(已轉為 C 大調)，其中包含大 約73,000 音符所生成的一階馬可夫鏈權重表：
圖 2-7 C 大調馬可夫鍵權重表
資料來源：Digital Music Programming II: Markov Chains. (http://peabody.sapp.org/class/dmp2/lab/markov1/)
21
第二節 動作擷取系統
本系統是使用Microsoft XBOX 遊戲主機上的 Kinect 硬體，配合 SYNAPSE for Kinect 軟體，捕捉人體在測量空間的形狀及前後景深度，最後透過 Max/MSP 的邏輯運算 patcher，計算出各關節點的拉邦運動系數。
一、 使用 Kinect 擷取即時影像
Kinect 可同時擷取彩色影像、3D 深度影像以及聲音訊號。首先是 Kinect 機身上有 3 顆鏡頭，中間的鏡頭是一般常見的RGB 彩色攝影機，左右兩邊鏡頭則分別為紅外線發 射器和紅外線CMOS 攝影機所構成的 3D 深度感應器，Kinect 主要就是靠 3D 深度感應 器偵測玩家的動作。
圖 3-2 Kinect
二、 使用 SYNAPSE for Kinect 擷取人體骨架及座標點
SYNAPSE for Kinect 是一套可讀取 Kinect 資訊及人體追蹤(Body Tracking)的軟體，
利用他的人體追蹤功能，可將 Kinect 的拍攝的畫面即時分析人體的軀幹及各關節位置
，並以OSC(Open Sound Control)訊號格式送出各關節點的三維座標，在本系統中，我 們使用這套軟體做為人體骨幹分析的工具，並透過他所偵測出的人點關節點三維座標
，送入Max/MSP 內判讀。
23
圖 3-3 Synapse 系統示意圖
三、 使用 Kinect Via Synapse 控制 OSC 訊號
Kinect Via Synapse 是以 Max/MSP 建構的 patcher，在本系統裡，我們使用此 patcher 以控制及監控從SYNAPSE for Kinect 送入的座標值，並調整其送入訊號的時間間隔及 座標值的單位(設定為公分)
圖 3-4 Kinect via Synapse 示意圖
四、 Laban Movement Analysis Patcher (LMA Patcher)
圖 3-5 Laban Movement Analysis Max/MSP Patcher
五、 LMA 之 Effort 參數實作
因 SYNAPSE 於接受 Kinect 訊號時，得到的值是非連續性的單位時間取樣點，故我 們利用此一特性，捨棄求得連續性的微分方程式，而用差分法及畢式定理(Pythagorean Theorem)，計算出單位時間內兩取樣點在空間內的：
l 近似速度 l 近似加速度
利用上述兩參數，更進一步演算出四個符合Laban Movement Analysis 裡 Effort 所需 要的運動學參數：
25 (Variation of Acceleration，VA) (Variation of Axis Acceleration，VAA)
測量時間內加速度變化 值在三維上的投影
值愈大表示動作趨 於迂迴
此四數值對應Laban Movement Analysis 關系如下表：
27
六、 LMA 之 Shape 參數實作
Laban Movement Analysis 中的 Shape 係使用各關節點相對於軀幹中心的距離值，同 樣是以動作輸入期間內的距離最大值與現值的比值做為輸出值(現值/最大值，介於 0~1 之間的浮點數值)。
表 3-3 拉邦運動分析(LMA)之 Shape 元素與運動參數關聯表 資料來源：本論文整理
以下為LMA Effort & Shape 系統實作之 Max/MSP Patcher：
圖 3-7 LMA Effort & Shape 系統實作之 Max/MSP Patcher 示意圖
LMA Shape 空間關系
自我動作 靠近身體中心，距離變化量小 包覆動作 遠離身體中心，距離變化量大
第三節 LMA 動作與情緒對應系統
一、 情緒模型
本系統所使用的情緒模型為 Gomez 提出的二維情緒模型(Gomez and Danuser 2004, 91)，係將 ”Valance” 及 ”Arousal” 兩情緒因子做為二維坐標中的 X,Y 變數，藉此定 義不同情緒在四個象限的分布位置，而此系統的情緒圖介面是以Max/MSP 所繪製，如 下圖：
圖 3-8 二維情緒模型之 Max/MSP Patcher 截圖
29
表 3-5 二維情緒與 LMA 之 Shape 對應表
31
以下為系統實作之Max/MSP LMA to Emotion Map Patcher：
圖 3-9 元素對應二維情緒元素(Arousal、Valance)之 Max/MSP 程式截圖 1
圖 3-10 LMA 元素對應二維情緒元素(Arousal、Valance)之 Max/MSP 程式截圖 2
第四節 自動作曲系統
自動作曲的部份，在上述研究與討論中已有多種音樂參數與認知情緒圖有直接相關
，而在實作中，我們使用部份的音樂參數：
33
二、 調性
在此系統中我們判斷 x 值(valance)的大小，控制歌曲行進時和弦走向落在大調或小 調的機率。
圖 3-12 調性控制之 Max/MSP 程式截圖
機率的控制是使用 Max/MSP 中的 prob 物件，該物件的前兩常數為狀態的變化趨勢
，第三常數為達到此變化之權重值(weight)，我們設置四種可能發生的狀況如下：
表 3-7 調性狀態表 資料來源：本論文整理
Major : 0 ; minor : 1 調性狀態
0 0 調性維持在大調 0 1 調性由大調轉小調 1 0 調性由小調轉大調 1 1 調性維持在小調
當 x 值大時(valance 高)，調性維持在大調及調性由小調轉大調的權重值變大，產生 曲調會有較高的機率由小調轉大調或停留在大調，反之若 x 值小(valance 低)則調性維 持在大調及調性由小調轉大調的權重值變小，產生曲調會有較高的機率由大調轉小調
35
三、 音階
在此系統預設產生的音階共有三種，分別是大調音階、小調音階、和聲小調音階：
表 3-8 系統預設產生音階表 資料來源：本論文整理
主音 上主音 中音 下屬音 屬音 下中音 導音
大調音階 1 2 3 4 5 6 7
小調音階 1 2 b3 4 5 b6 b7
和聲小調音階 1 2 b3 4 5 b6 7
音階的使用是依照調性產生系統而選擇大調或小調音階，並在級數進行至五級時使 用和聲小調音階，藉此修正小調和弦行進時導音的上行。
圖 3-13 音階產生之 Max/MSP 程式截圖
音階的產生是以該調的MIDI 音高再加上全音(+2)及半音(+1)的排列而組成，以 C 調 為例：
表 3-9 音階產生表 資料來源：本論文整理
在此系統中音階的使用將影響和弦級數對應到的根音絕對音高，及各級數和弦所使 用的和弦內音絕對音高(C3=48)如下：
表 3-10 調性為 C 之音階產生表 資料來源：本論文整理
Do Re Mi Fa Sol La Si 大調 +0 +2 +4 +5 +7 +9 +11 小調 +0 +2 +3 +5 +7 +8 +10 和聲小調 +0 +2 +3 +5 +7 +8 +11
C 調 Do Re Mi Fa Sol La Si 大調 48 50 52 53 55 57 59 小調 48 50 51 53 55 56 58 和聲小調 48 50 51 53 55 56 59
37
四、 級數
此系統所設定的調性法則為單一調性，所以級數和弦行進的起始值是參考終止式法 則，而透過Arousal 及 Valance 的影響，在級數的行進可能性也會因此影響，以下將敘 述其流程。
和弦行進以「級數」為控制參數，而級數的行進選擇是透過馬可夫鏈(Markov Chain) 控制級數的走向，利用馬可夫鏈的機率定義，我們可在當下的級數狀態給予進行到下 個級數的機率，藉此達到即時運算作曲的目標。
使用者可以預先輸入級數行進的兩組馬可夫鏈權重值表，此兩組馬可夫鍵值表的預 設是以大調及小調終止式的規則為預設權重值所集合的列表，此兩組權重值表，分別 代表以X 軸上 Valance 最大及最小值所對應的和弦行進的權重值序列，而透過 Valance 的變化，兩組的馬可夫鏈也會做等比例的加總，藉此達到 Valance 的大小會影響整體 和弦進行方向的控制目標。
而Arousal 的大小也會影響和弦的變化量，意即在 Arousal 大時，和弦的行進傾向移
而Arousal 的大小也會影響和弦的變化量，意即在 Arousal 大時，和弦的行進傾向移