基於生理訊號變化即時偵測音樂誘發情緒研究

國

立

交

通

大

學

工學院聲音與音樂創意科技

碩士學位學程

碩 士 論 文

基於生理訊號變化即時偵測音樂誘發情緒研究

Music-induced Emotions Recognition Based on

Physiological Signals Variation for Mood Locus

Tracking System

研 究 生：邱慧珊

指導教授：鄭泗東 教授

基於生理訊號變化即時偵測音樂誘發情緒研究

Music-induced Emotions Recognition Based on

Physiological Signals Variation for Mood

Locus Tracking System

研 究 生：邱慧珊 Student：Hui-Shan Chiu

指導教授：鄭泗東 Advisor：Stone Cheng

國 立 交 通 大 學

工學院聲音與音樂創意科技碩士學位學程

碩 士 論 文

A Thesis

Submitted to Master Program of Sound and Music Innovative Technologies College of Engineering

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master

in

College of Engineering August 2013

Hsinchu, Taiwan, Republic of China

I

基於生理訊號變化即時偵測音樂誘發情緒研究

學生：邱慧珊

指導教授：鄭泗東

國立交通大學工學院聲音與音樂創意科技碩士學位學程

摘 要

音樂在日常生活扮演著重要的角色，一首扣人心弦的音樂，會使聽者產生共 鳴，激起聽者情緒的波動，不同的音樂會促使聽者出現不同的情緒反應，本實驗 室歷年來研究的內容趨勢皆以分析音樂情緒為主軸，辨識每首音樂本身所代表的 情緒，然而對於人們聽音樂的真實情緒是否與系統辨識出的音樂情緒一樣仍存有 不確定性，因此，本研究主要銜接過去實驗室的音樂情緒研究，利用生理感測器 測量測試者聽音樂前與聽音樂後時的生理反應，將生理感測器測得的生理參數擷 取加以分析，目的為觀察測試者聆聽音樂過程中，其情緒之生理反應表現，是否 與數理方式分析出的音樂情緒結果相符，並比較聆聽音前樂與聽音樂時的生理訊 號有何相異。於數種生理訊號中，本研究將採用心率值(Heart Rate)與心率變異度 (Heart rate variability)以及肌電圖訊號(Electromyography)三種生理參數，來進行音 樂與人類情緒變化之間的關係研究。

ii

Music-induced Emotions Recognition Based on

Physiological Signals Variation for Mood

Locus Tracking System

Student：Hui-Shan Chiu

Advisor：Stone Cheng

Master Program of Sound and Music Innovative Technologies

National Chiao Tung University

Abstract

Emotional responses varied greatly according to musical genre and type of response. In recent years, our laboratory researches are focused on mathematical analysis of music emotion to recognize the mood variation in music listening. However, there are not sure the music’s emotion which recognized by mathematical analysis are the same as feelings of humans. This research studies musically induced emotions as an experiential phenomenon. Emotions identified with physiological manifestations, without excluding those emotional states that may not have overt expressions but still represent highly characteristic reactions to music. Three kind of physiological signals: heart rate(HR), heart rate variability(HRV), and electromyography(EMG) were used to observe the relationship between emotions evoked by the sound of music and physiological responses. The study measured electromyography, heart rate, and heart rate variability in real time when participants listening to music, and convert the physiology signals into power spectrum to observe relationship between mathematical analysis of music emotion and physiology signals of humans emotion. Also, many physiological responses to music other than emotional reaction are possible, and not all individuals react emotionally to music, we believe that a systematic investigation of musically induced emotions may benefit from a focus on feeling.

iii

誌謝

黑夜一過，終究會露出曙光；再大的雨，終究會雨過天青。就如我這兩年來 的研究寫照，過程中遇到了不少挫折，能撐過，全是因為我遇到不少貴人。感謝 鄭泗東老師於我研究生涯這段期間的指導，百忙之中仍會抽出一些時間，不辭辛 勞地和我討論研究上遇到的問題；感謝實驗室的育丞學長、歆苹、珺竹、婕安、 士傑、翔翔，以及學弟柯偉、柏丞、嘉翔、家暐、定諺、安翔、柏霖、學妹敬書， 每當我實驗上與人生中遇到疑惑或是有不懂的地方時，總是很有耐性的幫助我， 直到問題解決，讓我茅塞頓開，繼續往前衝，更感謝的是，你們有福同享，有難 同當，一起出遊放鬆，一起不眠不休，甚至還把實驗室的氣氛炒得非常歡樂，導 致我常常捨不得離開實驗室，有你們在的日子，我真的很難沉悶。感謝柏枷學長、 鈺群，不遺餘力地教我程式，使我的實驗進度大幅提升。感謝紹航學長為我解答 生醫領域的疑問，讓我從完全不懂到略知一二。感謝我的多年好友齡仟與盧豪， 在我低潮的那陣子，不厭其煩地聽我訴苦，鼓勵我堅持下去。感謝聲音學程與音 樂所的所有人，因為熱情，因為人數不多，幾乎認識彼此，互相幫助，讓我覺得 我待在一個溫暖的大家庭。感謝住在北部的親戚長輩們，在我來新竹念書的這兩 年來，對我的照顧。 最後感謝我的家人，因為你們一路上的支持，讓我有動力繼續完成學業，直 到今天。 我不是孤軍奮戰完成這本論文，是大家合力幫我「寫」出來的，內容不僅包 含研究動機、研究內容與研究結果，更重要的是包含了我對許多人由衷的感謝， 謝謝上帝讓我遇到你們。

iv

目錄

摘要... I Abstract ... ii 誌謝... iii 目錄... iv 圖目錄... vii 表目錄... x 一、 緒論... 1 1.1 研究動機... 1 1.2 文獻回顧... 2 1.3 研究內容簡介... 3 二、 神經系統與情緒反應... 4 2.1 神經系統... 4 2.2 自律神經系統與情緒反應... 5 三、 生理訊號... 8 3.1 心率值(HR)簡介 ... 8 3.2 心率變異度(HRV)簡介 ... 11 3.2.1 心率變異度(HRV)時域分析 ... 12 3.2.2 心率變異度(HRV)頻域分析 ... 13 3.3 肌電圖(EMG)訊號簡介 ... 16 3.3.1 肌電圖(EMG)訊號與情緒 ... 16 3.3.2 肌電圖( EMG)電路 ... 18 四、 音樂特徵之心理感受與情緒辨識... 20 五、 研究方法... 25 5.1 系統架構簡介... 25 5.2 實驗儀器與系統介面介紹... 26

v 5.2.1 血氧濃度計... 27 5.2.2 自律神經(HRV)量測系統 ... 29 5.2.3 肌電圖感測器... 31 5.2 實驗流程與步驟... 32 六、實驗結果與分析... 36 6.1 心率變異度(HRV)參數分析 ... 36 6.1.1 心率變異度(HRV)頻率參數結果分析範例 ... 38 6.2 肌電圖(EMG)訊號參數分析 ... 46 6.2.1 肌電圖(EMG)訊號結果分析範例 ... 49 6.3 心率值(HR)訊號參數分析 ... 54 6.3.1 心率值(HR)訊號結果分析範例 ... 55 七、 結論與未來展望... 63 7.1 結論... 63 7.2 未來展望... 65 八、參考文獻... 66 附錄一、 測試者 HRV 頻域分析結果與音樂情緒辨識結果 ... 70 指定曲：少女時代-HAHAHA ... 70 指定曲：Enya-Only Time ... 72

指定曲：木匠兄妹-It's Going to Take Some Time ... 74

指定曲：Breed 77–Zombie... 76

指定曲：Chopin-Nocturne #2 In E Flat, Op 9 ... 78

附錄二、測試者 EMG 之 FFT 與 STFT 頻域分析結果 ... 80

指定曲：少女時代-HAHAHA ... 80

指定曲：Enya-Only Time ... 82

指定曲：木匠兄妹-It’s Going to Take Some Time ... 84

指定曲：Breed 77–Zombie... 86

指定曲：Chopin-Nocturne #2 In E Flat, Op 9 ... 88

附錄三、測試者心率平均值分析結果... 90

vi

少女時代-HAHAHA ... 92

Enya-Only Time ... 93

木匠兄妹-It's going to take sometime ... 94

Breed 77–Zombie... 95

vii

圖目錄

圖 1.1 生理反應與音樂相關研究總覽[7] ... 2 圖 2.1 人體神經系統分類... 5 圖 2.2. 自律神經系統分類... 5 圖 2.3 自律神經系統分佈範圍[14] ... 6 圖 2.4 經系統活躍程度與情緒特徵... 7 圖 3.1 心跳週期波形... 8 圖 3.2 R-R Interval ... 9 圖 3.3 心率大小與情緒關係圖... 9 圖 3.4 研究音樂改變心跳速率之重要作者與相關研究... 10 圖 3.5 心率變異度分析過程[23] ... 11 圖 3.6 心率變異度頻域各頻帶範圍... 14 圖 3.7 肌電訊號振幅改變與情緒關係圖... 17 圖 3.8 訊號貼片黏貼之肌肉部位(斜方肌) ... 17 圖 3.9 肌電感測器... 18 圖 4.1 二維基本情緒模型... 20 圖 4.2 系統流程方塊圖... 21 圖 4.3 木匠兄妹─Goodbye To Love 情緒辨識結果 ... 22 圖 4.4 不同情緒之累積時間比例... 22 圖 4.5 音樂剛開始之情緒軌跡變化截圖... 23 圖 4.6 情緒軌跡變化之過程截圖... 23 圖 4.7 音樂結束後留下之情緒軌跡與時間比例... 24 圖 5.1 研究系統架構... 25

viii 圖 5.2 血氧濃度計... 26 圖 5.3 自律神經(HRV)量測系統 ... 26 圖 5.4 肌電圖感測器... 27 圖 5.5 血氧濃度計量測生理訊號示意圖... 28 圖 5.6 Spo2 擷取生理訊號畫面 ... 28 圖 5.7 利用 Excel 處理訊號參數 ... 29 圖 5.8 HRV 自律神經系統量測生理訊號示意圖 ... 29 圖 5.9 心率變異度頻譜分析... 30 圖 5.10 心率變異度頻域分析結果以及時域與頻域參數值... 30 圖 5.11 電極貼片黏貼部位 ... 31 圖 5.12 EMG 時域訊號 ... 31 圖 6.1 各頻率成份比例計算結果... 37 圖 6.2 測試者頻率比例計算結果... 38

圖 6.3 測試者聽指定曲「Nocturne #2 In E Flat, Op9」的頻率比例結果 ... 39

圖 6.4 測試者聽自選曲「Drenched」的頻率比例結果 ... 40 圖 6.5 音樂情緒辨識軌跡與情緒成份比例... 41 圖 6.6 測試者「編號 1」聽音樂前與聽指定曲後頻率比例結果... 41 圖 6.7 測試者「編號 2」聽音樂前與聽指定曲後頻率比例結果... 42 圖 6.9 測試者「編號 4」聽音樂前與聽指定曲後頻率比例結果... 42 圖 6.10 測試者「編號 5」聽音樂前與聽指定曲後頻率比例結果... 43 圖 6.11 測試者編號 1 聽音樂前與聽自選曲後頻率比例結果 ... 44 圖 6.12 測試者編號 2 聽音樂前與聽自選曲後頻率比例結果... 44 圖 6.13 測試者編號 3 聽音樂前與聽自選曲後頻率比例結果... 44

ix 圖 6.14 測試者編號 4 聽音樂前與聽自選曲後頻率比例結果... 45 圖 6.15 測試者編號 5 聽音樂前與聽自選曲後頻率比例結果... 45 圖 6.16 數名測試者無聽音樂的 HRV 頻譜圖 ... 46 圖 6.17 快速傅立葉轉換(FFT)分析畫面 ... 47 圖 6.18 短時傅立葉轉換(STFT)分析畫面... 48 圖 6.19 測試者「編號 2」未聽音樂的肌電訊號 FFT 頻譜圖 ... 50 圖 6.20 測試者「編號 2」聽指定曲「HAHAHA」的肌電訊號 FFT 頻譜圖 ... 50 圖 6.21 測試者「編號 2」聽自選曲「練舞功」的肌電訊號 FFT 頻譜圖 ... 51 圖 6.22 測試者「編號 2」未聽音樂的肌電訊號 STFT 頻譜圖 ... 52 圖 6.23 測試者「編號 2」聽指定曲「HAHAHA」的肌電訊號 STFT 頻譜圖 ... 52 圖 6.24 測試者「編號 2」聽自選曲「練舞功」的肌電訊號 STFT 頻譜圖 ... 53 圖 6.25 少女時代「HAHAHA」音樂情緒辨識軌跡與情緒成份比例 ... 53 圖 6.26 心率值分析畫面... 54

圖 6.27 五名測試者聽「Nocturne #2 In E Flat, Op9」指定曲的心率表現 ... 57

圖 6.28 五名測試者心率值正規化結果... 57

圖 6.29 蕭邦-「Nocturne #2 In E Flat, Op9」情緒辨識結果 ... 57

圖 6.30 讀取心率值程式... 59 圖 6.31 心率值輸出程式... 59 圖 6.32 音樂影檔播放程式... 59 圖 6.33 播放音樂與讀取心率值之前的程式畫面... 60 圖 6.34 音樂情緒軌跡與心率值剛開始變化的截圖... 60 圖 6.35 音樂情緒軌跡與心率值變化過程的截圖... 61 圖 6.36 音樂結束後的情緒軌跡與心率值資料全部輸出完的截圖... 61

x

表目錄

表 2.1 自律神經系統對應的生理反應與情緒表現 ... 7 表 3.1 音樂對情緒與心率的影響 ... 11 表 3.2 HRV 時域分析法 ... 12 表 3.3 HRV 頻域各項指標與情緒特徵 ... 15 表 5.1 所有指定曲的音樂情緒成份 ... 33 表 6.1 測試者「編號 1」HRV 頻率分析成份統整結果 ... 40 表 6.1 圖 6.16 的 VLFP 比例值，紅色表示 VLFP 值超過 50%，黑色表示 VLFP 值未達 50% ... 46 表 6.2 快速傅立葉轉換(FFT)程式碼 ... 48 表 6.3 短時傅立葉轉換(STFT)程式碼 ... 49 表 6.4 測試者「編號 1」三個實驗階段的心率平均值 ... 55 表 6.5 所有測試者聽音樂前與聽同一首指定曲以及曲風相似的自選曲的三個平 均心率值 ... 55

1

一、 緒論

1.1 研究動機

音樂在人類的世界扮演著重要的角色，子曰：「興於詩，立於禮，成於樂。」， 貝多芬：「音樂是比一切智慧、一切哲學更高的啟示。」，舒曼：「對我來說，音 樂是靈魂的完美表現。」，莫札特：「人們認為我的藝術創作是輕而易舉得來的， 這是錯誤的。沒有人像我那樣在作曲上花費如此大量的時間和心血，沒有一位大 師的作品我沒有再三研究過。」…音樂不僅是藝術，更是許多人的「必需品」， 音樂家的「精神支柱」，更被中國的至聖先師視為人們修身養性達到完善的最大 動力。一首扣人心弦的音樂，會使聽者產生共鳴，激起聽者情緒的波動，使聽者 感到精神奕奕，使聽者鼻酸落淚，使聽者怡然自得，不同的音樂會促使聽者出現 不同的情緒反應，因此音樂更被喻為「情緒的語言」(Cooke, 1959)，其關鍵在於， 音樂本身也有情緒存在，而音樂情緒的形成取決於音樂的音高、音程、節奏、調 性、旋律…等特徵，本實驗室歷年來研究的內容趨勢皆以分析音樂情緒為主軸， 如:「以情緒感受為基礎之自動音樂選曲系統」[1]、「時變性的音樂情緒成份分 析研究」[2]、「即時性音樂情緒響應追蹤研究」[3]、「基於多重結構分析聆聽情 緒相似度之音樂資訊檢索」[4] …等，然而對於人們聽音樂的真實情緒是否與系 統辨識出的音樂情緒一樣仍存有不確定性，而歷年來許多文獻也指出，人類情緒 狀態會反應在生理訊號變化上，因此，本研究主要銜接過去實驗室的音樂情緒研 究，利用生理感測器測量測試者聽音樂前與聽音樂後時的生理反應，將生理感測 器測得的生理參數擷取加以分析，目的為觀察試者聽到音樂後，其情緒之生理反 應表現，是否與數理方式分析出的音樂情緒結果相符，並比較測試者在聆聽音樂 前與聽音樂時的生理訊號之變化。 目前不少生理訊號特徵已被證實可用來觀測人類情緒狀態，如：心跳、血流 量、血壓、皮膚導電度、表皮溫度、腦波、瞳孔反應、腸胃蠕動、肌電圖[5]， 於數種生理訊號中，本研究將採用心率值(Heart Rate)與心率變異度(Heart rate

2 variability)以及肌電圖訊號(Electromyography)三種生理參數，來進行音樂與人類 情緒變化之間的關係研究。

1.2 文獻回顧

早在古希臘時期，人們已注意到音樂對於人體有所影響，直到西元 1741 年， 開始有人以科學實驗的方式提出音樂對人體確實有所影響之證明，而 Frenchman Gretry 可能是最早做這項研究的學者[6]，此後也有好幾位科學家或研究學者陸續 針對音樂與人體關係之重點，做進一步的研究與討論，如 Warthin(1894)發現被 催眠的病患聽到音樂時，心跳速率產生變化；1962 年 Diserens 發表音樂對人的 行為影響；1980 年 Hodges 提出音樂之於生理反應的研究，圖 1.1 中之圖片內容 為歷年研究音樂與人之間重要的作者與其研究項目。 圖 1.1 生理反應與音樂相關研究總覽[7] 而近年也有許多針對情緒表現對應生理反應之相關研究，如Rumi Hiraga, Nobuko Kato, Noriyuki Matsuda等人[8] 利用圖像表現觀測視覺變化與測試者的 情緒反應是否有明顯關係；George A等人[9]利用偵測臉部的肌電訊號來判斷當下

3

情緒為幸福、悲傷、驚訝、憤怒以及厭惡中的哪一類；Wanqing Wu與Jungtae Lee 等人[10]利用心電圖分析出心率變異度(Heart rate variability)，探討心率變異度與 正、副情緒的關係；Dean Sabatinelli等人[11]利用視覺刺激測試者產生各種情緒， 發現不同情緒對應於大腦區塊的活動範圍與部位也會有所不同；Hsuan-Kai Wang 利用音樂改變使用者情緒，並蒐集數種生理訊號，分析出一套可用的即時辨識情 緒系統，從中找出最能判定情緒之生理訊號[12]。 本論文與上述研究不同之處，為依據本實驗室研究出的一套完整辨識音樂情 緒之程式，在眾多已被辨識出情緒成份的音樂當中，選擇五首情緒成份不相似， 即曲風不同的音樂，來探討音樂本身對人體生理反應的影響，觀察聽者聽音樂前 後的生理變化，並利用生理訊號所代表的情緒定義，檢視測試者聽音樂時的情緒 與音樂本身被辨識出的情緒是否相符。

1.3 研究內容簡介

本研究於第二章節說明人體神經系統與情緒反應的關聯性，第三章針對本實 驗所採用的三種生理訊號之特性理論與情緒關係詳加介紹，第四章說明實驗室所 作的音樂特徵之心裡感受與情緒辨識系統，第五章介紹研究知系統架構與生理儀 器介紹，以及實驗流程步驟，第六章主要探討實驗分析與結果，最後第七章節將 所有實驗結果全盤總結，並討論本研究的未來展望。

4

二、 神經系統與情緒反應

2.1 神經系統

人體的神經系統（Nervous System）極為繁雜，但分工機制卻有條不紊，如 下圖 2.1 所示，參考文獻[13]神經系統主要可分為中樞神經系統 (Central Nervous System, CNS) 和周邊神經系統(Peripheral Nervous System, PNS)兩大類。藉由神 經纖維連結這兩種神經系統，我們才能夠因應外界的環境變化而產生適當的身體 反應，並且有思考、記憶、情緒變化的能力。其中，中樞神經系統又可被分為兩 個部份：大腦 (Brain) 和脊椎 (Spinal cord)，主要功能為反射作用(reflexes)、隨意 運動的控制(voluntary motor control)、語言(language)、睡眠(sleep)、情緒(emotions)、 動機(motivation)、學習(learning)及記憶(memory)…等；而周邊神經系統由神經元 組成，主要在中樞神經系統及身體各器官之間，作為傳遞訊息的橋梁，周邊神經 系統基於傳輸方向可再分為傳入神經系統(Afferent)與輸出神經系統(Efferent)。傳 入神經系統是從器官將感覺訊息傳至中樞神經系統中，而輸出神經系統則從中樞 神經系統傳送訊息到器官的神經末梢，若將輸出神經系統以由意識控制與否之條 件來看，可再將其分為軀體神經系統(Somatic Nervous System)與自律神經系統 (Autonomic Nervous System)。軀體神經系統功能為控制骨骼肌的收縮，此功能可 由人的意識來決定；而自律神經系統則不可由人的意識操控，且為人體神經系統 中，與本研究內容的情緒部分最為相關的神經系統，本章 2.2 小節將針對自律神 經系統的功能與情緒之間的關聯性作一系列說明。

5 圖 2.1 人體神經系統分類

2.2 自律神經系統與情緒反應

自律神經系統其主要功能在於調控內臟的平滑肌運動以及內分泌腺體產生 內分泌激素，簡言之，即為負責心跳、呼吸、血壓、體溫等…重要生理功能的維 持與協調。自律神經系統與中樞神經系統控管的方向大有逕庭，由中樞神經系統 負責的功能表現可受自我意識去控制，如上節所述的思考、情緒、動作、行為等 等；反之自律神經系統負責的生理反應則無法經由人本身的意識去控制心跳、呼 吸、血壓、體溫等諸如此類的生理反應，人類的情緒變化反應與自律神經系統息 息相關[14]，將自律神經系統細分，則又可分為兩大類：交感神經系統(sympathetic nervous system)與副交感神經系統(Parasympathetic nervous system)，如圖 2.2。

6 圖 2.3 自律神經系統分佈範圍[15] 交感神經系統分布於胸脊髓至腰脊髓的範圍，副交感神經系統分布範圍為腦 幹和薦椎脊髓部分(圖 2.3)。當人面臨緊張、亢奮、恐懼、或壓力之情況時，交 感神經系統會被喚醒並且開始作用，體內使用能量迅速增加，造成血壓上升、心 跳加快、血管收縮、呼吸變快、體溫增高、讓人體保持警覺、提高專注力；副交 感神經系統的功能和交感神經相反，當人處於輕鬆、休息、復原、睡覺或緊張過 後的狀態時，體內的生理活動改由副交感神經系統主宰。此時身體的工作目標是 儲備能量，因此副交感神經的活化大於交感神經活化的程度，使血壓降低，心跳 變慢，消化吸收過程開始。在醫學界有「自律神經失調」一詞，其意義在於交感 神經與副交感神經彼此相互抗衡的過程出現問題，兩者之間有一方活躍程度遠大 於另一方，一旦發生自律神經失調，臨床的症狀表現，就看這兩者誰的活性較強， 若是交感神經太活躍，就會出現焦慮緊繃、心悸、血壓升高；副交感神經表現過 強，就容易覺得疲憊懶散、精神不濟、體力下降。以睡眠為例，當交感神經活動 力減弱、副交感神經活動力增強時，才能進入睡眠，倘若應該睡覺時，交感神經 仍然亢奮作用，副交感神經就無法運作啟動睡眠，進而導致失眠，無法入睡，此 為自律神經失調的情況之一。自律神經系統失調不僅僅影響內臟器官(如心臟)調

7 節不正常，也會使其它生理症狀失調，如: 手抖、頭痛、盜汗、腹瀉或便秘、腸 胃不適、頻尿等現象[16]。下表 2.1 為自律神經系統對應的生理反應與情緒表現。 表 2.1 自律神經系統對應的生理反應與情緒表現 自律神經系統(ANS) 交感神經刺激 副交感神經刺激 生理 反應 心跳加快、血壓升高、呼吸加速、 腸胃減少蠕動、肌肉緊繃 心跳變慢、血壓降低、呼吸緩慢、 腸胃增加蠕動、肌肉放鬆 情緒 緊張、亢奮、恐懼、壓力 平靜、緩和、放鬆、愉悅 綜合以上的觀點，不同的情緒，會有不同的生理反應，而生理反應的變化則 是因為自律神經系統中的交感神經與副交感神經活化程度改變的關係，使得生理 反應有所改變[17]。如圖 2.4 所示，箭頭愈往右代表交感神經活性愈強，愈往左 則副交感神經活性愈高；當副交感神經活性程度愈大於交感神經活性，表示人的 情緒愈趨向平靜的狀態，但要是副交感神經活動力過於強大，則會使經神狀態由 安定轉變成疲累；同理，當人們情緒偏向亢奮或激動時，代表交感神經活化程度 大於副交感神經活化程度，過大則會使人焦慮不安。 圖 2.4 經系統活躍程度與情緒特徵

8

三、 生理訊號

第三章重點主要介紹本研究所採用的生理訊號以及生理訊號表現特徵與對 應的情緒反應。3.1 介紹心率值(HR)；3.2 說明何謂心率變異度(HRV)；3.2.1 介紹 心率變異度(HRV)時域分析；3.2.2.介紹心率變異度(HRV)頻域分析；3.3 為 EMG 機電圖簡介；3.3.1 介紹 EMG 生理訊號與情緒；3.3.2 說明 EMG 電路圖之架構。

3.1 心率值(HR)簡介

心率值(Heart Rate, HR)為心臟跳動的頻率，由心電圖(Electrocardiogram, ECG)分析而得。心電圖為醫學上普遍用來輔助醫生診斷患者心臟是否正常運作 的醫療儀器，而心電圖上會偵測出P、Q、R、S、T五種波形，合稱PQRST複合 波，又因此複合波中，屬QRS三種波形較容易被偵測到，故亦稱為QRS複合波， 即為心跳一個週期的波形，如圖3.1。 圖 3.1 心跳週期波形 參考來源:http://www.fandigital.com/2012/02/heartbeat-can-be-used-as-password.html 由上圖 3.1 可知，心電圖上的五種波形，R 波最為明顯，而偵測到的 R 波與 下一個被針測到的 R 波之間的距離稱為「R-R Interval」，如圖 3.2，此距離即代

9 表心跳速率，從 R-R interval 可測得平均心跳速率，人體心率值即為 R-R interval 時域分析後的其中一項生理參數指標[18]，計算公式如下: i 60 HR= RR (1) HR：心跳速率；單位：bpm；RR ：R-R interval _i 圖 3.2 R-R Interval 參考來源: http://eleceng.dit.ie/tburke/biomed/assignment1.html 圖 3.3 心率大小與情緒關係圖 心跳速率會因為情緒的改變而有所變化[19]。圖3.3為Berntson等人利用93張 投影片內容，誘發出觀看者情緒之實驗結果，當情緒屬於愉悅、快樂的反應時，

10 心率值比平常還要高；同理，當情緒屬於低潮、難過反應時，則會使心率值降低 [20]，又如文獻[21]所述，經由外界聽覺刺激可改心跳速率，於西元1906年起， 至少有54位較為知名的研究者提出(圖3.4)，聽音樂會改變心跳速率，若聽充滿刺 激、鼓舞的音樂會使心跳速率增加；屬於安靜、撫慰的音樂則會使心跳速率降低， 但前提必須是聽者沒有心臟方面之疾病，否則此項論點未必能夠成立[22]。總括 上述之理論，整理成表3.1。 圖 3.4 研究音樂改變心跳速率之重要作者與相關研究

11 表 3.1 音樂對情緒與心率的影響 音樂 刺激、鼓舞 安靜、撫慰 情緒感受 興奮、高昂、快樂 愉悅、平靜、難過 心跳速率 升高 降低 當人們聽充滿刺激、鼓舞的音樂時，情緒會跟著興奮、高昂、快樂起來，心 率值也會升高；當聽屬於安靜、撫慰的歌曲，情緒表現則偏為愉悅、平靜、難過， 心率值下降。

3.2 心率變異度(HRV)簡介

心率變異度(Heart Rate Variability, HRV)為心臟跳動時的速度變化，藉由觀測 心臟律動變化之正常與否，來判斷人體生理調節有無異樣，以一分鐘為例，實際 測量心率變異度可發現，心臟並不是非常規律性的每秒跳動一次，因此心跳間隔 不會一成不變，兩個心率平均值一樣的人，其心率變異度不一定相同。心跳變化 速率在醫學上可當作一些及病徵兆的生理依據，如心臟病與心血管疾病、神經病 學、糖尿病…等[23]，而心率變異度的分析過程如下圖 3.5。 圖 3.5 心率變異度分析過程[24] HRV 心率變異度可分為時域分析與頻域分析，首先利用心電圖(ECG)擷取心 QRS Detection Abnormal Rejection Interpolation and Detrending ECG data Time domain analysis Frequency domain analysis

12 跳的波形訊號，在偵測訊號上的 R-R interval，再利用此參數進行心率變異度之 時域以及頻域分析，以便觀察心臟是否出現心律不整、自律神經平衡失調等異狀。 下文 3.1.1 章節與 3.1.1 章節將分別介紹心率變異度之時域與頻域分析。

3.2.1 心率變異度(HRV)時域分析

由一連串R-R Interval所構成的連續間距稱為「Normal-to-Normal Interval」 (NN Interval)，此為心率變異度(HRV)的重要參數依據。故若欲了解心率變異度 的情況時，則必須先計算出R-R interval的變化。R-R Interval生理參數除的能計算 出心率值外，同時也是心率變異度(HRV)時域分析中不可或缺的基礎資料，下表 3.2即為偵測HRV常用的時域分析法[25]。 表3.2 HRV時域分析法 指標 單位 說明 SDNN ms 正常心跳間期的標準偏差。 SDANN index ms 計算短時間的平均正常心跳 間期(約5分鐘),再計算全程 之平均標準偏差。 SDNN index ms 計算每5分鐘正常心跳間期 之標準偏差,再計算全程的平 均標準偏差。 R-MSSD ms 正常心跳間期差值平方和之 均方根。 NN50 % 正常心跳間期之差值超過50 毫秒的個數。 PNN50 None 相鄰正常心跳間期之差值超 過50毫秒的比例。

13

1. SDNN(standard deviation of all nor mal to nor mal intervals)：正常竇性心搏間期 之標準差，量測基準至少為5分鐘。

2. SDANN index(standard deviation of average normal to normal intervals index)： 計算5分鐘的平均正常心跳間期，再計算全程的平均標準差。

3. SDNN index(standard deviation of all nor mal to normal intervals index)：計算5 分鐘正常心跳間期的標準差，再計算全程的平均標準差。

4. R-MSSD(The square root of the mean of the sum of the squares of differences between adjacent NN intervals)：正常心跳間期差值平方和的均方根。

5. NN50(Nu mber of pairs of adjacent NN intervals differing by more than 50 ms in the entire recording)：正常心跳間期差值超過50毫秒的個數。

6. PNN50(NN50 count divided by the total number of all NN intervals)：相鄰正常心 跳間期差值超過50毫秒的比例。

3.2.2 心率變異度(HRV)頻域分析

心率變異度(HRV)的頻域分析法，最常用的計算方式為快速傅立葉轉換(fast Fourier transformation, FFT)，以功率頻譜密度(Power Spectral Density, PSD)方式表 現，分析功率(變異數)在不同頻率的分佈情形[26]，本章節參考 1996 年歐洲心臟 學會(European Society of Cardiology)及北美心律電生理學會(North American Society of Pacing and Electrophysiology)所成立的一個特別工作小組所公佈的 「 心率變異度之量測，生理意義，及臨床應用」之國際標準[27]與文獻[28]，將 HRV 頻域分析與情緒特徵以及與自律神經系統關係之理論整理於下段文章。

心率變異度頻域分析中，各頻帶能量之頻率範圍，可分為四大部分(圖 3.6): 1. 總功率(total power, TP)：0-0.4Hz，為正常心跳間期的變異數。

2. 超極低頻功率(ultra low frequency power, ULF)：0-0.003Hz，為超極低頻範圍 的正常心跳期間的變異數。

3. 極低頻功率(very low frequency power, VLF)：0.003-0.04Hz，為極低頻範圍的 正常心跳期間的變異數。

14

4. 低頻功率(low frequency power, LF)：0.003-0.04Hz，為低頻範圍的正常心跳期 間的變異數。

5. 高頻功率(high frequency power, HF)：0.15-0.4Hz，為高頻範圍的正常心跳期 間的變異數。

圖 3.6 心率變異度頻域各頻帶範圍 參考來源：American Heart Association

HRV 心率變異度的頻域分析，不僅可看出患者心臟是否有問題，也是和情 緒有密切相關的重要生理參數之一。其中，除了超極低頻功率與極低頻功率尚未 被明確定義與自律神經系統之關係以外，低頻功率代表交感神經活性，高頻功率 代表副交感神經活性，而經由低頻功率與扣除極低頻功率(包含超極低頻功率)後 的總功率，所計算出的常規化低頻功率比(normalized LF, nLF)，代表自律神經系 統中偏向交感神經活化程度，高頻功率與扣除極低頻功率(包含超極低頻功率)後 的總功率，所計算出的常規化高頻功率比(normalized HF, nHF)，代表自律神經系 統中偏向副交感神經活化程度。低頻功率、常規化低頻功率比、高頻功率、常規

15 化高頻功率比皆可以代表交感神經與副交感神經平衡、活化的程度，但常規化低 頻功率比與常規化高頻功率比計算過程中以去除高、低頻功率以外的頻域功率， 可避免交感神經與副交感神經平衡變化時，因總功率也跟著變化而無法真實呈現 自律神經系統的平衡偏向[29]。再者，本文第二章自律神經系統已介紹，交感神 經與副交感神經的活性與情緒有著極大的關聯性─交感神經活性愈大，表示情緒 愈趨向緊張、亢奮、焦慮狀態；副交感神經活性愈大，則代表情緒愈趨向愉悅、 平靜、緩和、倦怠狀態。將此論點對應至心率變異度的頻域分析可知，當低頻成 份比例佔愈多數，表示情緒屬於亢奮、緊張、焦慮的狀態；相對來說，當高頻成 份比例佔愈多數，表示情緒屬於愉悅、平靜、緩和、倦怠的狀態。最後，本文將 HRV 頻域各項指標與對應的情緒特徵整理如下表 3.3。 表 3.3 HRV 頻域各項指標與情緒特徵 指標 單位 頻域範圍 代表的自律神經活 性指標 情緒特徵 ULF ms2 0-0.003Hz - 未定義 VLF ms2 0.003-0.04Hz - 未定義 LF ms2 0.04-0.15Hz 交感神經活性指標 緊張、亢奮、焦慮 HF ms2 0.15-0.4Hz 副交感神經活性指 標 愉悅、平靜、緩和、 倦怠 nLF None - 交感神經活性指標 緊張、亢奮、焦慮 nHF None - 副交感神經活性指 標 愉悅、平靜、緩和、 倦怠 3.2.1 節重點主要介紹心率變異度各頻域所代表的情緒表現，至於 VLF、LF、 HF、nLF、nHF 此五種指標的計算公式將於第六章研究方法中的第 6.1 小節詳細 描述。

16

3.3 肌電圖(EMG)訊號簡介

肌電圖(Electromyography，簡稱EMG)為測量肌肉收縮時的表皮電位差，常 被用來檢測肌肉收縮反應是否正常，可用於醫學上診斷肌肉神經病變、復健評估 或運動肌力訓練。當運動神經元接受訊號時，會刺激肌肉組織收縮，此時細胞外 的離子移動，因而產生電位，肌電圖中接收到的肌電訊號即肌肉收縮時所產生的 電位訊號[30]，而肌電訊號振幅範圍大約在50μV~2mV之間，頻率在5Hz~1KHz 之間[31]。若再將EMG細分，可分為置入肌電圖(侵入式)與表面肌電圖(非侵入式) 兩類，本研究利用電極貼片接收表面肌電訊號，屬後者之非侵入式量測。與置入 肌電圖相比，表面肌電圖優點為操作簡便，無疼痛風險，成本較為便宜，但產生 的雜訊亦比置入肌電圖多，故精準度也較置入肌電圖低，然而通常復健或肌肉訓 練之方法大多仍選擇多數人較為接受的表面肌電圖。

3.3.1 肌電圖(EMG)訊號與情緒

Tassinary 等人已於 1992 年提出 EMG 訊號與情緒變化的相關性，當情緒愈 趨近愉快，肌肉會愈放鬆，肌電訊號變低；當情緒轉為不悅狀態，則肌肉開始緊 繃，肌電訊號變高(圖 3.7)[32]。近年更出現許多利用 EMG 辨識情緒的相關研究， 其中最常見的研究方法為將電極貼片貼在測試者臉上，並讓測試者看各種影片， 藉由視覺的刺激使臉部肌肉訊號出現反應，達到辨識四種基本情緒：喜、怒、哀、 樂之結果[33, 34]。本研究 EMG 與情緒關係之部分有別於其他的研究方式，以聽 覺取代視覺誘發情緒變化，並參考 Jonghwa Kim 等人的研究[35]，選擇將電極貼 片貼於靠近頸部的斜方肌上(Trapezius muscle)(圖 3.8)，測量測試者無音樂情況與 聽音樂時的肌電收縮訊號是否有變化。

17

圖 3.7 肌電訊號振幅改變與情緒關係圖

資料來源：HANDBOOK OF AFFECTIVE SCIENCES

圖 3.8 訊號貼片黏貼之肌肉部位(斜方肌)

18

3.3.2 肌電圖( EMG)電路

圖 3.9 肌電感測器 圖 3.9 為一自製的肌電訊號感測器，作為本實驗的實驗器材之一，圖中右側 電路板為電源供應器(±5V)，左側電路板為訊號放大電路，共有三個運算放大器， 一個差動放大器與可變電阻。貼片黏貼於人體肌肉部位後，將肌電訊號傳送至訊 號輸入端，而輸出端主要接示波器，將肌電訊號顯示於示波器上。EMG 肌電圖 感測器之電路為參考「Advancer Technologies」所設計的肌電訊號電路圖(圖 3.10) 而設計。訊號輸入端的訊號為人體肌電訊號，傳送媒介為 3 個電極貼片，將貼片 貼在人體欲測量的肌肉部位，接收肌肉電訊號，經由電路上的差動放大器將接收 到的正、負訊號值相減，再由三個運算放大器將訊號差值放大，放大後的訊號由 輸出端傳至示波器，顯示肌肉的收縮變化。

19 圖 3.10 肌電訊號電路圖 參考來源：http://www.advancertechnologies.com/ 綜合第三章所有論點可知： (1) 當情緒處於亢奮、緊張、憤怒、焦慮狀態時，交感神經活性變大，心率變快， HRV 頻域中的低頻成分(LF)增加，EMG 訊號變高。 (2) 當情緒處於平靜、愉悅、緩和、倦怠狀態時，副交感神經活性變大，心率變 慢，HRV 頻域中的高頻成分(HF)增加，EMG 訊號降低。

20

四、 音樂特徵之心理感受與情緒辨識

本章節將重點式介紹過去實驗室音樂情緒辨識之理論內容、研究方法與結果， 若欲了解更細部的內容，可參考實驗室歷年論文(文獻[1, 2, 3, 4])。 音樂情緒分為四種：「Content」、「Exuberant」、「Depression」、「Anxious」， 下圖 4.1 為 Robert E. Thayer 提出的二維基本情緒模型[36, 37]，模型圖中分為四 個象限，分別為(黃色)激勵人心的、興奮的，(綠色)舒適愉悅的、平靜的，(紅色) 焦躁憤怒的、痛徹心扉的，(藍色)意志消沉的、憂鬱的。橫軸的定義為音樂給聽 者的抽像壓力，縱軸的定義為給聽者的抽象能量。快速緊湊的節奏較大的音量通 常代表較高的音樂能量，慢速緩和節奏較低的音量則音樂能量較小，不和諧的背 景和聲或小調的調式則會使音樂聽起來備感沉悶，使聽者有情緒壓抑無法釋放出 來的壓迫感，表示音樂造成的壓力較大，諸如此類的音樂特徵強度與模型中的橫 軸、縱軸接有直接關係，依據此理論，將模型相對應的關係以數理分析方法進行 量化，將抽象的情緒感受轉為一組具體量化的結果。 圖 4.1 二維基本情緒模型

21 圖 4.2 系統流程方塊圖 圖 4.2 為音樂情緒分析之流程圖，首先輸入音訊，規格一律採用 WAVE 格式 的音樂檔案；預處理部分為對音訊作音框化處理，使原始訊號切割為許多等長的 音框，此目地是為了能夠表示音訊於每個時刻的狀態；再經過音框化的每個音框 中計算特徵值大小，特徵萃取主要有五種：音樂事件密集度、音量、頻譜分佈、 調式、和聲和諧程度，以上特徵選取原因為根據音樂心理學的研究與日常經驗顯 示，這些特徵值可直截了當地影響聽者感受；於模擬過程中，計算當下的情緒分 數並逐步累加直到音樂結束的時間，最後再將辨識出的情緒結果輸出，結果分為 辨識結果(圖 4.3)、時間比例(圖 4.4)與情緒可視化追蹤系統(圖 4.5, 4.6, 4.7)

22

圖 4.3 木匠兄妹─Goodbye To Love 情緒辨識結果

23

圖 4.5 音樂剛開始之情緒軌跡變化截圖

24

圖 4.7 音樂結束後留下之情緒軌跡與時間比例

本研究將採用以上之音樂情緒辨識之結果，作為驗證人類情緒與音樂情緒相 似程度之比對依據。

25

五、 研究方法

5.1 系統架構簡介

音樂情緒研究涉及到樂理分析、生理分析、心理分析與數理分析等領域，本 研究主要著重於生理部分，目的有二：一為探討人未聽音樂與聽音樂時兩者之間 的生理情緒反應是否有變化？而變化又為何？二為偵測測試者情緒反應的生理 訊號，並將人體反應之生理情緒訊號結果與本實驗室之前研究的音樂情緒訊號做 比較，比對同一首樂曲其被以數理方式分析後的音樂情緒結果和測試者實際聽音 樂後的情緒結果是否相符？而本研究的整體架構如下。 圖 5.1 研究系統架構

26 如圖 5.1 所示，利用測試者接上的三種生理感測器，分別為血氧濃度計、自 律神經系統(HRV)感測器與肌電圖感測器，同時蒐集測試者聽音樂與不聽音樂時 所產生的情緒生理反應訊號，實驗結束後將所有生理訊號的資料傳輸至電腦，並 將生理訊號個別擷取分析，最後再將分析結果與之前實驗室研究後所分析出來的 音樂情緒成份結果相互比對，並將聽音樂的當下所測得的其中一項生理訊號參數 ─心率值(Heart rate)，利用 Labview 程式將聽音樂時所量測到之心率值讀入程式 中，以長條圖的方式逐秒顯示，且同步播放音樂，由此觀察當時受測者聽音樂時 的心率之高低起伏是否和音樂軌跡圖相似。另一方面，除了將生理情緒與音樂情 緒做比較之外，同時也將觀察聽音樂前後所測得的生理訊號之變化情形，探討聽 音樂與不聽音樂時對人的情緒影響。本章節將詳細介紹研究過程中使用的生理感 測器、實驗流程、實驗方式、測試者人數與選用的音樂樣本。

5.2 實驗儀器與系統介面介紹

本研究主要用了三種生理儀器做為實驗器材，分別為：(1) Rossmax SA310 血氧濃度計(圖 5.2)；(2)自律神經(HRV)量測系統(uS4000)(圖 5. 3)；(3) 肌電圖感 測器圖(圖 5.4)。 圖 5.2 血氧濃度計 _{圖 5.3 自律神經(HRV)量測系統}

27 圖 5.4 肌電圖感測器 血氧濃度計與自律神經量測系統皆為利用紅外線感測接收生理訊號，測式者 手指夾上感測端，即可得生理訊號；EMG 肌電感測器以電極貼片為媒介，傳導 肌電訊號至示波器上，擷取感測器所測得的肌電訊號。

5.2.1 血氧濃度計

Rossmax SA310 血氧濃度計為一台非侵入式的家用健檢醫療儀器，藉由兩種 波長(紅光 LED 中心波長與紅外光 LED 波長)的光源，在穿透人體組織如手指等 處後，利用穿透光源變化，運算人體血液中帶氧濃度變化的訊號，配合程式運算， 以每秒為一單位，計算出時域上心率訊號值與血氧濃度值的變化。圖 5.5 為血氧 濃度計量測測試者血氧濃度值與心率值的畫面，圖 5.6 為血氧濃度計利用無線傳 輸方式，將測量到的心率訊號值與血氧濃度值傳至電腦的畫面，其中 HR 是心率 值(單位 bpm)，Spo2 為血氧濃度值。根據本實驗結果顯示，由於 Spo2 變化率微

28 乎其微，用此生理訊號來觀察情緒變化並不理想，故在此主要擷取 HR 心率變化 值來作為本實驗的生理訊號參數之一，Spo2 血氧濃度值則不採用；當訊號全部 傳送完成後，再運用 Excel 檔將生理參數作更完整的分析處理(圖 5.7)。 圖 5.5 血氧濃度計量測生理訊號示意圖 圖 5.6 Spo2 擷取生理訊號畫面

29

圖 5.7 利用 Excel 處理訊號參數

5.2.2 自律神經(HRV)量測系統

30 自律神經(HRV)量測系統(uS4000)可用來量測心跳值與 HRV 心率變異度的 頻域值(圖 5.8)，本研究主要利用此生理儀器觀測受測者心率變異度頻域分析結 果，如圖 5.9，藍色頻段為極低頻(VLF)範圍，綠色頻段為低頻(LF)範圍，紅色頻 段為高頻(HF)範圍，由此畫面可測量出測試者的 HRV 頻率值與強度，進而了解 測試者的情緒變化。 圖 5.9 心率變異度頻譜分析 當量測結束後，系統會將實驗過程所量測到的 VLF、LF、HF 三段頻帶所佔 的成份比例做個統整，以圓餅圖的方式呈現之(圖 5.10)。 圖 5.10 心率變異度頻域分析結果以及時域與頻域參數值 圖 5.10 右側的參數值分別為 HRV 自律神經系統所分析出來的時域與頻域分 析的生理參數值，此套健檢儀器用於評估量測者是否有心臟方面的相關問題，故 除了心率變異度的頻域分析之外，還有心率變異度的時域分析指標，如 SDNN 可用來檢測受測者是否為心肌梗塞的高危險群，但本研究並無檢驗測試者心臟疾 病的部分，因此時域分析的所有生理參數值不在研究範圍內。實驗流程主要是取 頻域分析中的總功率(TP)、極低頻功率(VLFP)、低頻功率(LFP)以及高頻功率(HFP) 四種生理參數值作各種運算，將計算出的數據結果，作為評估測試者未聽音樂與 聽音樂時整體的情緒變化，計算公式與分析方法於 6.1 章節詳細敘述。

31

5.2.3 肌電圖感測器

圖 5.11 電極貼片黏貼部位 肌電圖感測器為擷取頸部下方的斜方肌肌肉收縮反應之生理訊號，電極貼片 以併排方式貼在測試者頸部後下方(圖 5.11)，由右至左為正、負、接地，將輸出 訊號端接上示波器顯示肌電訊號大小，如圖 5.12。因實驗過程中，聽音樂或不聽 音樂的時間皆在三到五分鐘之間，故將示波器上的 x 軸調成一格 50sec，如此才 可完整記錄測試者每一段聽音樂或不聽音樂時的肌電訊號變化，最後將存在示波 器上的訊號檔轉至 Matlab 程式做快速傅立葉轉換(Fast Fourier Transform, FFT)與 短時傅立葉轉換(Short Time Fourier Transform, STFT )，將 EMG 的時域訊號轉成 頻域觀察之。

32

5.2 實驗流程與步驟

圖 5.13 實驗流程圖 實驗流程如上圖 5.13 所示，測試者分別接上「HRV 自律神經量測系統」、 「Spo2 血氧濃度計(SA310)」、「肌電圖感測器」，利用此三種生理訊號感測器來 擷取生理訊號，並將訊號加以處理分析之；音樂情緒方面，則將選曲的音樂，利 用 Matlab 程式，計算音樂情緒能量，分析辨識出歌曲的音樂情緒成份為何，並 將測試者情緒生理訊號分析結果與音樂情緒數理分析結果相互對照，觀察測試者 實際聽到歌曲後所表現出的情緒成份是否與程式辨識的音樂情緒成份相似；此外， 測試者聽音樂前與聽音樂時的情緒生理分析結果之變化情況亦為本研究討論之 範圍。 本研究的測試者共計十四名，分別為八名男性，六名女性，學歷為工科背景 的研究生或大學生，年齡約在 22 歲至 27 歲之間，身心健全，無心臟、肌肉與神 經系統之相關疾病或不良嗜好。每位測試者於實驗中，皆會聽兩首歌曲，一為指 定曲，二為自選曲。指定曲部分，由於實驗室過去的研究將音樂情緒分為 「Content」、「Exuberant」、「Depression」、「Anxious」四大類，不同歌曲被辨識 出的這四種情緒所佔的比重也會不同，故本研究藉由程式分析出的音樂情緒成份 結果，選出五首不同風格，音樂情緒成份不盡相同的音樂，做為此次實驗指定曲

33 的樣本，性質分別為流行快歌，抒情慢歌，古典樂，輕快抒情樂，重金屬樂各一 首，歌曲樣本如下表 5.1。 表 5.1 所有指定曲的音樂情緒成份 指定歌曲樣本 音樂情緒成份 少女時代-HAHAHA Enya-Only Time

木匠兄妹-It's Going to Take Some Time

34 Breed 77 – Zombie Chopin - Nocturne #2 In E Flat, Op 9 以上五首指定歌曲，每首會播放給五名不同測試者聆聽，此外，為保有每位 測試者的隱私，本實驗以「編號 1」、「編號 2」、「編號 3」、「編號 4」、「編號 5」 代替測試者真實姓名方式，記錄五位測試者聽同一首指定曲的情緒表現結果，故 一首指定曲將有五組不記名的生理訊號樣本，共計二十五組，而同樣的編號在不 同指定曲取樣本中，並不代表是同一個人，「編號 1」~「編號 5」僅限於同一首 指定曲中，不同測試者的代表，換成別首指定曲的時候，「編號 1」~「編號 5」 也會跟著是另一批新的測試者。至於自選曲部分，則由測試者自行任選一首自己 喜歡聽的歌，唯一條件是自選曲其音樂風格必須與剛剛聽的指定曲相似，目的為 觀察測試者聽兩首同類型的歌曲，情緒變化是否也會大同小異。 實驗開始前，測試者先接上 HRV 自律神經系統、Spo2 血氧濃度計與 EMG 肌電圖感測器三種生理感測器，檢查儀器無異狀後，開始實驗，實驗步驟如下：

35 1. 測試者先靜坐三分鐘，目的為讓感測器偵測三分鐘未聽音樂時的生理訊號。 2. 三分鐘結束後，感測器停止偵測，將此生理訊號資料存檔。 3. 接著帶上耳機，播放指定曲音樂，生理感測器繼續蒐集此時的生理訊號。 4. 音樂結束，生理感測器停止偵測，將此生理訊號資料存檔。 5. 測試者選擇一首與指定曲音樂風格相似的歌，選擇確定之後，開始播放，生 理感測器繼續蒐集此時的生理訊號。 6. 音樂結束，感測器停止偵測，將此生理訊號資料存檔。 實驗共有五首指定曲，一首歌曲給五名不同測試者聽，故 1 至 6 個步驟重複 二十五次，待實驗結束，擷取所有生理訊號，進行資料分析。

36

六、實驗結果與分析

6.1 心率變異度(HRV)參數分析

由於所有頻帶功率中只有 LFP 和 HFP 與自律神經系統有關連性，有時測試 者其結果表現會出現 VLFP 比例遠遠超過 LFP 和 HFP 的情況發生，但並不代表 此測試者的自律神經系統沒有在運作或是失衡，為了避免 LFP 與 HFP 比例過低， 不好看出測試者自律神經系統活性傾向，進而影響情緒特徵表現之情況，本實驗 將也是代表交感神經活性的「常規化低頻功率比(nLFP)」與代表副交感神經活性 的「常規化高頻功率比(nHFP)」一併計算，作為觀察自律神經系統本身活動情況 的兩個參考指標，由此五種比例來觀察測試者的情緒傾向以及變化，公式如下： VLFP VLFP = 100 TP  百分比 (2) LFP LFP = 100 TP  百分比 (3) HFP HFP = 100 TP  百分比 (4) LFP nLFP= 100 TP-VLFP (5) HFP nHFP= 100 TP-VLFP (6) HRV 自律神經系統擷取生理訊號後，所分析出的心率變異度之頻域參數， 利用此系統所提供的生理參數，根據上述之公式，計算出心率變異度頻域中的「極 低頻功率(VLFP)」(公式 2)、「低頻功率(LFP)」(公式 3)、「高頻功率(HFP)」(公 式 4)三者之間各佔的成份比例以及「常規化低頻功率比(nLFP)」(公式 5)與「常 規化高頻功率比(nHFP)」(公式 6)，分析結果如下圖 6.1。

37 圖 6.1 各頻率成份比例計算結果 圖中藍色區塊為極低頻功率(VLFP)於總功率中所佔的比例面積，比例值為 67.73%；綠色區塊為低頻功率 (LFP)於總功率中所佔的比例面積，比例值為 19.91%；紅色區塊為高頻功率(HFP)於總功率中所佔的比例面積，比例值為 12.36%；常規化低頻功率比 (nLFP)為 62.14%； 常規化高頻功率比 (nHFP)為 37.86%。

38

6.1.1 心率變異度(HRV)頻率參數結果分析範例

圖 6.2 測試者頻率比例計算結果 以測試者「編號 1」為例，上圖 6.2 為測試者「編號 1」靜坐三分鐘且無音 樂狀態下所表現出的生理情緒。由圖可知，VLFP 成份比例為 50.59%，LFP 為 49.24%，而 HPF 則只有 0.34%，表示測試者當時情緒成分中，亢奮或焦慮的狀 態明顯大於放鬆的情緒，nLFP 與 nHFP 為扣除 VLPF 之後，LFP 與 HFP 之間的 各佔的成份比例結果，nLFP 為 99.66%，nHFP 為 0.34%，表示交感神經活性的 活躍程度明顯大於副交感神經活性的活躍度，亦代表「編號 1」其情緒偏向亢奮、 緊張、焦慮的狀態比平靜、放鬆、倦怠的狀態還多。

39

圖 6.3 測試者聽指定曲「Nocturne #2 In E Flat, Op9」的頻率比例結果 圖 6.3 為「編號 1」聽指定曲蕭邦的「Nocturne #2 In E Flat, Op9」古典樂曲 時，所呈現的情緒訊號。分析結果 VLFP 為 75.03%，LFP 為 23.51%，HFP 為 1.46%， nLFP 為 94.14%，nHFP 為 5.86%。VLFP 成份比例佔最多，其次是 LFP，而 HFP 比重最少，表示當時測試者聽這首樂曲時，情緒仍偏向亢奮、緊張或焦慮的狀態， 較少有放鬆的感覺，交感神經活性亦大於副交感神經活性，但與圖 A 比較起來， HFP 與 nHFP 的數據結果顯示皆各別上升 1.29%以及 5.52%，表示聽音樂時有比 未聽音樂時稍微放鬆一些。

40 圖 6.4 測試者聽自選曲「Drenched」的頻率比例結果 圖 6.4 為測試者「編號 1」聽與指定曲曲風相似的自選曲，曲婉婷─「Drenched」 之情緒成分，VLFP 為 15.96%，LFP 為 69.95%，HFP 為 14.09%，nLFP 為 82.24%， nHFP 為 16.76%。很明顯 LFP 所佔的比例最多，大於 VLFP，而 HFP 也比聽音 樂前的 HFP 多出 13.92%，隨著 nHFP 上升了 16.42%之際，nLFP 則降低了 17.42%， 由上述的分析數據可知，測試者聽自選曲時比聽音樂前以及聽指定曲時感到更亢 奮，同時放鬆、愉悅的情緒也跟著增加，交感神經活性仍大於副交感神經活性， 但由圖可知，聽音樂時副交感神經活性開始逐漸活躍起來。 表 6.1 測試者「編號 1」HRV 頻率分析成份統整結果 編號 1 VLFP 比例 LFP 比例 HFP 比例 nLFP 比例 nHFP 比例 無音樂 50.59% 49.24% 0.34% 99.66% 0.34% 指定曲 75.03% 23.51% 1.46% 94.14% 5.86% 自選曲 15.96% 69.95% 14.09% 82.24% 16.76% 以上為利用 HRV 頻率變化，觀察同一名測試者於聽音樂前後之情緒變化分

41 析結果其中一個樣本。HRV 心率變異度分析結果，除了個別分析測試者聽音樂 前後的情緒變化並做比較以外，將聽同一首指定曲的所有測試者之情緒結果，與 事先分析出的音樂情緒結果相互比對為另一項分析重點，結果如下。 圖 6.5 音樂情緒辨識軌跡與情緒成份比例 圖 6.6 測試者「編號 1」聽音樂前與聽指定曲後頻率比例結果

42

圖 6.7 測試者「編號 2」聽音樂前與聽指定曲後頻率比例結果

圖 6.8 測試者「編號 3」聽音樂前與聽指定曲後頻率比例結果

43

圖 6.10 測試者「編號 5」聽音樂前與聽指定曲後頻率比例結果 上圖 6.5 為指定曲，蕭邦─「Nocturne #2 In E Flat, Op9」古典樂曲的情緒分 析結果，其程式辨識出的情緒成份為 Anxious=0%，Exuberant=0%，Content=60%， Depression=40%，參考第四章所描述的四大音樂情緒項目各別代表的情緒狀態來 看，此首指定樂曲的情緒表現為平靜、愉悅中帶有點憂鬱的感覺。若單看測試者 們聽此首古典樂曲所表現出來的情緒成份(圖 6.6, 圖 6.7, 圖 6.8, 圖 6.9, 圖 6.10)， 五名測試者的 nLFP 值皆大於 nHFP 值，表示其交感神經活性大於副交感神經活 性，情緒屬於較為亢奮或焦慮的狀態；若對照每名測試者未聽音樂(指定曲)前與 聽指定曲後的頻率變化，可發現，除了「編號 3」，其他四名測試者聽完指定曲 後的 LFP 比例值皆比聽音樂前低，HFP 比例值皆比聽音樂前高，而雖然「編號 3」 聽完曲風偏抒情的古典音樂後，LFP 值提高，但 HFP 也顯示上升，表示「編號 3」 在聽音樂時情緒變為較興奮、焦慮、緊張的同時，放鬆、緩和的情緒也比聽音樂 前還多。 另外，將聽音樂前與聽自選曲後的頻率比例表現相互比較(圖 6.11, 圖 6.12, 圖 6.13, 圖 6.14, 圖 6.15)，「編號 3」與「編號 5」的 LFP 在圖上的比例皆為聽音 樂前大於聽音樂後，表示他們自選的歌曲也能降低他們亢奮、焦慮、緊張的情緒； 其餘三名測試者，其聽自選曲後 LFP 比例雖然增加，但 HFP 比例、nHFP 幾乎 顯示上升，nLFP 下降，代表放鬆、平靜、愉悅的情緒成份在聽音樂後開始上升。

44

圖 6.11 測試者編號 1 聽音樂前與聽自選曲後頻率比例結果

圖 6.12 測試者編號 2 聽音樂前與聽自選曲後頻率比例結果

45 圖 6.14 測試者編號 4 聽音樂前與聽自選曲後頻率比例結果 圖 6.15 測試者編號 5 聽音樂前與聽自選曲後頻率比例結果 由此可知，情緒成份屬於平靜、愉悅的音樂確實能提高聽者平靜、緩和的情 緒，降低亢奮、焦慮的情緒成份。在此特別一提的是，本實驗過程中發現，通常 測試者沒有聽音樂時，VLFP 值多半偏高(圖 6.16，表 6.1)，再者，由聽完音樂後 的 VLFP 一樣偏高的測試者們所言，當時所播放的音樂並不特別引起興趣，甚至 覺得很無聊，還會開始想別的事，無心聽音樂的旋律，由此本研究推論當 VLFP 值高於 LFP 與 HFP 值時，表示此刻測試者並無明顯的愉悅、平靜、亢奮、或是 難過的情緒，取而代之的為無趣的感覺、或是沒有特別情緒，然而，目前醫學界 與相關的學術界並未對心率變異度頻域中的極低頻範圍提出明確的情緒定義，故 VLFP 與情緒的關係只能臆測，實際情況仍有待商榷。

46 圖 6.16 測試者聽音樂前的 HRV 頻譜圖 表 6.1 對照圖 6.16 的 VLFP 比例值，紅色表示 VLFP 值超過 50%，黑色表 示 VLFP 值未達 50% 各測試者未聽音樂時的 VLFP 比例值樣本 50.59% 94.22% 66.77% 70.87% 69.41% 48.33% 88.83% 14.29% 88.34% 57.07% 2.97% 73.86% 61.65% 29.84% 95.76% 36.62% 65.06% 16.63% 2.64% 67.52% 本實驗每首指定曲情緒成份與所有測試者聽音樂前後之心率變異度頻域分 析結果附於附錄一。

6.2 肌電圖(EMG)訊號參數分析

將肌電圖感測器得之肌電時域訊號參數值，利用 Matlab 程式作快速傅立葉

47

轉換(Fast Fourier Transform, FFT)與短時傅立葉轉換(Short Time Fourier Transform, STFT )之頻譜分析，EMG 訊號取樣頻率為 5Hz。快速傅立葉轉換(FFT)可看出測 試者在作聽音樂(或不聽音樂)的測試期間，其頻率分佈情況與被測到的頻率強度； 短時傅立葉轉換(STFT)可用來觀察測試者在作聽音樂(或不聽音樂)的測試期間， 其頻率在不同時間點內的變化，並畫出頻譜質心評估總頻率之平均值，以下為程 式作快速傅立葉轉換(FFT)頻譜轉換之分析畫面(圖 6.17)與程式碼(表 6.2)，以及 短時傅立葉轉換(STFT)頻譜轉換之分析畫面(圖 6.18)與程式碼(表 6.3)。 圖 6.17 快速傅立葉轉換(FFT)分析畫面

48 表 6.2 快速傅立葉轉換(FFT)程式碼 快速傅立葉轉換(FFT)程式碼 t=data(:,1); x=data(:,2); plot(t,x); L=length(x); Fs=5; NFFT = 2^nextpow2(L); Y = fft(x,NFFT)/L; f = Fs/2*linspace(0,1,NFFT/2); figure; semilogx(f,2*abs(Y(1:NFFT/2)))

title('Single-Sided Amplitude Spectrum of x') xlabel('Frequency (Hz)')

ylabel('|Y(f)|')

49 表 6.3 短時傅立葉轉換(STFT)程式碼 短時傅立葉轉換(STFT)程式碼 t=data(:,1); x=data(:,2); fs=5; R=128; [Y,freqscale,time]=callstft(x,fs,R); figure; imagesc(time,freqscale,abs(Y)); axis xy; colorbar; n=max(size(time)); m=max(size(freqscale)); spc=zeros(n,1); for i=1:1:n for j=1:1:m spc(i)=spc(i)+freqscale(j)*abs(Y(j,i)); end end spc=spc/sum(freqscale); spcmean=mean(spc) figure; plot(time,spc,time,spcmean*ones(n,1))

6.2.1 肌電圖(EMG)訊號結果分析範例

肌電圖訊號的頻域不像心率變異度頻域，已被明確定義各頻帶範圍與代表的 神經系統活性，只被證實肌電訊號大小的改變代表人的情緒出現變化，故肌電圖 訊號的頻譜分析，於此只能用來觀察測試者實驗過程中，情緒的改變影響頻率值 大小改變程度多寡。 以聽指定曲，少女時代─「HAHAHA」的測試者「編號 2」為例，在聽指定曲之

50 前以及聽指定曲與自選曲時的訊號，利用快速傅立葉轉換(FFT)分析出的頻譜圖 (圖 6.19, 圖 6.20, 圖 6.21)可知，肌電訊號頻率皆集中在 10-1 Hz 到 10 Hz 之間， 雖然三張圖的頻率分佈趨勢有變化，但頻率改變的程度微乎其微，頻率強度也不 明顯，皆不超過 1.4×10-3_{，難以看出測試者在這三個測試階段時情緒的改變。} 圖 6.19 測試者「編號 2」未聽音樂的肌電訊號 FFT 頻譜圖 圖 6.20 測試者「編號 2」聽指定曲「HAHAHA」的肌電訊號 FFT 頻譜圖

51 圖 6.21 測試者「編號 2」聽自選曲「練舞功」的肌電訊號 FFT 頻譜圖 以短時傅立葉轉換(STFT)所分析出的頻譜圖，橫軸為時間，縱軸為頻率，圖 中綠色橫線為頻譜質心(圖 6.22, 圖 6.23, 圖 6.24 )，同樣以測試者「編號 2」來 看，未聽音樂前的頻譜質心介於 0.02Hz 到 0.04Hz 之間，聽完曲風偏輕快的指定 曲，少女時代─「HAHAHA」後，頻譜質心上升到 0.04Hz 到 0.05Hz 之間，聽 完自選曲後，頻譜質心也來到 0.04Hz 到 0.06Hz 之間，由圖中頻譜質心的結果可 知，「編號 2」聽音樂時的肌電訊號頻率皆比聽音樂前還高，肌電訊號提高表示 情緒偏向較亢奮的狀態，而此首歌的音樂情緒成份比例為 Exuberant 最高(圖 6.25)， 屬於會使聽者情緒變興奮的音樂，聽者情緒變化結果與音樂情緒相符，但訊號值 的變化事實上並不大。

52

圖 6.22 測試者「編號 2」未聽音樂的肌電訊號 STFT 頻譜圖

53 圖 6.24 測試者「編號 2」聽自選曲「練舞功」的肌電訊號 STFT 頻譜圖 圖 6.25 少女時代「HAHAHA」音樂情緒辨識軌跡與情緒成份比例 由分析結果可知，肌電圖訊號在測試者聽音樂的前後，雖然有改變，但變化 程度不甚明顯，較無法比較情緒變化。本實驗將所有測試者聽音樂前後肌電圖訊 號之頻域分析結果附於附錄二。

54

6.3 心率值(HR)訊號參數分析

Spo2 血氧濃度計擷取出每位測試者的心率值參數，計算出測試者每秒的心 率值，由 Excel 作相關運算(圖 6.26)，一為計算出參與本實驗的每位測試者聽音 樂前後的心率平均值，二為將聽同一首指定曲的所有測試者，聽指定曲時測得之 心率值正規化，畫成數線圖，以觀察五名測試者的情緒走向與音樂情緒的關聯性， 本實驗另外利用 Labview 程式，將心率值的生理參數逐秒讀出，並以長條圖的方 式顯示，此項分析為銜接第二項分析結果，對照音樂開始播放時，測試者的情緒 起伏與音樂情緒走向的一致性。 圖 6.26 心率值分析畫面

55

6.3.1 心率值(HR)訊號結果分析範例

(1) 同一個測試者聽音樂前與聽音樂時所呈現的心率平均值。 表 6.4 為測試者「編號 1」三分鐘未聽音樂與聽音樂時的心率平均值，其中 無音樂時測試者的心率平均值為 97bpm，聽指定曲-蕭邦的「Nocturne #2 In E Flat, Op9」時心率平均值為 94bpm，而聽自選曲的心率平均值為 92bpm，其中指定曲 與自選曲的音樂曲風屬於平靜、愉悅的慢歌，根據本論文 3.1 節所述，旋律屬於 安靜、撫慰的音樂會使心跳速率降低，而心跳速率變低表示情緒變得比之前還要 放鬆，「編號 1」聽兩首音樂時的平均心率值確實比未聽音樂時的平均心率值低， 表示此兩首歌卻實有達到使測試者「編號 1」情緒變放鬆的效果。 表 6.4 測試者「編號 1」三個實驗階段的心率平均值 「編號 1」三種測試結果的 HR 平均值 無音樂 指定曲 自選曲 97bpm 94bpm 92bpm 表 6.5 所有測試者聽音樂前與聽同一首指定曲以及曲風相似的自選曲的三個平 均心率值 實驗項目 無音樂 指定曲(Chopin-Nocturne #2 In E Flat, Op 9) 自選曲 編號 1HR 97 94 92 編號 2HR 71 64 63 編號 3HR 75 64 65 編號 4HR 70 59 61 編號 5HR 72 67 68 將實驗時聽皆聽同一首指定曲(蕭邦─Chopin-Nocturne #2 In E Flat, Op 9)的 所有測試者的心率平均值結果整理成表 6.5，聽音樂與聽指定曲時的平均心率值

56 相比時，可發現每位測試者平均心率值皆降低 3 到 11 個 bpm，而自選曲也比聽 音樂前下降 4 到 10 個 bpm，由此可知，蕭邦─Chopin-Nocturne #2 In E Flat, Op 9 是一首可以讓聽者放鬆的古典樂。所有測試者實驗的心率平均值結果，完整附於 附錄三中。 (2) 同一首指定曲不同測試者聆聽時所呈現的心率值。

圖 6.27 為五名測試者聽指定曲─蕭邦的「Nocturne #2 In E Flat, Op9」呈現 的心率值變化，一般而言，心臟的跳動頻率會與生活作息、運動習慣、年齡、飲 食習慣、體內溫度、情緒起伏……等等之外在因素有關[38]，故即便處在同一個 環境中，心率值大小也會因人而異由，以致每位測試者的心率變化範圍皆不同， 如「編號 1」心率值的範圍變化在 85bpm 至 100bpm 之間，而「編號 2」心率值 便畫範圍則在 60bpm 至 80bpm 之間，變化範圍的差異使研究上不好觀察每位測 試者的情緒變化趨勢，故將本研究在此將所有測試者之心率值正規化。正規化公 式如下： i min i max min HR -HR nHR = , i=0,1,2,3... HR -HR (7) nHRi：正規化心率值；HRi：原始心率值；HRmin：最小心率值；HRmax：最大心 率值

57

圖 6.27 五名測試者聽「Nocturne #2 In E Flat, Op9」指定曲的心率表現

圖 6.28 五名測試者心率值正規化結果

58

圖 6.28 為每名測試者正規化後的心率值，橫軸為時間(秒)，縱軸為正規化後 的心率值；圖 6.29 為程式所辨識出的指定曲(蕭邦-「Nocturne #2 In E Flat, Op9」) 之情緒成份，橫軸為時間(秒)，縱軸為 Content、Depression、Anxious、Exuberant 四類情緒強度，由此情緒辨識圖可知，此首音樂被辨識出的情緒成份有 Content 與 Depression。音樂從開始到結束，大致上皆屬於舒適、平靜的情緒，但當中有 幾段時間，節奏會由慢變快，音量由小變大，鼓舞、刺激的情緒使測試者心率值 開始增加；同理，當節奏漸漸變慢，音量由大變小時，音樂情緒轉回平靜的階段， 測試者的心率值也會跟著被拉回較低的範圍；而此首古典樂曲影響測試者心跳質 最為明顯的時間，為音樂進入尾聲的那一段，也就是 Depression 強度被偵測到的 那 85~205 秒，音樂的節奏加快，鋼琴聲的音階愈爬愈高，音量更是加劇，此時 Depression 所代表的憂鬱情緒，但是傾向難過又激動的那一種，激動的成分使所 有測試者的心率值明顯往上升高(圖 6.28 紅色線條框起來的範圍)。 事實上，每個測試者聽音樂時，情緒反應的時間並不一樣，故當音樂情緒轉 變的那段期間，雖測試者多半心率值也會跟著有所改變，但並不完全都剛好在音 樂播放的時間點上，可能會延遲 1 秒至 5 秒的時間，心率值才開始有較為明顯的 轉變，而音樂節奏由慢轉快明顯、音量由小增大愈快速、音階位置由低升高時， 測試者們的心率值升高的程度也會更一致，更明顯；若音樂節奏由快轉快慢愈明 顯、音量由大減小愈快速、音階位置由高向低時，測試者們心率值降低的程度也 會更一致，更明顯。所有測試者正規化後的結果，完整附於附錄四中。 (3) 利用 Labview 程式，將心率值的生理參數逐秒讀出。 圖 6.30, 6.31, 6.32 為讀取心率值與播放音樂 WMV 檔的程式架構，將事先分 析好的心率值參數，以 txt 檔的形式輸入，再將讀到的值設定一秒出現一個(因為 實驗過程中血氧濃度計為一秒測出一個心率值)，最後心率值以連續長條圖的方 式逐秒顯示，並累加於圖形式窗上。

59

圖 6.30 讀取心率值程式

圖 6.31 心率值輸出程式

60

圖 6.33 播放音樂與讀取心率值之前的程式畫面

61 圖 6.35 音樂情緒軌跡與心率值變化過程的截圖 圖 6.36 音樂結束後的情緒軌跡與心率值資料全部輸出完的截圖 圖 6.33 為程式執行之前的畫面，程式執行之前要先輸入音樂影檔路徑與聽 此首音樂檔的測試者之心率值資料被儲存的路徑，當程式開始執行時，音樂影檔 的播放與心率值的顯示會同步進行，如此才可相互對照音樂播放的每一段時間， 測試者的情緒如何變化；圖 6.34 為程式剛執行時的畫面，也就是音樂方剛播放 沒多久，心率值剛被讀取的時間；圖 6.34 為程式執行到中間的畫面，音樂與心 率值的變化過程；圖 6.35 為音樂播放完畢，心率值也全部顯示完成，程式結束。 血氧濃度計偵測心率值的過程中，一個樣本其實會有幾秒鐘的時間沒有偵測 到心率值，加上每位測試者聽到音樂後，情緒變化的反應時間也不相同，導致心