決策樹、貝氏決策與貝氏網路介紹

5.1.1 決策樹 (Decision Tree)

決策樹(Decision Tree)，一般也稱為判定樹，在決策樹的方法中，

首先， 先從實際範例集合中，針對資料進行處理，利用歸納學習法 建立規則與決策樹，然後使用決策對新資料進行分析與分類，因此，

在本質上，決策樹是透過一系列的規則來對資料進行分類的過程。

歸納學習法是決策樹中找出資料模式與規則的核心，其知識來源 是一組描述某事物中各情況的範例，此範例稱為『訓練資料庫』，訓 練資料庫應該盡量涵蓋事物的各種情況，並且在統計上具有良好的取 樣特徵，能夠真實的代表母體的特質，才能得到有效的歸納結果。而 歸納的推理過程則是從若干個事實的特徵、特性或屬性中，透過比較 概括而得的一個規律性結論，歸納推理會從事物的一部分或整體的特 定觀察中得到一個完整的描述，也就是從觀察的事件中找出普遍規律 性的結論，另外，在推理的過程中，必須找到有效的歸納結果，一般 而言，有效的歸納結果指的就是使用歸納推理出的分類規則與實際測 試的預測結果具有很高的相同機率，而人類知識的增長過程中，主要

的部分也是來自於歸納學習，。

歸納學習法由於依賴經驗資料，因此，又稱做經驗學習，歸納學 習一般可分為由下往上、由上往下以及雙向搜尋三種方式，而決策樹 的基本組成部分有決策節點、分支以及葉節點，決策樹中最上面的節 點稱為根節點(Root)，是整個決策樹的開始，每個分支為一個新的決 策節點，或者是樹的葉節點，每一個決策節點可能代表一個問題或決 策，每一個葉節點則代表一個可能的分類結果，在沿著決策樹從上到 下的過程中，再每個節點都會遇到一個測試，在每個節點上，不同的 測試結果將會導致不同的分支，最後到達一個葉節點。決策樹分類的 過程，主要是決策樹在進行分類的過程中，利用若干個變數來判斷屬 性，最後得到所屬的類別。圖5-1為簡單的交通工具分類範例，在決 策判斷分類的過程中，車輪數量、車身高度以及加油與否為測試的節 點，當車輪數量大於或等於四且車身高度大於或等於2m時，車子被 判斷歸類為大型車輛，當車輪數量大於或等於四但車身高度小於 2m 時，車子被判斷歸類為家庭房車，而當車輪數量小於四且車子需要加 油時，則車子被判斷歸類為摩托車，當車輪數量小於四且車子不需要 加油時，則車子被判斷歸類為腳踏車，大型車輛、家庭房車、摩托車 以及腳踏車分別為交通工具分類樹中的葉節點。

5.1.2 貝氏決策(Bayes Decision)與貝氏網路(Bayesian Network)

貝氏決策為統計樣式識別(Statistical Pattern Recognition)的基礎，

此方法建立在以機率方式來表示各個類別可能發生的機率，並以此作 為以機率判斷樣式類別的基礎。

當樣式空間中具有C₁,C₂,C₃,C_n^之n個類別，在觀察事件後，給 定一含有 m 個特徵之觀察參數X₁,X₂,X₃,X_m^{，根據貝氏定理，可} 以得到下式(5.1.1)

     

 

X X X

P

C P C C P

P _i  ^{i i} (5.1.1) 其中，P

 

C_i 為事前機率(Prior Probability)，代表C_i這個類別發生的機 率，P



Ci ^X



為事後機率(Posterior Probability)，表示在觀察到特徵參 數向量X 的前提下，類別為C_i的機率，P X



Ci



為條件機率，表示類 別C_i出現特徵參數 X 的機率，P

 

X 則為特徵參數向量 X 出現的機 率，其算式如(5.1.2)所示。

  _    



 ⁿ

i

i

i P C

C P P

1

X

X (5.1.2) 圖5-2為四種類別C₁,C₂,C₃,C₄時，在二維空間情況下之示意圖，

所謂的貝氏決策則是依據貝氏定理，找出在觀察到特徵參數 X 的前 提下，找出屬於某種類別的最大機率，也就是



i ^X



i

C P

k argmax (5.1.3) 由於

  _    



 ⁿ

i

i

i P C

C P P

1

X

X 在每個類別中均相同，因此式(5.1.3)可以改 寫成

  

_i

  

_i

i i

i

C P C P C

P

k argmax X argmax X (5.1.4) 式(5.1.4) 稱之為貝氏決策規則(Bayes’s decision rule)。

以一維之常態分布為例，若樣式空間中有兩個不同的類別，如圖 5-3 所示，分別為C、₁ C₂，假設類別C 的事前機率₁ P

 

C₁ 為 0.5，而類 別C 之常態分佈平均值與標準差分別為₁ ₁ 142.95，₁ 34.61，類 別C 的事前機率₂ P

 

C₂ 為 0.5，而類別C 之常態分佈平均值與標準差₂ 分別為₂ 261.77，₂ 57.27，根據貝氏決策規則(5.1.4)，我們可 以找到一決策邊界(Decision boundary)，由於類別C 的事前機率₁ P

 

C₁ 與類別C 的事前機率₂ P

 

C₂ 皆為 0.5，因此，決策邊界恰好為兩常態 分佈的交點位置，根據貝氏決策規則，當觀測值大於此決策邊界值 時，則P



XC2



P

 

C2 P



XC1



P

 

C1 ，因此觀測值將被歸類為類別C ，₂ 反 之 ， 若 當 觀 測 值 小 於 此 決 策 邊 界 值 時 ， 也 就 是



C2



P

 

C2 P



C1



P

 

C1

P X  X ，則觀測值將被歸類為類別C 。 ₁

而貝氏網路則是一種以貝氏機率為基礎，並運用圖形化來描述變 數之間的條件機率關係的方法，又稱為有向非循環圖形模型(Directed Acyclic Graphical model) ，藉由有向非循環圖形 (Directed Acyclic Graphs, DAGs) 得 知 隨 機 變 數



x₁,x₂,,x_n



及 其 條 件 機 率 分 配 (Conditional Probability Distributions, CPDs)，因此，貝氏網路可說是 貝氏決策的延伸，將各變數之間的關係以圖形化的方式來描述其彼此

之間的關係。

5.2 多層貝氏網路(Multi-Layer Bayesian Network, MLBN)語音情緒

在文檔中 應用貝氏網路及適應性調適方法於語音情緒辨識之研究 (頁 92-96)