Sigma level: 3
4.3 績效指標管制圖預測模型建置
4.3.3 分析步驟與結果
分析流程如圖4.11，我們將其分成三個階段，以下便針對各 階段進行說明。
1. 第一階段
此階段我們使用以分類/迴歸樹法為基礎的CART集群分析 軟體(試用版)，將最初訂定的7個數值資料及5個類別資料投入分 析，其分析結果如表4.9所示。從分析結果得知，各績效指標的 整體判別率並不理想，而分類判別率亦呈現相當大的落差。因此 接著將進行多類別羅吉斯迴歸分析，比較兩者的預測結果，以選 擇較佳之預測分析方法。
表4.9 分類/迴歸樹法之預測分析結果 分類判別率％
管制圖類型 績 效 指
標種類 1 2 3 4 5 6 7 8 整 體 判 別 率
％ SPI-X 46.2 60.0 90.0 100 0 75.0 50.0 57.1 59.8 SPI-R
m
36.4 － 75.0 80.0 58.3 60.0 100 100 72.8 CPI-X 60.0 33.3 100 100 36.4 60.0 71.4 44.4 63.2 CPI-Rm
20.0 － 90.0 － 76.9 100 100 － 77.4 另外，上節提到CART是以類似決策樹的方式呈現，每一個結點 代表一個分類規則，藉由這些規則來將資料分類。這些分類規則 即為預測變數，由於這些預測變數決定了資料應該分在哪一類，相對代表著這些預測變數是較顯著，所以我們將較顯著的預測變 數予以列出，如表4.10所示。接著將把這些顯著的預測變數，投 入到下一階段的分析。
表4.10 CART篩選之顯著預測變數 顯著之預測變數
SPI-X SPI-R
m
CPI-X CPI-Rm
計畫時程 計畫時程 計畫時程 計畫期程 服務金額 服務金額 月/人時 服務金額 月/人時 月/人時 委 外/ 總 預 算比
主 辦/ 總 預 算 比
主 辦/ 總 預 算 比
委 外/ 總 預 算
比 協辦部門數 委 外/ 總 預 算 比
業主類型 業主類型 委外數 業主類型 計畫類型 計畫類型 業主類型 計畫類型
4-58
2. 第二階段
我們藉由相關統計軟體的協助，將經由CART分析所找出之 顯著預測變數，把屬於類別的變數當作多類別羅吉斯迴歸分析的
「因子」；連續性的變數則當作「共變量」。在分析的模式上我 們採因子及共變量的主要效果，以及所有選取變數的交互作用，
而迴歸參數估計的信賴區間則選取95％，也就是0.05的顯著水 準，來進行分析。
相關統計軟體中，對於所建置的預測模型與分析資料間的適 合程度會進行檢定，其檢定結果如表4.11所示。經離差函數檢 定，各進度指標及成本指標之顯著性，均小於0.05的顯著水準，
所以接受虛無假設，代表CART分析出之顯著預測變數，對於多 類別羅吉斯迴歸分析所建立之預測模式，亦是合適的。
表4.11 模式適合度檢定結果 績效指標種類 模式適合度
SPI-X 0.003 SPI-R
m
0.002 CPI-X 0.000 CPI-Rm
0.000在檢定過適合度後，接下來我們希望知道利用多類別羅吉斯 迴歸分析作為預測模式，其預測能力如何？由表4.12可看出，除 了一、兩種管制圖類型的判別率較差外，其餘的判別率都很理 想，皆有80％以上，甚至於達到100％的水準。整體的判別率在 進度指標部分達到80％以上，而在成本指標部分則接近90％，均 高於使用CART分析的整體判別率。所以本研究將以多類別羅吉
斯迴歸分析的預測模式來建置預測模型。
表4.12 多類別羅吉斯迴歸分析之預測分析結果 分類判別率％
管制圖類型 績 效 指
標種類 1 2 3 4 5 6 7 8 整 體 判 別 率
％ SPI-X 84.6 40.0 60.0 80.0 80.0 100 100 100 81.8 SPI-R
m
86.4 － 87.5 100 50.0 80.0 100 100 81.8 CPI-X 80.0 50.0 100 100 100 93.3 71.4 100 87.9 CPI-Rm
90.0 － 100 － 61.5 100 100 － 87.9另外，本研究所使用之相關統計軟體中，亦提供了「概似比 檢定」的功能。這個檢定可以協助我們，再找到一些對多類別羅 吉斯迴歸分析所建立的預測模式，解釋能力較低也較不重要的預 測變數。其虛無假設係假設變數對預測模式有影響，由表4.13及 4.14中，可知除了成本績效指標CPI-R
m
沒有不重要的預測變數 外，其餘績效指標中的預測變數，對於模式的顯著性均大於0.05 的顯著水準，所以需拒絕虛無假設，也就表示這些變數對於該預 測模式沒有影響。表4.13 概似比檢定－不重要的說明變數（進度指標）
進度指標(SPI-X)預測模型 進度指標(SPI-R
m
)預測模型 不重要的預測變數 顯著性 不重要的預測變數 顯著性 業主類型 0.164 委外/總 預算比 0.2244-60
表4.14 概似比檢定－不重要的說明變數（成本指標）
成本指標(CPI-X)預測模型 成本指標(CPI-R
m
)預測模型 不重要的預測變數 顯著性 不重要的預測變數 顯著性 委外/總 預算比 0.071協辦部門數 0.063 無
3. 第三階段
雖然在第二階段我們以顯著預測變數所建立的預測模型，己 有相當程度的分類預測能力，但是一個好的預測模型除了需要有 高的預測能力外，亦能在將模型中解釋能力較低且不重要的變數 予以剔除後，還能具有原先的預測能力，同時保持了模型的簡潔 及乾淨，進而方便需求者使用，才是最佳的預測模式。
在上一階段，我們藉由概似比檢定找出一些對預測模式解釋 能力較低，也就是不重要的預測變數後，我們將嘗試將這些預測 變數從分析中暫時刪除，以所留下來的預測變數再投入分析，並 檢視分析結果，是否對預測模型有影響。
首先，我們一樣先利用離差函數來做適合度檢定，當刪除不 重要的預測變數後，SPI-X、SPI-R
m
和CPI-X績效指標各保留了6 個預測變數，CPI-Rm
績效指標則保留了7個預測變數，其所建立 的預測模式是否仍然合適。結果如表4.15所示，2種進度指標及 成本指標之顯著性均為0.000(取至小數點第三位)皆小於0.05的 顯著水準，所以接受虛無假設，表示此預測模式依舊是合適的。表4.15 模式適合度檢定結果(刪除不重要預測變數) 績效指標種類 模式適合度
SPI-X 0.000 SPI-R
m
0.000 CPI-X 0.000 CPI-Rm
0.000另外，用刪除過後的進度及成本指標之預測變數，所建立之 預測模式，其預測能力如表4.16所示。由表中可看出，進度指標 SPI-X及SPI-R
m
管制圖之整體判別率依然是81.8%；成本指標 CPI-X及CPI-Rm
管制圖之整體判別率亦為87.9%。證實在第二階 段中，「概似比檢定」所列出之解釋能力較低之預測變數，果然 對預測模型沒有影響。最後將分析結果所篩選出來，具解釋能力 的預測變數彙整如表4.17所示。表4.16 多類別羅吉斯迴歸分析之預測分析結果 分類判別率％
管制圖類型 績 效 指
標種類 1 2 3 4 5 6 7 8 整 體 判 別 率
％ SPI-X 84.6 40.0 60.0 80.0 80.0 100 100 100 81.8 SPI-R
m
86.4 － 87.5 100 50.0 80.0 100 100 81.8 CPI-X 80.0 50.0 100 100 100 93.3 71.4 100 87.9 CPI-Rm
90.0 － 100 － 61.5 100 100 － 87.94-62
表4.17 預測模型保留之預測變數 預測模型保留之預測變數
SPI-X SPI-R
m
CPI-X CPI-Rm
計畫時程 計畫時程 計畫時程 計畫期程 服務金額 服務金額 月/人時 服務金額
月/人時 月/人時 委外數 主 辦/ 總 預 算 比
主 辦/ 總 預 算
比 業主類型 業主類型 委 外/ 總 預 算 比
計畫類型 計畫類型 計畫類型 業主類型 主辦部門 主辦部門 主辦部門 計畫類型 主辦部門
在經過三個階段的分析之後，最初訂定的12個預測變數，在 各績效指標預測模型中，被保留下來的只剩6至7個預測變數，使 得各預測模型更為簡化易用，同時又兼具有不錯的預測能力。因 此這些被保留的預測變數，將作為後續建置預測模型之用。