行政院國家科學委員會專題研究計畫 期中進度報告
軟體評估模式建構技術適用性動態模式之研究(1/2)
計畫類別： 個別型計畫
計畫編號： NSC93-2416-H-011-004-
執行期間： 93 年 08 月 01 日至 94 年 07 月 31 日 執行單位： 國立臺灣科技大學資訊管理系
計畫主持人： 黃世禎
報告類型： 精簡報告
處理方式： 本計畫可公開查詢
中 華 民 國 94 年 5 月 30 日
中文摘要
關鍵詞：軟體度量與分析、軟體品質評估、軟體動態評估模式、軟體流程改善
隨著數位與知識經濟世代的來臨，社會對於軟體的需求變得更繁多且複雜，也使得 整個軟體開發與維護的環境變得更加難以掌控。因此，為了要在這樣複雜的開發環境下 依然能達到使用者的要求，軟體廠商必須要將軟體流程改善的工作深植於整個軟體開發 與維護過程中的各個活動上，如此才能真正有效地做好品質、成本與時程三部分的控管。
而軟體流程改善除了從軟體專案管理與流程管理兩個構面來進行外，還是必需從工 程的角度來切入，也就是採用更科學化且工程化的方法、步驟與工具來進行專案管理與 流程管理，如此專案管理者才可以做出更客觀、一致且具時效性的決策。在流程改善的 過程中，評估是一個常見卻也必需的活動，而為了讓整個評估的作業更具科學化與工程 化，我們通常會採用一些量化的軟體評估模式來輔助相關評估的進行，以增加軟體評估 的效率與效益。
但在以往的軟體評估研究中，軟體評估問題都是以實體或其屬性的角度來看待，且 也缺乏對相關軟體評估模式之建構技術進行較全面性且深入的探討，因此這樣並無法清 楚地讓使用者知道這些模式或模式建構技術的使用時機，而造成錯誤的使用，降低了軟 體評估模式本身真正的效益。
故本研究認為應該要有一套適當且明確地分類架構來告知使用者各模式建構技術 的使用時機，並提供一個針對軟體評估模式建構技術更深入且全面性的探討研究，以提 供相關學者或專案管理者可以做出更正確的選擇。此外，為了增加每次評估的一致性與 效率性，本研究也希望可以發展出一套自動化的動態模式與工具來輔助專案管理者進行 相關評估的活動，進而提升本研究成果的效益。目前已提出了第一階段的評估問題分類 架構，並蒐集資料來驗證各問題中模式建構技術的效能，下一年度則將根據此結果來建 立相對應的動態模式。
在實務上，本研究的成果可以提供國內軟體廠商在選擇相關軟體評估模式之參考，
例如本研究成果便可以應用在政府最近所推的軟體廠商 CMMI 國際認證上，提供軟體廠 商在度量與分析流程領域中評估模式的選取參考。而在學術上，由於針對軟體評估模式 建構技術進行深入且彙整性探討的研究本來就相當稀少，因此本研究計畫的成果將可以 作為其他相關學者在進行這類型研究時的參考，進而多帶動這方面研究的發展，對於學 術界而言也是有相當不錯的助益。
一、計畫背景與動機
隨著數位與知識經濟時代的來臨，軟體無論是對企業的發展與運作，或是對一般大 眾在平時生活與工作上的輔助，都變得更為密切且重要，因此社會運作的正常與否便更 仰賴軟體本身品質的好壞，而如何在這樣複雜的需求環境下，依然能在預定的時程與合 理成本下產出合乎品質需求的軟體產品便成為一個重要的研究課題。
而為求能開發出合乎時程、成本與品質需求的軟體產品，軟體組織便必須多將焦點 放在軟體流程與專案等管理活動的執行上。另一方面，隨著軟體度量與分析活動在近十 年來持續受到國內外學術與實務界的日益重視與廣為推行，例如美國卡內基美隆大學 (Carnegie-Mellon University, CMU)軟體工程學院(Software Engineering Institute, SEI) 於 2001 年所發表的軟體能力成熟度整合模式(Capability Maturity Model Integration, CMMI) 中，也將度量與分析(Measurement and Analysis)列為其流程領域之一[11]，這表示了工程 化與科學化的軟體專案管理與流程管理儼然已成為目前一個相當熱門的研究重點，而其 相關研究的成果也都受到相當正面的肯定與評價。
通常在軟體度量與分析的領域中，軟體評估是一個基本卻也必需的活動，透過對整 個軟體開發與維護過程中每個階段各輸出產品(Products)、開發流程(Processes)與投入資 源(Resources)之屬性進行相對應度量值的蒐集，然後再經由專家或模式建構技術找出屬 性與度量值間的關係(也就是提出一個評估模式)，最後專案管理者可以直接參考評估模 式的產出，或再進行更深入的分析與比較，如此便可以更客觀且準確地掌控整個專案的 執行狀況，進而做出即時的反應與修正，使整個軟體的開發與維護可以達到顧客與開發 者雙贏的局面。
在 過 去 幾 十 年 間 的 軟 體 評 估 研 究 中 ， 有 許 多 的 軟 體 評 估 模 式 陸 續 被 提 出 [1-7,12-14,19,22-24]，而在這些文獻研究中，大多是針對特定軟體產品、流程或資源的 某個屬性(例如品質、風險、績效等)提出特定適用的軟體度量指標，或以特定的模式建 構技術來建置評估模式，但卻鮮少有將軟體評估問題加以分類來針對軟體評估模式建構 技術進行較深入且彙整性探討的研究。但事實上，每一種軟體評估模式建構技術都有其 適用的環境、時機與限制(例如評估問題之目標、屬性與度量指標的數目、各屬性與度 量指標的尺度等級與其資料分佈狀況，歷史資料本身的數量與品質狀態，以及可接受之 評估成本、效率、精確性與方式等之不同需求)，因此即使是相同的實體與屬性，若所 針對的屬性型態不同，同樣會造成所適用的模式建構技術不盡相同。故對於軟體專案管 理者而言，要費心地從這些研究中找到符合自己專案問題的評估模式就已相當頭疼，遑 論還要再去判斷該評估模式的建構技術是否適用，便更是不容易。所以無論是對實務界 或是學術界而言，這方面的研究是有其必要性的。
二、計畫研究問題與目的
2.1 研究問題
根據上述之背景與動機，本計畫的研究問題可以歸納出以下幾個：
在軟體度量與分析領域中，軟體評估是一件相當基本且重要的活動，然而針對 軟體評估模式建構技術進行深入且彙整性探討的研究卻相當地少，因此有必要 從事這方面的研究以作為其他相關學者或專案管理者之參考。
以往的軟體評估研究通常將軟體評估問題以評估實體或其評估屬性的角度來 看待，但這樣並無法能清楚地告知使用者該模式的使用時機與限制，故應該要 有一套明確且具可彈性擴充的問題分類架構，以便可以更深入地探討各模式建 構技術的適用情況。
利用人為的方式來進行評估的活動是相當缺乏一致性與效率性，故應該發展一 套自動化的動態模式與工具來輔助專案管理者進行相關評估的活動，如此更可 以增加本研究成果的效益。
2.2 計畫目的
而根據上述之研究問題，本計畫預期達成的目標有以下幾點：
以軟體評估問題特性的觀點，提出一套軟體評估問題之分類架構
針對軟體評估模式之相關研究進行深入且彙整性的探討，以建構出一個更 清楚且具可彈性擴充之軟體評估問題的分類架構，如此專案管理者可以根據其 專案之特性與本研究所提出之問題分類架構來判斷哪一個模式建構技術較符 合其專案之需求，以便建置出更精準的評估模式來輔助決策。此外，這個分類 架構也可以作為其他學者在進行相關軟體評估研究(例如軟體評估問題之分類 研究)時的參考。
針對本研究所提架構中之各分類問題，分別探討各模式建構技術之適用情況 針對軟體評估或其他領域之相關模式建構技術研究進行整理與探討，以找 出適用於本計畫相關研究之模式建構技術。然後再針對本研究所提之分類架構 中的各類問題，分別探討這些模式建構技術之適用情況，以作為專案管者選取 模式建構技術或其他學者進行相關研究之參考。
為專案管理者發展出一套可自動進行問題歸類的動態模式
根據所提出之分類架構，本研究希望可以發展出一套動態模式，能在專案 管理者輸入相關專案特性資料後，便能自動地為其判別出其所適用的模式建構 技術，如此不但省去了不少時間與人力，也讓決策更為即時、準確與一致。
將上述之動態模式發展成一個自動化的工具軟體
為了使專案軟體者能更輕易地將此動態模式應用在實務的評估活動上，本 研究希望將其開發成一個具彈性與擴充性的工具軟體，以方便軟體學者與實務 者之使用與擴充。
三、研究方法
3.1 軟體評估問題分類架構
本計畫提出此分類架構的主要目的，除了在於提供相關學術研究者與實務管理者在 執行軟體評估研究或活動時，有更深入且清楚的判斷準則或架構，以便能選擇合適於特 定評估環境的模式建構技術來正確建構軟體評估模式外，此架構也是本計畫之後在分析 各種模式建構技術的主要依據，如此便可以對這些模式建構技術進行更確實的驗證，所 以在此部分的準則必須要是重要且明確的。
而為了讓本架構可以更為彈性且易擴充，以便其他研究者或軟體實務者可以根據其 不同的環境條件再加上其他準則，並與先前的準則仍能輕易地結合在一起與分別之間的 差異。故本計畫希望將此架構呈現成規則(Rules)的方式，並搭配「AND」與「OR」等 邏輯運算子來加以結合。而此分類架構的主要分類屬性列舉如下：
欲評估問題之標的屬性值的類型與範圍（如連續型資料與其資料值域的大小，
或是類別型資料與其類別個數的多寡）。
欲評估問題之屬性或度量指標所適用的尺度等級（如名目型尺度(Nominal Scale)、順序型尺度(Ordinal Scale)、區間型尺度(Interval Scale)、比率型尺度 (Ratio Scale)，以及絕對尺度(Absolute Scale)）。
欲評估問題之屬性或度量指標個數的多寡。
欲評估問題之屬性值或度量指標值的語意模糊程度(Vagueness Level)。
欲評估問題之屬性值或度量指標值的不確定程度(Uncertainty Level)。
欲評估問題之屬性值或度量指標值所呈現的分佈狀況（例如常態分配(左偏、
不偏、右偏)、均勻分配(或稱隨機分配)，或是其他分配）。
評估問題本身是否具備單一目標或多目標(目標間具衝突性或非衝突性兩種)的 特性（即是否有需要達到的目標條件）。
評估問題本身之相關歷史資料在品質與數量上的狀況（例如歷史資料本身資料 量的多寡、缺失值部分的所佔比率或異常值部分的所佔比率）。
評估者可以接受的評估成本與時間（例如可接受之評估結果的精確度範圍與所 能容忍的評估時間等需求）。
評估方式的不同（例如全面性的評估與多階段式的評估）。
以及其他尚未發現的問題分類屬性等。
3.2 多階段式軟體評估模式建構技術
本部分是針對分類架構中的「評估方式」為主要探討對象。在軟體評估的學術研究 或實務執行上，以往的評估方式多是將其相關的子屬性與度量指標進行一次且全面性的 蒐集與考量，然後再做出一個統整性的評估結果，且無論欲評估個案在特徵上是否相 同，均要進行此一全面性的度量值蒐集與評估。然而，這樣的作法當需要度量的屬性與 指標眾多時，便相當耗費時間與資源，所以本計畫認為(1)欲評估的個案由於特徵不同，
在評估時須考慮的屬性與指標應該也有所不同。(2)在整個評估的過程中，欲評估的屬性 與指標會因其重要程度而應有評估上的優先順序。故本計畫希望探討多階段式評估模式 建構技術在評估上的適用時機與限制。
3.2.1 研究範圍
而為了使此部分研究的成果更具實用性，本計畫將問題範圍縮小到僅針對評估的分 類問題(也就是針欲評估之標的屬性為類別型資料)進行探討，並針對以下幾個影響因素 來加以分類討論：
欲評估之標的屬性之類別個數多寡的影響。
歷史資料本身資料量多寡的影響。
全面性評估與多階段式評估在評估結果準確度上的差異。
3.2.2 模式建構技術之選取
而在模式建構技術的選擇上，由於相關的模式建構技術實在是太多，除了之前研究 背景中所提到的四種類型之模式建構技術外，在其他領域中也同樣存在著許多可能適用 的技術。但為求研究的可行性，本計劃會根據以下的一些準則來挑選相關的模式建構技 術：
模式建構技術是否為自動化的：為了方便實務上的使用，在挑選模式建構技術 時，必須考量技術本身在建構模式與評估的過程中，要儘可能地不要有人力部 分的操作，如此才可以增加軟體評估的效率與一致性。
要可以符合所蒐集來之資料本身的相關輸入與輸出需求：在蒐集相關軟體評估 歷史資料的過程中，會針對國內外之資料都僅可能地加以網羅，但畢竟所蒐集 的資料還是有其適用的條件，故受資料本身的限制，會有部分之模式建構技術 將無法被列入本計劃的研究對象。
要可以符合分類架構中問題的相關假設：所挑選的模式建構技術必須要能符合 本研究所提之分類架構中任一問題的相關假設，故無法符合之技術也就表示其
並不適用於本研究，因此便不會被挑選。
不過除了根據以上的準則，為了使研究更為單純且可行，本研究在第一階段僅會先 針對特定的模式建構技術進行探討，分別以全面性評估與多階段式評估兩部分來加以說 明，欲探討的技術列舉如下：
全面性評估：邏輯迴歸(Logistic Regression)等技術。
全面性評估技術的特點就是在每次的評估執行時，都會將欲評估實體的重 要屬性與其度量指標予以權重後，採取一次且全面性的考量。而邏輯迴歸 (Logistic Regression)則是跟一般迴歸類似，但主要針對標的屬性值為類別型資 料(或稱分類問題)，然後將重要屬性與其度量指標全部列入考量，再搭配上其 相對應的權重係數，分別將各類別值利用其對應的迴歸式算出其發生機率大 小，再進行評估結果的推論[22]。
多階段式評估：評估節點為單一屬性的決策分類樹(Decision Tree)技術(例如 C4.5 與 CART 等)。
而多階段式評估技術的特點則是在每次的評估執行時，會將屬性或度量指 標分別排列其評估的優先順序，所以每階段僅會考量一個或幾個評估屬性(或 度量指標)之值來判斷是否有評估結果或仍須再進行下一階段的評估，所以個 案不同，其進行的評估階段也會有所不同。
至於，為何僅先針對評估節點為單一屬性的決策分類樹(Decision Tree)技術 來進行第一階段的研究，主要是因為這些技術在許多的學術或商業用途之分析 工具裡都有被提供，故軟體學者或實務者可以很容易地取得並使用在評估研究 或活動上，也因此更需要瞭解這些技術的效能與適用環境。而 C4.5 與 CART 的主要差異在於處理類別型的資料上，C4.5 會將每個類別都分別產生一個子節 點(也就是會產生多元子樹)，CART 則是無論類別個數多寡，均至多將其分成 二個子節點[8,21]，故本研究想藉此探討類別型資料在不同切割法下對軟體評 估模式的影響，尤其軟體評估通常多是採用容易評判的類別型資料屬性或度量 指標。
3.2.3 研究流程
軟體全面性評估模式與多階段評估模式的建構步驟如下所示：
步驟1： 清除有缺失值或異常值的資料(目前暫時不列入探討部分)。
步驟2： 將軟體實務資料按實際分佈比例分層抽樣成 80%的訓練資料(Training Data)與 20%的測試資料(Test Data)。
步驟3： 選定一模式建構技術（全面性評估技術：邏輯迴歸(Logistic Regression)，多 階段式評估技術：C4.5 與 CART）並搭配訓練資料(Training Data)以建置評
估模式，並會得以下的評估公式或模式。
邏輯迴歸(Logistic Regression)：
{
0 ,...,}
, . .. 1
. 1 0 1 ,
) 1
| 1 Pr(
. ) ( log ,
1 ) ln(
) ( log
1
) ( log
1 0
features of
number the is a X X X
class i to belong not
class i to belong Y
e p X
Y p
p it p X
p p it
aj j j i
p i j it
i i
i a
k kj ki i i i i
i
=
=
≤ + ≤
=
=
=
∞
≤
≤
∞
− +
− =
=
−
∑
= ββ
C4.5 與 CART：樹狀結構的分類模式或是分類規則。
步驟4： 使用測試資料(Test Data)來驗證評估模式，評估準則為測試資料的誤判錯 誤率。
步驟5： 重複 2 到 4 之步驟，直到滿足規定的實驗次數(每種技術均要實驗 15 次)。
3.2.4 模式建構技術之驗證
而在模式建構技術的驗證部分，目前先利用國內軟體實務資料來進行技術的驗證，
後續則會再加入模擬資料驗證的部分，以增加研究結果的嚴謹性與可用性。
本計畫所使用之實務驗證資料的主要來源對象是國內各軟體組織，目前已蒐集 106 筆的專案歷史資料。資料屬性的定義主要是參考學者 Wallace(2004)等人的研究，資料中 共 有 27 個 風 險 因 子 或 事 件 ( 共 分 六 個 構 面 - 使 用 者 (User) 、 團 體 (Team) 、 需 求 (Requirement) 、 規 劃 與 控 制 (Planning and Control) 、 複 雜 (Complexity) 與 組 織 環 境 (Organization Environment))的發生頻率，以及分別對技術、成本、時程與團隊等四構面 的影響程度(發生頻率與四構面皆為五等級的順序型資料)，另外還有五個軟體產品與兩 個軟體流程的績效指標(皆為七等級的順序型資料，其資料分佈如表 3-1 所示)。
表 3-1 軟體產品與流程績效指標的資料分佈表
指標類別 軟體產品
指標名稱 系統是可靠的
等級 1 2 3 4 5 6 7
資料個數 1 2 6 22 20 39 16
指標名稱 系統是很容易被維護的
等級 1 2 3 4 5 6 7
資料個數 1 3 15 19 29 32 7
指標名稱 有滿足使用者對系統功能的要求
等級 1 2 3 4 5 6 7
資料個數 1 4 5 13 24 42 17
指標名稱 有滿足使用者對系統回應時間的要求
等級 1 2 3 4 5 6 7
資料個數 1 4 12 12 31 31 15
指標名稱 系統的品質是高的
等級 1 2 3 4 5 6 7
資料個數 1 5 9 20 23 38 10
指標類別 軟體流程
指標名稱 系統在預算內完成
等級 1 2 3 4 5 6 7
資料個數 8 11 11 16 15 26 19
指標名稱 系統在時程內完成
等級 1 2 3 4 5 6 7
資料個數 12 11 14 18 15 21 15
四、計畫進展
本研究計畫的內容主要是針對軟體評估模式之建構技術進行深入且彙整性的探 討，進而發展出一套可以自動根據專案特性資料來選定合適模式建構技術的評估模式。
但因本研究計畫的研究範疇比較大，為使最終的研究成果能真正有用，故將研究內容分 成兩年來進行。
本計畫第一年的執行期間是自民國 93 年 08 月 01 日開始，預定完成日期為民國 94 年 07 月 31 日。主要的研究內容可分為以下幾個部分：
針對軟體評估之相關研究進行整理與探討，進而從中找出適合的軟體評估問題 分類準則，並提出一個軟體評估問題之分類架構。
此外，根據上述的整理結果，也同時挑選出適用於本研究的軟體評估模式建構 技術，並探討其他領域之模式建構技術適用的可能性。
最後，根據所提出之軟體評估問題的分類架構，分別對架構內各個問題進行各 模式建構技術之適用情況的探討。
而本計畫第二年的執行期間是自民國 94 年 08 月 01 日開始，預定完成日期為民國 95 年 07 月 31 日。主要的研究內容可分為以下幾個部分：
根據所提出之軟體評估問題的分類架構進行深入的探討，以找出一個合適的技 術來建構此動態的問題歸類模式。
將此模式發展成一個具彈性與擴充性的工具軟體，以方便專案軟體者可以輕易 地將之應用在實務的評估活動上。
而預定完成之工作項目，則如下所示：
根據本研究所提之分類架構，以文獻整理、資料分析與專家訪談的方式，找出
合適的模式建構技術來為其建構成一套自動化的動態模式。
根據上述所提出之模式，針對業界的相關專家進行訪談，以找出要將此模式發 展成工具軟體之系統架構與相關功能需求。
找尋相關適合的軟體廠商來實際應用此工具，以驗證此工具之實用性。
此外，本計畫之第二年度預定進度，請參見「表 4-1」所示，而目前現階段之研究 現況及成果，則請參見「表 4-2」所示。
表 4-1 第二年度預定進度甘梯圖（Gantt Chart）
第二年度 時 間
工作項目
第 1 月
第 2 月
第 3 月
第 4 月
第 5 月
第 6 月
第 7 月
第 8 月
第 9 月
第 10 月
第 11 月
第 12 月
備 註 1、透過文獻探討、資料
分析與專家訪談的方 式來找尋適合於本分 類問題的模式建構技 術
■ ■ ■ ■
2、進行研究所需資料集
之蒐集與整理 ■ ■
3、針對所提出之軟體評 估之問題分類架構，
利用上述所找到之技 術建構出一套自動化 的動態模式
■ ■ ■ ■ ■ ■
4、針對業界的相關專家 進行訪談，以找出要 將上述模式發展成工 具軟體之系統架構與 相關功能需求
■ ■ ■
5、成果研討及期末報告
撰寫 ■ ■
預 定 進 度
（累積數）
5
％ 10
％ 20
％ 30
％ 40
％ 50
％ 60
％ 70
％ 80
％ 90
％ 95
％ 100
％ 表 4-2：現階段之研究現況及成果
工 作 項 目 目 前 進 度 及 辦 理 情 形
1、軟體評估相關文獻之蒐集、整 理及探討
已經完成針對軟體評估相關文獻之蒐集、整理與探討，
並瞭解相關文獻之內容，以分析比較個別模式建構技術 的特色與限制等。
2、提出一個以軟體評估問題特性
為觀點的軟體評估問題分類已經完成第一階段評估問題的分類架構，並再針對目前 架構進行探討與微調。
架構 架構進行探討與微調。
3、挑選出適合於本計劃之相關研 究的模式建構技術
目前本計畫先針對全面性與多階段式的軟體評估模式建 構技術進行探討與比較。
4、針對國內外相關軟體評估之資 料集進行蒐集，或進行相關實 驗設計之規劃
目前已從國內各軟體組織中蒐集到 106 筆的專案歷史資 料。另外也同步在進行模擬資料的設計與產生。
5、利用資料驗證或實驗設計的方 式分別找出各問題所適合的 模式建構技術
正在持續根據蒐集得來的專案歷史資料進行後續模式建 構技術效能驗證之研究設計與實施。
6、成果研討及期中進度報告撰寫 已完成期中成果研討及期中進度報告撰寫。
五、結論
一直以來，台灣的軟體產業表現始終無法呈現如硬體產業般如此亮眼的成績。而在 台灣加入 WTO 之後，資訊軟體業者更面臨全球化的競爭。故近幾年來，政府一直在推 動國內軟體廠商進行 CMMI 國際認證之四年計畫，也就是希望導入一套有制度的軟體發 展流程，藉以提昇國內軟體產業的素質。然而，國內軟體廠商在進行 CMMI 中度量與分 析(Measurement and Analysis)流程領域的相關工作時，卻常常遭遇到許多的問題，而其 中的一個問題便是如何選擇一個適合的軟體評估模式來解決其問題。因此，本研究的成 果可以提供國內軟體廠商一個較為適當且清楚的軟體評估問題分類，並提供一個工具來 協助軟體專案管理者選擇其所需的軟體評估模式與其模式建構技術，以便真正有效地做 好品質、成本與時程三部分的控管。
而就軟體工程研究而言，由於針對軟體評估模式建構技術進行深入且彙整性探討的 研究本來就相當稀少，因此本研究計畫的成果將可以作為其他相關學者在進行這類型研 究時的參考，進而多帶動這方面研究的發展，對於學術界而言也是有相當不錯的助益。
參考文獻
1. 林傑毅，"整合風險評估之軟體專案預估模式"，國立台灣科技大學資訊管理研究所 碩士論文，民國 90 年。
2. 黃政偉，"以案例式推理技術結合叢集索引機制評估軟體專案開發成本"，私立中華 大學資訊工程研究所碩士論文，民國 89 年。
3. 鄭滄濱，"軟體組織提昇人員能力之成熟度模糊評估模式"，國立台灣科技大學資訊 管理研究所碩士論文，民國 89 年。
4. 賴秀女，"軟體系統複雜度評估--一種修正的堆疊基馬可夫模式"，私立南華大學資 訊管理研究所碩士論文，民國 90 年。
5. 謝秀芳，"以貝氏模式建構之軟體開發品質評估指標"，私立元智大學資訊管理研究 所碩士論文，民國 88 年。
6. Breiman L., J. H. Friedman, R. A. Olshen, and C. J. Stone, Classification and Regression Trees, Belmont, Calif.:Wadsworth Inc., 1984.
7. Briand L.C., T. Langley, and I. Wieczorek, "A Replicated Assessment and Comparison of Common Software Cost Modeling Techniques," Proceedings of International Conference of Software Engineering, Limerick, Ireland, pp. 377-386, 2000.
8. Budgen D., "Evaluation and assessment in software engineering," Journal of Systems and Software, Vol. 52, pp. 93-94, June 1 2000.
9. Conte S. D., H. E. Dunsmore, and V. Y. Shen, Software Engineering Metrics and Models, Menlo Park, CA: Benjamin/Cummings, 1986.
10. Dohi T., S. Osaki, and K. S. Trivedi, "Heuristic self-organization algorithms for software reliability assessment and their application," 11th International Symposium on Software Reliability Engineering, pp.40-51, 8-11 Oct. 2000.
11. Fenton N. E., and S. L. Pfleeger, Software Metrics: A Rigorous and Practical Approach, International Thomson Publishing Company, Second Edition, 1996.
12. Goseva-Popstojanova K., A. P. Mathur, and K. S. Trivedi, "Comparison of architecture-based software reliability models," ISSRE 2001. Proceedings. 12th International Symposium on Software Reliability Engineering, pp.22-31, 27-30 Nov.
2001.
13. Gray A.R., and S.M. MacDonell, "A Comparison of Techniques for Developing Predictive Models of Software Metrics, " Information and Software Technology, Vol. 39, pp. 425-437, 1997.
14. Hayes-Roth F., Waterman D., and Lenat D., Building expert systems, Reading MA:
Addison-Wesley, 1983.
15. Kitchenham B. A., P. Brereton, D. Budgen, S. G. Linkman, V. L. Almstrum, and S. L.
Pfleeger, "Evaluation and assessment in software engineering," Information and Software Technology, Vol. 39, pp.731-734, 1997.
16. Li H. F., and W. K. Cheung, "An Empirical Study of Software Metrics," IEEE Transactions on Software Engineering, Vol. 13, No. 6, 1987.
17. Linkman S. G., "Evaluation and assessment in software engineering," Information and Software Technology, Vol. 40, pp. 793-794, Dec. 1 1998.
18. Quinlan J.R. C4.5: Programs for Machine Learning, San Mateo, Calif.:Morgan Kaufman, 1993.
19. Schneidewind N. F., "Investigation of Logistic Regression as a Discriminant of Software Quality," Proceedings of Seventh International Software Metrics Symposium, pp.328-337, 4-6 April 2001.
20. Wallace L., Keil M., and Rai A., "How Software Project Risk Affects Project Performance: An Investigation of Dimensions of Risk and an Exploratory Model,"
Decision Sciences, Vol. 35, No. 2, pp.289-321, Spring 2004.
21. Weiss D.M., D. Bennett, J.Y. Payseur, P. Tendick, and P. Zhang, "Goal-oriented software assessment," Proceedings of the International Conference on Software Engineering, pp.221-231, 19-25 May 2002.
22. Weller E.F., "Using Metrics to Manage Software Projects", IEEE Computer, Sept. 1994.
