• 沒有找到結果。

評估與比較

在文檔中 中 華 大 學 碩 士 論 文 (頁 61-66)

第四章 實證與分析

4.3 評估與比較

經由訓練資料所建立的關聯規則,以信賴度為依據由大到小排序,分別針對 各項規則中取信賴度前五至前八筆資料,使用精確率、回應率與F-measure來進 行評估,並將結果分為未分群和分群評估,來測定研究的準確度,評估結果如下:

表 4-20:未分群評估結果(TOP-n代表前n項的推薦結果) Precision Recall F-measure

TOP3 36.3% 29.2% 32.4%

TOP4 32.4% 33.4% 32.9%

TOP5 30.4% 39.3% 34.3%

TOP6 29.1% 43.5% 34.9%

TOP7 28.1% 49.3% 35.8%

TOP8 26.7% 52.6% 35.4%

TOP9 24.9% 55.3% 34.3%

TOP10 23.7% 59.5% 33.9%

TOP11 23.0% 63.5% 33.8%

TOP12 22.2% 66.3% 33.2%

TOP13 21.1% 67.9% 32.2%

TOP14 20.3% 69.9% 31.5%

TOP15 20.3% 69.9% 31.5%

圖 4-1:未分群評估結果數據圖

在未分群中我們信賴度設定為0.80,從評估結果中,可以看到在TOP14的時 候已達到預測最大範圍,準確率為20.3%、回應率為69.9%,從圖表中可以看到 在精確率越高時,回應率會越低,所以本研究是以F-measure作為衡量的主要指 標,結果顯示在未分群評估的結果中,其中F-measure值以TOP7值35.8%為最高。

表 4-21:財經學群評估結果(TOP-n代表前n項的推薦結果) Precision Recall F-measure

TOP3 45.2% 33.4% 38.4%

TOP4 44.7% 44.1% 44.4%

TOP5 42.0% 53.6% 47.1%

TOP6 40.5% 58.6% 47.9%

TOP7 39.2% 64.7% 48.8%

TOP8 37.2% 68.3% 48.2%

TOP9 35.7% 68.7% 47.0%

TOP10 34.5% 69.0% 46.2%

TOP11 34.0% 72.2% 46.0%

TOP12 33.0% 74.8% 45.8%

TOP13 33.0% 74.8% 45.8%

圖 4-2:財經學群評估結果數據圖

在財經學群中我們信賴度設定為0.80,其評估結果,因為人數和所包含的系 所較少,所做出的關聯規則也較為的少,因此預測的結果在TOP12的時候就已達 到最大的預測範圍,在TOP12的精確率為33.0%、回應率為74.8%;從研究中可以 看到其精確率和回應率都高於未分群的結果,計算出的F-measure也皆高於未分 群的結果,因此可以得知在準確率的部份是高於未分群的結果,而其中F-measure 值也是以TOP7值48.8%為最高。

表 4-22:經營管理學群評估結果(TOP-n代表前n項的推薦結果) Precision Recall F-measure

TOP3 45.2% 35.3% 39.6%

TOP4 41.8% 40.2% 41.0%

TOP5 40.2% 43.7% 41.9%

TOP6 38.4% 48.1% 42.7%

TOP7 37.6% 53.0% 44.0%

TOP8 35.0% 55.5% 43.9%

TOP9 34.2% 58.8% 43.4%

TOP10 33.4% 62.1% 43.2%

TOP11 32.7% 65.8% 43.2%

TOP12 31.5% 68.5% 43.2%

TOP13 30.3% 70.1% 42.3%

TOP14 30.3% 70.1% 42.3%

圖 4-3:經營管理學群評估結果數據圖

在經營管理學群我們信賴度設定為0.80,其評估結果,在TOP13的時候已達 到預測最大的範圍,準確率為30.3%、回應率為70.1%,可以看到其精確率和回 應率都高於未分群的結果,但其結果並沒有高於財金學群和人文社會學群,且只 高於未分群的結果一些,可能的原因是經營管理學群,所包含的科系太多,所以 其關聯規則的推薦也會較於發散,而導致推薦的準確率下降。而其計算出的 F-measure也高於未分群的結果,其中F-measure值也是以TOP7值44.0%為最高。

表 4-23:人文社會學群評估結果(TOP-n代表前n項的推薦結果) Precision Recall F-measure

TOP3 56.1% 33.2% 41.7%

TOP4 50.9% 42.3% 46.2%

TOP5 48.1% 51.1% 49.6%

TOP6 45.6% 57.3% 50.8%

TOP7 44.7% 60.4% 51.4%

TOP8 42.6% 64.4% 51.3%

TOP9 40.9% 63.5% 49.8%

TOP10 38.9% 65.8% 48.9%

TOP11 37.4% 67.1% 48.0%

TOP12 35.9% 68.3% 47.1%

TOP13 34.7% 70.3% 46.5%

TOP14 33.6% 71.8% 45.8%

TOP15 33.6% 71.8% 45.8%

圖 4-4:人文社會學群評估結果數據圖

在人文社會學群我們信賴度設定為0.80,其評估結果,在TOP14的時候已達 到預測最大的範圍,準確率為33.6%、回應率為71.8%,可以看到其精確率和回 應率都高於未分群的結果,而其計算出的F-measure高於未分群的結果和其他 群,因為人文社會學群所有的科系較少,所以關聯規則也較為集中,所以精確路 和回應率都較為良好,而其中F-measure值也是以TOP7值51.4%為最高。

以上的結果顯示不管在未分群以及分群評估的結果中,都是以TOP7所做出 的F-measure的最高,而之後所做出的結果都呈現下滑,所以之後在系統實作中,

本研究將會依此依據作開發,本研究將會推薦讀者TOP7的項目提供讀者參考。

圖 4-5:F-measure評估結果數據圖(TOP-n代表前n項的推薦結果)

由上圖可以得知,以未分群的所做出的F-measure值,都比分群所做出的值 較低,因此本研究可以知道在分群所做出的結果上有較高的準確度,因此本研究 將會使用分群的方式去做出群組的推薦。

在文檔中 中 華 大 學 碩 士 論 文 (頁 61-66)