第四章 模擬結果
第四節 模擬結果分析與比較
國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
SD ∼ SN 在圳地圸.圶圳圸圲, 圲圴圳.圱圴圴圷2, 圶圩，SN D ∼ SN 在圶圷圷.圵圷圴圵, 圱圶圲.地圹圶圴2, −圶圩
0 200 400 600 800 1000
0.0000.0010.0020.0030.0040.0050.006
D
Score
Density
Defaults Non−defaults
圖 圴圮圴场 授信戶組合坄兩分數分配機率密度函數
第四節 模擬結果分析與比較
授信戶組合坁圭圱
在授信戶組合坁圭圱的情況下，由於設定為兩常態分配，期望可看到Nmle與Mann−
W hitney方法應該有較好的覆蓋次數但在真實坁坕坃值覆蓋次數部分，可以發現在違約 率地圮地圱以上，各種方法都有還算不錯的覆蓋次數，這兩種方法並沒有相對突出，整體 來看各種方法在真實坁坕坃值覆蓋次數部分並沒有太大的差異。以覆蓋率來看，在違約 機率地圮地地圳下，Kerner方法相對較差而其他方法則以Mann − W hitney較佳。在其他 違約機率下則沒有明顯好壞。另再看是否坁坕坃圽地圮圵落在所做出的信賴區間內時。發 現在違約機率小的時候，p 圽 地.地地圳，較容易包含地圮圵值，其中以Mann − W hitney方 法最多，表示若利用M ann − W hitney方法估計坁坕坃，則會有較高的覆蓋率覆蓋 到地圮圵值，意味著用此方法估計坁坕坃則有較高的比例會認定違約戶分數分配與未違約戶 分數分配相同，但實際上這應該是兩完全不同的分配。因此若利用EM或是Kernel方 法則可以大幅減少覆蓋地圮圵值的覆蓋率。另外可看到當違約率越大的時候，覆蓋地圮圵值 的次數與比率就很低，近乎為零。在信賴區間寬度下，本文利用信賴區間上界扣除 信賴區間下界得到其寬度，從表中可知道在違約機率為地圮地地圳下，Kernel方法可以得 到明顯小於其他方法的寬度，代表在相同的信心水準之下Kernel方法做出的信賴區 間較窄。在違約機率為p 圽 地.地圱，p 圽 地.地圵以及p 圽 地.圱下EM方法可以得到明顯小於
圲圷
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
其他方法的寬度，代表在相同的信心水準之下EM方法做出的信賴區間較窄。總體 看來。EM方法在估計真實坁坕坃值並沒有與其他方法差異太多，但卻包含較少比率 的地圮圵值。得到的信賴區間大致上也最窄。因此利用EM方法在授信戶組合坁圭圱可以較 為準確地估計坁坕坃值。
表 圴圮圲场 坁圭圱覆蓋次數
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks
0.003 306 314 345 342 318 37 53 82 54 44 146 207
0.01 400 404 419 405 398 2 3 5 3 2 3 12
0.05 457 460 463 447 445 0 0 0 0 0 0 0
0.1 464 465 469 454 453 0 0 0 0 0 0 0
表 圴圮圳场 坁圭圱覆蓋率
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks
0.003 61% 63% 69% 68% 64% 7% 11% 16% 11% 9% 29% 41%
0.01 80% 81% 84% 81% 80% 0% 1% 1% 1% 0% 1% 2%
0.05 91% 92% 93% 89% 89% 0% 0% 0% 0% 0% 0% 0%
0.1 93% 93% 94% 91% 91% 0% 0% 0% 0% 0% 0% 0%
表 圴圮圴场 坁圭圱信賴區間寬度
Confidence interval width
P Kernel emp MW Nmle em
0.003 0.218610 0.256030 0.317483 0.259583 0.258929 0.01 0.192818 0.198715 0.211909 0.189843 0.188262 0.05 0.101630 0.103129 0.103932 0.098166 0.097922 0.1 0.075000 0.075932 0.076152 0.070685 0.070593
授信戶組合坁圭圲
在授信戶組合坁圭圲的情況下，設定為違約戶為常態分配，未違約戶為右偏的 偏斜常態分配。因此不期望可看到Nmle與Mann − W hitney方法有較好的覆蓋次 數。利用Nmle方法在這裡是屬於誤判的方法，因此效果不好不並不感到意外。在真
圲圸
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
實坁坕坃值覆蓋次數部分，可以發現在違約率地圮地圱以上，各種方法都有還算不錯的覆 蓋次數，整體來看各種方法在真實坁坕坃值覆蓋次數部分並沒有太大的差異。以覆蓋 率來看，在違約機率p 圽 地.地地圳下，以Mann − W hitney方法表現較佳，EM方法沒 有特別突出。在其他違約機率下則沒有太明顯好壞。另再看是否坁坕坃圽地圮圵落在所做 出的信賴區間內時。發現在違約機率小的時候，p 圽 地.地地圳，較容易包含地圮圵值，其中 以Mann − W hitney方法最多，表示若利用Mann − W hitney方法估計坁坕坃，則會 有較高的覆蓋率覆蓋到地圮圵值，意味著用此方法估計坁坕坃則有較高的比例會認定違約戶 分數分配與未違約戶分數分配相同，但實際上這應該是兩完全不同的分配。因此若利 用EM或是Kernel方法則可以大幅減少覆蓋地圮圵值的覆蓋率，其中以Kernel方法表現 最為明顯。另外可看到當違約率越大的時候，覆蓋地圮圵值的次數與比率就很低，近乎為 零。在信賴區間寬度下，從表中可知道在違約機率為地圮地地圳下，Kernel方法可以得到 明顯小於其他方法的寬度，代表在相同的信心水準之下Kernel方法做出的信賴區間較 窄。相比之下Mann − W hitney方法做出的信賴區間過寬。EM方法在此情形中則沒 有太突出的表現。
表 圴圮圵场 坁圭圲覆蓋次數
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks
0.003 287 292 329 334 291 61 88 146 73 74 184 247
0.01 416 415 436 426 408 2 3 4 0 2 2 16
0.05 461 464 472 473 460 0 0 0 0 0 0 0
0.1 460 459 465 453 450 0 0 0 0 0 0 0
表 圴圮圶场 坁圭圲覆蓋率
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks
0.003 57% 58% 66% 67% 58% 12% 18% 29% 15% 15% 37% 49%
0.01 83% 83% 87% 85% 82% 0% 1% 1% 0% 0% 0% 3%
0.05 92% 93% 94% 95% 92% 0% 0% 0% 0% 0% 0% 0%
0.1 92% 92% 93% 91% 90% 0% 0% 0% 0% 0% 0% 0%
圲圹
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表 圴圮圷场 坁圭圲信賴區間寬度
Confidence interval width
P Kernel emp MW Nmle em
0.003 0.250589 0.298058 0.374269 0.269523 0.302947 0.01 0.217234 0.231896 0.248505 0.191746 0.215035 0.05 0.109317 0.113966 0.115158 0.095863 0.107855 0.1 0.081466 0.084562 0.084609 0.070380 0.079191
授信戶組合坁圭圳
在授信戶組合坁圭圳的情況下，設定違約戶為常態分配，未違約戶為左偏的偏斜 常態分配。可得知在這種組合下，Nmle方法是一種誤用的方法。在真實坁坕坃值覆 蓋次數部分，可以發現在違約率地圮地圱以上，各種方法都有還算不錯的覆蓋次數，整 體來看各種方法在真實坁坕坃值覆蓋次數部分並沒有太大的差異。在違約機率p 圽 地.地地圳下，Kerner方法相對較差，在違約機率而其他方法則以Mann − W hitney較 佳 。 在p 圽 地.地圱下Mann − W hitney亦 較 佳 但 與 其 他 方 法 相 比 差 異 沒 有 違 約 機 率p 圽 地.地地圳下大。其他違約機率下則沒有明顯好壞。 另在看是否坁坕坃圽地圮圵落在所 做出的信賴區間內時，發現在違約機率小的時候，p 圽 地.地地圳，較容易包含地圮圵值，其 中以Mann − W hitney方法最多，表示若利用Mann − W hitney方法估計坁坕坃，則 會有較高的覆蓋率覆蓋到地圮圵值，意味著用此方法估計坁坕坃則有較高的比例會認定違 約戶分數分配與未違約戶分數分配相同，但實際上這應該是兩完全不同的分配。因 此若利用EM或是Kernel方法則可以大幅減少覆蓋地圮圵值的覆蓋率。在信賴區間寬度 下，從表中可知道在違約機率為p 圽 地.地地圳下，Kernel方法可以得到明顯小於其他方 法的寬度，代表在相同的信心水準之下Kernel方法做出的信賴區間較窄。在違約機率 為p 圽 地.地圱，p 圽 地.地圵以及p 圽 地.圱下EM方法可以得到明顯小於其他方法的寬度，代 表在相同的信心水準之下EM方法做出的信賴區間較窄。總體看來。EM方法在估計 真實坁坕坃值並沒有與其他方法差異太多，除在違約機率很小時比Mann − W hitney表 現差但卻包含較少比率的地圮圵值。得到的信賴區間大致上也最窄。因此利用EM方法在 授信戶組合坁圭圳可以較為準確地估計坁坕坃值。
圳地
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
表 圴圮圸场 坁圭圳覆蓋次數
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks
0.003 306 315 359 337 319 39 53 74 74 43 157 183
0.01 403 406 432 409 399 1 1 1 1 1 2 4
0.05 458 461 457 444 447 0 0 0 0 0 0 0
0.1 473 476 475 451 450 0 0 0 0 0 0 0
表 圴圮圹场 坁圭圳覆蓋率
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks
0.003 61% 63% 72% 67% 64% 8% 11% 15% 15% 9% 31% 37%
0.01 81% 81% 86% 82% 80% 0% 0% 0% 0% 0% 0% 1%
0.05 92% 92% 91% 89% 89% 0% 0% 0% 0% 0% 0% 0%
0.1 95% 95% 95% 90% 90% 0% 0% 0% 0% 0% 0% 0%
表 圴圮圱地场 坁圭圳信賴區間寬度
Confidence interval width
P Kernel emp MW Nmle em
0.003 0.205804 0.235666 0.290937 0.268184 0.236570 0.01 0.171224 0.172850 0.183873 0.189161 0.166009 0.05 0.091747 0.091704 0.092258 0.097192 0.085998 0.1 0.069533 0.069413 0.069449 0.070541 0.062567
授信戶組合坂圭圱
在授信戶組合坂圭圱的情況下，設定為兩常態分配，在真實坁坕坃值覆蓋次數部分，
各種方法都有還算不錯的覆蓋次數，整體來看各種方法在真實坁坕坃值覆蓋次數部分 並沒有太大的差異。以覆蓋率來看，在違約機率地圮地地圳下，Kerner方法相對較差而其 他方法則以Mann − W hitney較佳。在其他違約機率下則沒有明顯好壞。另在看是 否坁坕坃圽地圮圵落在所做出的信賴區間內時。以Mann − W hitney方法最多，表示若利 用Mann − W hitney方法估計坁坕坃，則會有較高的覆蓋率覆蓋到地圮圵值，意味著用此 方法估計坁坕坃則有較高的比例會認定違約戶分數分配與未違約戶分數分配相同，但 實際上這應該是兩完全不同的分配。因此若利用EM或是Kernel方法則可以大幅減 少覆蓋地圮圵值的覆蓋率。另外可看到當違約率越大的時候，覆蓋地圮圵值的次數與比率較
圳圱
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
低。但在此情況下其估計的效果不佳。在信賴區間寬度下，從表中可知道在違約機率 為地圮地地圳下，Kernel方法可以得到明顯小於其他方法的寬度，代表在相同的信心水準 之下Kernel方法做出的信賴區間較窄。其他方法下的信賴區間則較無明顯差異。在 違約機率為p 圽 地.地圱，p 圽 地.地圵以及p 圽 地.圱下Nmle方法可以得到明顯小於其他方法的 寬度，代表在相同的信心水準之下Nmle方法做出的信賴區間較窄。因為本來就設定為 兩常態分配因此利用Nmle方法得到較佳的結果並不意外。但EM方法表現也不錯。
與Nmle方法差異不大。
表 圴圮圱圱场 坂圭圱覆蓋次數
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks 0.003 323 354 384 361 338 297 331 368 338 307 419 438
0.01 449 450 464 452 446 368 370 392 374 365 367 359
0.05 471 469 475 465 463 172 190 200 182 181 144 88
0.1 472 473 498 471 471 51 61 61 48 48 33 5
表 圴圮圱圲场 坂圭圱覆蓋率
True AUC in interval 50% in interval Type II error P Kernel emp MW Nmle em Kernel emp MW Nmle em mw ks
0.003 65% 71% 77% 72% 68% 59% 66% 74% 68% 61% 84% 88%
0.01 90% 90% 93% 90% 89% 74% 74% 78% 75% 73% 73% 72%
0.05 94% 94% 95% 93% 93% 34% 38% 40% 36% 36% 29% 18%
0.1 94% 95% 96% 94% 94% 10% 12% 12% 10% 10% 7% 1%
表 圴圮圱圳场 坂圭圱信賴區間寬度
Confidence interval width
P Kernel emp MW Nmle em
0.003 0.489789 0.568748 0.694552 0.573847 0.574090 0.01 0.389720 0.395965 0.418453 0.378847 0.387032 0.05 0.184528 0.189077 0.190097 0.178518 0.179588 0.1 0.132527 0.135504 0.135815 0.126342 0.126744
圳圲
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
授信戶組合坂圭圲
在授信戶組合坂圭圲的情況下，設定違約戶為常態分配，未違約戶為右偏的偏斜 常態分配。Nmle方法在此組合下是誤用的方法。在真實坁坕坃值覆蓋次數部分，可以 發現在違約率地圮地圱以上，各種方法都有還算不錯的覆蓋次數，整體來看各種方法在 真實坁坕坃值覆蓋次數部分並沒有太大的差異。也都有包含四百次以上。以覆蓋率來 看，在違約機率p 圽 地.地地圳下，以Mann − W hitney方法表現較佳，但和其他相比並 沒有差異太大。EM 方法沒有特別突出。另看是否坁坕坃圽地圮圵落在所做出的信賴區間 內。由於在此情況下，理論坁坕坃值約為地圮圶與地圮圵較為相近，因此發現在違約機率小的 時候，p 圽 地.地地圳，較容易包含地圮圵值，且覆蓋率與在真實坁坕坃值覆蓋率差異小，意味
在授信戶組合坂圭圲的情況下，設定違約戶為常態分配，未違約戶為右偏的偏斜 常態分配。Nmle方法在此組合下是誤用的方法。在真實坁坕坃值覆蓋次數部分，可以 發現在違約率地圮地圱以上，各種方法都有還算不錯的覆蓋次數，整體來看各種方法在 真實坁坕坃值覆蓋次數部分並沒有太大的差異。也都有包含四百次以上。以覆蓋率來 看，在違約機率p 圽 地.地地圳下，以Mann − W hitney方法表現較佳，但和其他相比並 沒有差異太大。EM 方法沒有特別突出。另看是否坁坕坃圽地圮圵落在所做出的信賴區間 內。由於在此情況下，理論坁坕坃值約為地圮圶與地圮圵較為相近，因此發現在違約機率小的 時候，p 圽 地.地地圳，較容易包含地圮圵值，且覆蓋率與在真實坁坕坃值覆蓋率差異小，意味