第四章 實驗結果及分析
4.3 實驗三：DenseNet-40-12 / DenseNet-BC-40-12 (CIFAR-10、CIFAR-100)
4.3.1 DenseNet-40-12 (CIAFR-10、CIFAR-100)
4.3.1 DenseNet-40-12 (CIAFR-10、CIFAR-100)
DenseNet-40-12後方的數字表示整個模型中總共有39層卷積層加上最後一層全連接層，
而每層卷積層皆從前面各個卷積層輸出特徵圖的拼接固定學習12個新的特徵。DenseNet-40-12又分為Dense Block 1、Dense Block 2與Dense Block 3三個區塊，分別對應至低、中、高階 卷積層，Block與Block之間則是透過Transition layer連接在一起，而Transition layer裡包含了 1 x 1的卷積層與平均池化層。
DenseNet-40-12
(CIFAR-10) Params FLOP Accuracy (%) Epochs
Seed 1.07 x 10^6 2.82 x 10^8 92.63 100
Benchmark 1.07 x 10^6 2.82 x 10^8 93.14 300 Low level feature with conv2d_1
Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
Low level feature without conv2d_1
Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
表4-13 多樣性演算法於DenseNet-40-12(CIFAR-10)的Benchmark、Seed模型與低階壓縮實 驗(☉表示剪枝後模型的準確率，♁表示重新訓練後模型的準確率)
‧ 國
立 政 治 大 學
‧
N a
tio na
l C h engchi U ni ve rs it y
圖4-8 多樣性演算法於DenseNet-40-12(CIFAR-10)的低階壓縮實驗圖表
前面曾提到，由於DenseNet系列網路中的第一層卷積層對於整體模型的影響相當大，
因此我們特別針對該卷積層訂定了一個額外的相似度門檻值。為了找尋第一與低階卷積層 合適的相似度門檻值，因此我們做了兩組相似度門檻值壓縮實驗，如表4-13與圖4-9所示，
此兩組實驗皆是對DenseNet-40-12(CIFAR-10)的低階卷積層進行剪枝，唯一的差別僅在於是 否有對第一卷積層做剪枝，可以看到with conv2d_1的剪枝後準確率斷層處在門檻值0.5至0.4 之間，重新訓練後準確率的落差發生在0.4至0.3之間，因此第一層卷積層的相似度門檻值會 在0.4前後做調整，而without conv2d_1的剪枝斷層處在0.5至0.4之間，重新訓練後的落差處 在0.3至0.2之間，不過在門檻值為0.3時，重新訓練後的辨識準確率還是能維持在93%以上，
因此低階的相似度門檻值會在0.3左右做調整。
另外我們還可以發現到，在相似度門檻值為0.2時，無論是否有對第一層卷積層做剪枝，
經過壓縮後的模型，其FLOP皆減少了一半以上，也證實在DenseNet系列網路中，低階卷積 層對於FLOP的影響力確實是大於中階與高階的。
‧ 國
立 政 治 大 學
‧
N a
tio na
l C h engchi U ni ve rs it y
Middle level feature
Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
0.2 5.83 x 10^5 45.88 2.27 x 10^8 19.72 18.78 92.91
0.3 8.03 x 10^5 25.47 2.55 x 10^8 9.78 71.44 93.21
0.4 1.01 x 10^6 5.58 2.77 x 10^8 2.07 91.21 93.34
0.5 1.06 x 10^6 1.08 2.81 x 10^8 0.4 92.08 93.27
0.6 1.07 x 10^6 0.31 2.82 x 10^8 0.12 92.44 93.17
0.7 1.07 x 10^6 0 2.82 x 10^8 0 92.63 93.13
High level feature
Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
0.2 10^6 6.61 2.78 x 10^8 1.6 89.42 93.31
0.3 1.07 x 10^6 0 2.82 x 10^8 0 92.63 93.28
0.4 1.07 x 10^6 0 2.82 x 10^8 0 92.63 93.29
0.5 1.07 x 10^6 0 2.82 x 10^8 0 92.63 93.25
0.6 1.07 x 10^6 0 2.82 x 10^8 0 92.63 93.43
0.7 1.07 x 10^6 0 2.82 x 10^8 0 92.63 93.21
表4-14 多樣性演算法於DenseNet-40-12(CIFAR-10)的Benchmark、Seed模型與中高階壓縮 實驗(☉表示剪枝後模型的準確率，♁表示重新訓練後模型的準確率)
圖4-9 多樣性演算法於DenseNet-40-12(CIFAR-10)的中高階壓縮實驗圖表
‧
Low level feature with conv2d_1Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
Low level feature without conv2d_1
Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
‧ 國
立 政 治 大 學
‧
N a
tio na
l C h engchi U ni ve rs it y
Middle level feature
Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
0.2 6.94 x 10^5 37.94 2.35 x 10^8 16.71 12.71 69.12
0.3 1.07 x 10^6 4.34 2.77 x 10^8 1.86 65.29 70.03
0.4 1.11 x 10^6 0 2.82 x 10^8 0 69.08 70.32
0.5 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.54
0.6 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.89
0.7 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.83
High level feature
Threshold Params Pruned (%) FLOP Reduction (%) ☉ ♁
0.2 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.78
0.3 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.67
0.4 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.87
0.5 1.11 x 10^6 0 2.82 x 10^8 0 69.08 70.07
0.6 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.96
0.7 1.11 x 10^6 0 2.82 x 10^8 0 69.08 69.76
表4-15 多樣性演算法於DenseNet-40-12(CIFAR-100)的Benchmark、Seed模型與三階壓縮實 驗(☉表示剪枝後模型的準確率，♁表示重新訓練後模型的準確率)
‧
圖4-10 多樣性演算法於DenseNet-40-12(CIFAR-100)的三階壓縮實驗圖表
CIFAR-10 Accuracy (%) Parameters Pruned (%) FLOP Reduction (%) 表4-16 多樣性演算法於DenseNet-40-12(CIFAR-10)的壓縮結果
CIFAR-100 Accuracy (%) Parameters Pruned (%) FLOP Reduction (%)
Conv2d_1 / 表4-17 多樣性演算法於DenseNet-40-12(CIFAR-100)的壓縮結果
‧
表4-16與表4-17分別為DenseNet-40-12在CIFAR-10與CIFAR-100的壓縮結果，在CIFAR-10資料集上，我們可以減少一半以上的參數量與FLOP，且維持與Benchmark model相近的辨 識準確率，而在容許約1%準確率差異的情況下，則可以減少約75%的參數量與FLOP。在 CIFAR-100資料集上，雖然壓縮的幅度降低許多，不過在無損與損失約1%辨識準確率的情 況下，還是能夠分別刪減22%與45%的參數量，35%與58%的FLOP。