研究進度

本計畫的研究進度如圖 E03-15 所示。在第一季的進度預計蒐集 800 筆製成參數及產 品品質參數。在本計畫中共蒐集9,301 筆製程參數集。如圖 E03-16 所示。

圖E03-15 研究進度

圖E03-16 製程參數

111

每筆資料包含串製程參數X 及產品品質參數 Y。其中 X 有 30 個參數，分別由串製程 各階段(例如煉鋼、熱軋、冷軋等)蒐集而來，並代表著成分、溫度、速度等重要資訊，例 如X3 代表氣冷區溫度、X11 代表完軋溫度、X13 代表碳含量。Y 有 3 個參數(Y1、Y2、

Y3)，分別代表產品品質的不同面相，例如 Y2 代表拉伸強度，而 Y 值通常由產線品管人 員於評量產品情況後給定數值。(註：茲因相關參數涉及企業機密，經與相關部門討論後 僅提供概略說明，尚祈見諒。)

(1)Multilayer Perceptron 訊練結果

在蒐集了9,301 筆產線資料中，每筆資料包含串製程參數 X 及產品品質參數 Y。其中 X 有 30 個參數，分別由串製程各階段(例如煉鋼、熱軋、冷軋等)蒐集而來，並代表著成 分、溫度、速度等重要資訊。Y 有 3 個參數(Y1、Y2、Y3)，分別代表產品品質的不同面 相，例如拉伸強度，這些數值會由品管人員透過專門儀器測量獲得。

實驗中我們透過具有單一隱藏層的MLP 架構來估測 Y 值(即 Y1*、Y2*或 Y3*)，並 以Mean Absolute Error (MAE)來評量估測結果。我們將所有資料以 2:1:1 的比例隨機分為 訓練資料集、驗證資料集與測試資料集。在MLP 方法中，神經元的個數會影響訓練系統 所需的epoch 數，而且過多的 epoch 數會使結果產生過擬合(overfitting)的現象。以圖 E03-17 為例，5000 的神經元大約需要 500 個 epoch 來訓練系統，以獲得較佳的系統參數，超 過500 個 epoch 則會發生過擬合的情況。

圖E03-17 使用 5000 個神經元的 MLP 系統來進行訓練參數的情況

在神經元個數方面，我們測試過大小不同的數量(例如 10、30、100、300、1000、

5000、10000、50000 等)，依我們的經驗，目前資料集只要使用超過 1000 個神經元，不 論在估測Y1、Y2 或 Y3 上都能快速得到穩定的系統參數。

112

在表E03-1 至表 E03-3 中，我們分別列出了不同神經元個數(1000、5000、10000)於訓 練系統時所需的epoch 數，以及相對應的系統評估結果。由實驗結果得知，對於驗證資料 集而言，不同的神經元個數所獲得的 MAE 是很接近的，表示增加神經元個數，並不一定 能改善結果。而驗證資料集與測試資料集的 MAE 也是差不多的，顯示這兩個隨機產生的 資料集其特性是類似的。

原始資料集Y1 的平均值為 153.27，標準差為 8.17；Y2 的平均值為 298.01，標準差為 8.85；Y3 的平均值為 50.02，標準差為 2.29。在實驗中，以測試資料集估測 Y1、Y2、Y3 可獲得的平均MAE 分別為 4.56、3.96、1.06 (將不同神經元的結果加總平均)。若將這些數 值對應除以Y1、Y2、Y3 的原始平均值(即 153.27、298.01、50.02)，可得到 Percentage error，

分別為 2.98%、1.33%、2.11%，將三者加總平均可得 2.14%。因此，我們初估以目前的方 式來估測Y 值，大約會有 2%左右的估測誤差。

表E03-1 以不同神經元個數來建模估測 Y1 的實驗結果

表E03-2 以不同神經元個數來建模估測 Y2 的實驗結果

表E03-3 以不同神經元個數來建模估測 Y3 的實驗結果

113

(2)VGG 訓練結果

由於原始 VGG 架構是使用在二維影像(input: 224×224)上，若要使用在一維訊號上 (input: 30)則需要進行部分修改，我們將修改後之架構稱為 Modified VGG，如圖 E03-18 所 示。因 224 大約為 30 的 8 倍，故我們將 Modified VGG 其各層架構的 feature map 數或 neuron 數大約設定為原始 VGG 的 1/8。Convolution filter 由二維 3×3 的 9 個參數，變成一 維的3 個參數。Max pooling 的運算會縮減 feature map 的長、寬大小為原本的 1/2，由於本 研究的輸入訊號維度只有30，故使用該運算的次數也會受到限制，我們共使用了 3 次 Max pooling 運算，也因此在整體架構層數上就沒有辦法像原始 VGG 一樣有那麼多層。另外，

原始 VGG 是用在分類問題上，而本研究是用在回歸問題上，故將最後一層的 Softmax 層 改為單一輸出的FC-1 層作為因應。

圖E03-18 原始 VGG 網路架構與本研究所使用之 VGG 網路架構

114

在VGG 的實驗中，以測試資料集估測 Y1、Y2、Y3 獲得的 MAE 分別為 4.77、4.06、

1.07。Percentage error 分別為 3.11%、1.36%、2.13%，將三者加總平均可得 2.2%。先前用 MLP 建模做出的平均 Percentage error 為 2.14%，兩者相差沒有很多，也是大約有 2%左右 的估測誤差。推測造成這樣結果可能是因為目前求解問題的維度(30 維對應到 1 維)並不是 很複雜，因此尚無法真正發揮VGG 網路多層次分析資料與擷取特徵的強大功能。

表E03-4 以 VGG 建模估測 Y1 的實驗結果

表E03-5 以 VGG 建模估測 Y2 的實驗結果

表E03-6 以 VGG 建模估測 Y3 的實驗結果

(3)使用蜜蜂演算法於生產參數最佳化的實驗結果

我們使用所提出簡化 VGG16 模型建模作為代理人模型，並以調整至訓練樣本中的產 品參數的平均值作為利益函數(merit function)。如圖 E03-16 所示，每一筆製成的資料共有 30 個參數，其中 X2, X3, X4, X8 及 X9 為人為操作設定的參數。本實驗蒐集 146 筆產品參 數Y1, Y2, Y3 不合格或者落在平均值加減 2 倍標準差的區間外的數據資料作為測試樣本，

以驗證本計畫所提方法準確性。並使用螢火蟲演算法來調整人為操作的五個參數以使 Y1,Y2,Y3 調整接近平均值，圖 E03-19 和圖 E03-20 顯示其中 20 組實驗的結果

115

圖 E03-19 第一至第三的欄為調整過後的 Y1,Y2,Y3 數值,第四道第六欄位為原始 Y1,Y2,Y3 的產品參數的數值。經過調整後全 部落在 Y1, Y2, Y3 生產參數的數值範圍中。

(數值範圍為 Y1<185, Y2>270, Y3>35,其中 Y1, Y2,Y3 的平均值為 153.02, 297.86, 50.026)

圖 E03-20 為圖 E03-19 調整過後可調變生產 參數的數值。這些參數落在該參數的合理範 圍中。

經由統計146 筆測試資料，所有資料 Y1,Y2,Y3 數值的平均為 152.375, 299.88, 49.87 顯示相當接近原9,301 筆訓練樣本的平均值。其變異數為 1.87, 8.81, 0.225, 亦顯示數值變 異很小。這些統計結果顯示我們提出的演算法則可以有效的用以選定X2, X3, X4, X8 及 X9 的選定值，可以將產品參數調整至接近平均值的有效範圍中。

153.0247 298.9203 49.99089 178 310 47 153.0247 291.6288 50.0265 155 285 57 154.5585 292.3853 50.02654 150 282 57 153.0246 297.8657 50.02654 181 300 47 153.0247 298.0049 50.02655 179 313 46 153.0247 297.8657 50.02655 154 277 57 153.0247 301.4171 50.02653 168 317 43 152.6287 298.7745 50.02655 183 324 46 153.0247 297.8658 50.02654 178 303 49 159.8362 297.8524 50.02653 148 284 57 153.0247 297.8657 50.02655 142 283 57 153.0247 297.8658 50.02655 182 310 47 153.0247 297.8657 50.02657 179 301 50 153.0247 302.7798 50.02653 178 299 46 153.0247 297.8658 50.02655 144 282 57 153.0247 297.8657 50.02655 148 284 57 153.0247 297.8658 50.02655 152 297 59 153.0247 307.1435 50.02655 179 325 46 153.0247 305.6154 50.02654 179 324 45

824.9988 577.4537 303.7856 155.2418 291.0313 546.1054 331.8627 327.8461 33.00078 399.9963 599.6071 404.5807 250.6933 317 388.2659 738.6028 608.6701 339.4787 110.5477 249.0331 824.9857 590.7339 271.9487 123.3638 149.0864 532.0245 592.0229 322.2159 314.8302 5.012419 824.9987 567.5043 189.0022 147.7404 214.0689 801.8879 540.0436 189.0084 33.00416 115.4556 788.2461 602.4474 381.2802 171.574 211.9666 590.0338 543.2925 333.2496 316.9994 121.1878 647.7691 573.9983 303.7446 314.2002 190.4072 798.6066 531.1289 194.9834 200.4935 194.2773 792.4292 564.0032 282.1168 221.4216 66.0679 824.9973 575.2866 189.0009 140.3809 154.2924 576.7576 529.1832 236.6429 311.6362 208.2983 729.748 598.1031 296.4337 263.5211 97.40716 766.983 568.2116 282.6399 152.2895 209.1898 824.9999 572.374 190.9704 118.8823 173.7785 824.9997 585.6573 210.4797 128.9129 119.5004 673.0586 531.5236 366.9314 312.2971 51.3287

116

3.1.3.6 關鍵技術突破與國際競爭力說明

本計畫之產業技術前瞻性、合作企業參與執行本計畫之優勢，以及未來國際競爭力說 明如下：

1. 產業技術前瞻性。

近年來空氣汙染與能源短缺問題，促使各國政府重視燃油載具對環境所帶來的危害，

管制廢氣排放的法規與標準日益嚴格，大大的限制燃油載具的發展，再者，於工業 4.0 的 推動下，電動化與自動化載具成為未來的發展趨勢，因此，如何設計應用電動馬達的高規 格電磁鋼片顯得極為重要。近年來隨著 AI 技術的發展使得應用深度學習於各種應用領域 成功的案例越來越多也極具特色且成效顯著。然而應用於電磁鋼板的製程分析仍處於起步 階段，鮮少有相關論文或研究報告發表。本計畫預計使用深度學習演算法則來最佳化電磁 鋼捲的生產製造的參數以最佳化鋼板的生產品質。因此本計畫中的研究團隊可望開創先驅，

為國內AI 製程研究及相關技術研發深具前瞻性。

2. 合作企業參與執行本計畫之優勢與未來國際競爭力。

中鋼具有數十年開發電磁鋼板的生產技術及研發經驗，在國內亦為製造業的龍頭產商。

本計畫使用深度學習的神經網路去最佳化產線的製程參數以提高電磁鋼板產品的產能與 品質。藉由協同主持人成大孫永年教授數十年在 AI 與影像分析的寶貴經驗的提供，相信 能夠相輔相成，讓本專案在學術及實務均能具有優勢。進而開發最佳的調控製程參數的演 化模型，並未企業帶來莫大的收益與技術領先優勢。就學術而言，應用深度學習技術於製 程參數的最佳化的相關研究，至今仍鮮少有相關文獻的發表。就實務應用上，使用深度學 習技術於電磁鋼板的生產最佳化相關研究，本計畫更為首個案例研究計畫。相信本計畫化 的完成不僅可以提出國內外創新自成研究的重要論文，亦可提供中鋼創新有效的製程模式 提高中鋼生產鋼板的品質與競爭力。

117

3.1.3.7 參考文獻

[1] B.Adams, L. Bauman, W. dalbey, K. Ebeida, J.Eddy, M. Eldred. P. Hough, J.

Jakeman, J. Stephens, L. Swiler, D. Vigil, T. Wildey, M, Dakota, a multilevel parallel object-oriented framework for design optimization, parameter estimation, uncertainty quantification, and sensitivity analysis: Version 6.0, user’s manual (2014).

[2] L. Suaha, R. Dillibabu, S. Srinivas, A. Annamalai, Optimization of process parameters in feed manufacturing using artificial neural network, Computers and electronics in Agriculture, 120 (2016) 1-6.

[3] Suryakant B. Chandgude, Padmakar, J. Pawar and Mudigonda Sadaiah, Proxess pameter optimization based on principal components analysis during machining of hardened stell, ImternationalJournal of Idustrial Engineering Computations, 6 (2015) 379-390.

[4] M. Lefik, D. P. Boso, B. A. Screfler, aritifical Neural Networks in numerical modelling of composites, Computer Methods Appl. Mech. Engrg, 198 (2009) 1785-1804.

[5] G. Liang, K. Chandrashekhara, Neural network based constitutive modelling for non-linear characteristic foams, emg. Struct. 30 (2008) 2002-2011.

[6] [6] T. Furukawa, M. Hoffman, Accurate cyclic plastic analysis using a neural networks in material model, Eng. Anal. Bound. Elem, 28 (2004), 195-204.

[7] Daniel A. white, William J. Arrighi, Jun Kudo, Seth E. Watts, Multiscale topology optimization using network surrogate models, presentation in Computer Methods in Applied Mechanics and Engineering, 2018.

[8] S. Koziel, d. Ciaurri, L. Leifsson, Surrogate-based methods, Computational Optimization, Methods and Algorithms (2011), 35-59.

[9] A.I. Forrester, A. J. Keane, Recent advances in surrogate-based optimization, Progress in Areospace Sciences 45 (1) (2009) 50-79.

[10] Julius Pfrommer, Clemens Zimmerling, Jinzhao Liu, Luise Karger, frank Henning, Jurgen Beyerer, Optimisation of manufacturing process parameters using deep neural networks as surrogaed models, 51^st CIPR Conference of Manufacturing Systems, Procedia CIRP 72 (2018) 426-431.

[11] Jinjiand Wang, Yulin Ma, Laibin Zhang, Robert X. Gao, Dazhong Wu, Deep Learning for smart manufacturing: Methods and Applications, Journal of Manufacturing Systems 48 (2018) 144-156.

[12] Alison Cozad, Nukolaos Sahinidis, David c. Miller, Learning surrogated models for simulation-based optimization, AICHE Journal 60 (6), June 2014.

[13] Ming-Huwi Horng. Vector quantization using the firefly algorithm for image compression.

Expert Syst. Appl. 39(1): 1078-1091, 2012.

[14] Chih-Feng chao, Ming-Huwi Horng and Yu-Chan Chen, Motion Estimation Using the firefly algorithm in Ultrasonic Image sequences of soft tissue. Volume 2015, Article ID 343217.

[15] Chih-Feng Chao and Ming-Huwi Horng, The Construction of Support Vector Machine using Firefly Algorithm, Hindawi Publishing Corporation, Computational intelligence and Neuroscience, volume 2015, Article ID 212719.

[16] G.E. Hinton, S.Osindero ,Y.-W.Teh, A fast learning algorithm for deep belief nets, Neural Comput.18 (2006) 1527–1554.

[17] G.E.Hinton, “Training products of experts by minimizing contrastive divergence” Neural computation, vol.14. no.8, pp.17771-180,2002.

[18] Yucan Zhou, Qinghua Hu, Yu Wang, Deep Super-Class Learning for Long-Tail Distributed Image Classification. Pattern Recognition, 2018.

[19] Karen Simonyan, Ardrew Zisserman, Very Deep Convolutional Networks for Larger-Scale Image Recognition, ICLR 2015.

118

[20] Zdenek Kolar, Hainan Chen, Xiaowei Luo, Transfer learing convolutional neural networks for safety guardrail detection in 2D images, Automation in Constrution, 89, 58-70, 2018.

[21] Wei Han, Ruyi Feng, Lizhe Wang, Yafan Cheng, A semu-supervised generative framework with deep learning features for high-resolution remote sensing image scence classification, ISPRS Journal of Photogrammetry and Remote Sensing, 2017. [22] Edna Chebet Too, Li Yujian, Sam Njuki, Liu Yingchun, A comparative study of fine-tuing learning models for plant disease identification, Computera and electronics in Agriculture, 2018.

[22] Yucan Zhou, Qinghua Hu, Yu Wang, Deep Super-Class Learning for Long-Tail Distributed Image Classification. Pattern Recognition, 2018.

119