國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
0.5 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0
T
Tc PM
FM
Figure 4.10: CNN 學習 L = 32 古典易辛模型自旋組態的成果，共 10 次（由上至下）獨立的訓練 及相態分類的驗證。藍色點被分類為有序態（鐵磁態），紅色點被分類為無序態（順磁態）。直的 虛線標示臨界溫度 Tc= 2.269 位置。
0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0
T
Tc
PMFM
Figure 4.11: CNN 學習 L = 128 古典易辛模型自旋組態的成果，共 10 次（由上至下）獨立的訓 練及相態分類的驗證。藍色點被分類為有序態（鐵磁態），紅色點被分類為無序態（順磁態）。直 的虛線標示臨界溫度 Tc= 2.269 位置。
4.4 量子三角反鐵磁相態的分類
這節討論 MLP 模型與 CNN 模型對 L = 30 量子三角反鐵磁依據自旋組態作相 態分類的結果。用以進行監督學習的訓練資料為包含 320 個溫度-橫場值（(T, h)）
的自旋組態；每個 (T, h) 值各含 5000 筆自旋組態，也就是共 n = 1, 600, 000 筆訓 練資料。溫度-橫場值的訓練範圍標示於圖 4.12。
經多次實驗後，我們採用深層的神經網路模型。MLP 及 CNN 模型的架構分 別圖示於圖 4.13 及圖 4.14。MLP 模型包含 7 個完全連結的隱藏層，依序分別有
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
0.0 0.2 0.4 0.6 0.8 1.0
h/h
c 0.00.1 0.2 0.3 0.4
T
Figure 4.12: 量子三角反鐵磁模型用以訓練的溫度-橫場值範圍。灰色點標示 320 個參數點，每個 參數點分別有 5000 筆自旋組態用以作訓練資料。
Figure 4.13: 用以訓練量子三角反鐵磁的 MLP 架構。輸入的神經元數目為 302= 900，第一層隱 藏神經元數目為 1024，第二層隱藏神經元數目為 512，第三層隱藏神經元數目為 256，第四層隱 藏神經元數目為 128，第五層隱藏神經元數目為 64，第六層隱藏神經元數目為 32，第七層隱藏神 經元數目為 32，以上激活函數都採用 ReLU，且在每一層隱藏層中加入 Dropout=0.5，用來避免 過度擬合，而最後的輸出層神經元數目為 3。
1024、512、256、128、64、32 及 16 個神經元，每層均以 ReLU 作為激活函數，
且每一層隱藏層中加入 Dropout=0.5，並採用 BatchNorm，最後輸出層為 3 個神 經元的 softmax 層。CNN 模型則建立在三系列的捲積層及池化層，每捲積層的捲 積核均為 3× 3，池化層採 2 × 2 區塊的最大池化。
首先我們先就 CNN 模型比較 SGD 與 Adam 兩種最佳化方法在訓練過程的表 現，圖 4.15 我們將每一個訓練期（每一個 epoch）MLP 神經模型精確度及損失
‧
accuracy AdamSGD
0 20 40 60 80 100
validation accuracy
Adam
validation loss
Adam SGD
Figure 4.15: Adam 及加動量的 SGD 之精確度及損失在 CNN 模型訓練過程隨訓練期增長之變化。
我們設定 validation_split=0.3，表示 30% 的訓練資料將被取出作為驗證 用，訓練精確度是根據保留的 70% 訓練資料所分析的精確度，而驗證精確度則是 根據 30% 的驗證資料。同樣地，損失也區分出訓練損失（training loss）及驗證損 失（validation loss）。由 SGD 與 Adam 的比較看來，Adam 表現稍好；我們將採 用 Adam 來執行後續的計算。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
我們利用 3200 組測試用自旋組態來檢驗 MLP 及 CNN 模型學習後的分類相 態能力。十次獨立訓練的測試結果分別呈現在圖 4.16 及圖 4.17，以三個不同顏 色的色點來標示分類結果：紅色為順磁態（PM），綠色為 KT 態，藍色為時鐘態
（Clock）。無論是 MLP 或是 CNN 的測試結果均可觀察到不少錯位的色點，成績 遠不如上一節討論的古典自旋模型。針對這個量子自旋模型，我們也嘗試其他許 多不同架構的 MLP 及 CNN 模型，但尚未產生比圖 4.16 及圖 4.17 所展示的明顯 更好的結果。
‧
Figure 4.16: MLP 模型對量子三角反鐵磁自旋組態作分類的結果。呈現的十張圖為根據十次 獨立訓練後的結果，且分別對十組包含 320 個 (T, h) 值的不同自旋組態作測試。訓練期各為 epochs = 50。
‧
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
Chapter 5 結論
本論文測試神經網路模型根據自旋模型的組態判斷其所處相態的能力。我們檢 視的自旋模型包含古典易辛模型及量子三角反鐵磁；前者自旋模型隨溫度變化僅 有簡單的兩種相態：鐵磁態及順磁態，後者隨溫度與外加橫場強度變化具有三個 相態：順磁態、KT 態及所謂的時鐘態。用以進行監督式學習的兩類型神經網路 模型為多層感知器及捲積神經網路。
測試結果顯示，古典易辛模型因為自旋組態與相態的配對關係明顯，簡單的神 經網路模型及短暫的訓練期及可達到近 100% 的正確判斷率，甚至對於沒有學習 過的溫度下的組態。然而量子三角反鐵磁因其視覺上不明顯的自旋組態與相態的 配對關係，加上相態種類較多，我們未能成功建立合適的神經網路模型來達到高 正確判斷率。但量子模型仍獲得的 70% 精確度，意味機器學習技術不容小看，值 得嘗試更多種學習方式。
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
參考文獻
[1] G. H. Wannier, Phys. Rev. 79, 357 (1950).
[2] Y. Jiang and T. Emig, Phys. Rev. B 73,104452 (2006).
[3] S. V. Isakov and R. Moessner, Physical Review B 68 (2003).
[4] M. Žukovič, L. Mižišin, and A. Bobák, Acta Physica Polonica A 126, 40 (2014).
[5] 張鎮宇, 三角晶格易辛反鐵磁之量子相變, Master’s thesis, 國立政治大學, 2017.
[6] A. W. Sandvik and J. Kurkijärvi, Phys. Rev. B 43, 5950 (1991).
[7] R. G. Melko, Stochastic Series Expansion Quantum Monte Carlo, pages 185–
206, Springer, Berlin, Heidelberg, 2013.
[8] G. Carleo et al., Rev. Mod. Phys. 91, 045002 (2019).
[9] P. Mehta et al., Physics Reports 810, 1 (2019).
[10] TensorFlow, https://www.tensorflow.org/.
[11] Keras, https://keras.io/.
[12] L. Bottou, Stochastic gradient descent tricks, in Neural networks: Tricks of the trade, pages 421–436, Springer, 2012.
[13] D. P. Kingma and J. Ba, arXiv: 1412.6980 (2014).
[14] D. E. Rumelhart and D. Zipser, Cognitive science 9, 75 (1985).
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
[15] M. A. Nielsen, Neural networks and deep learning, Determination press San Francisco, CA, 2015.
[16] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov, J. Mach. Learn. Res. 15, 1929 (2014).
[17] S. Ioffe and C. Szegedy, Batch normalization: Accelerating deep network train-ing by reductrain-ing internal covariate shift, in Proceedtrain-ings of the 32nd Interna-tional Conference on InternaInterna-tional Conference on Machine Learning - Volume 37, ICML’15, page 448, JMLR.org, 2015.
[18] S. Santurkar, D. Tsipras, A. Ilyas, and A. Mądry, How does batch normalization help optimization?, in Proceedings of the 32nd International Conference on Neural Information Processing Systems, NIPS’18, page 2488, Red Hook, NY, USA, 2018, Curran Associates Inc.
[19] P. Mehta and D. J. Schwab, arXiv 1410.3831 (2014).
[20] DeepLearning series: Convolutional Neural Networks,
https://mc.ai/deeplearningseriesconvolutionalneural
networks/.