卷積神經網絡的分析結果

卷積神經網絡是比多層感知器還要更複雜和精細的系統，因此當輸入的樣本數 較少，卷積神經網絡在訓練的過程中雖然算損失函數越降越低但容易出現過適 (overfitting) 的現象，所以在訓練的過程中，要避免讓損失函數降至太低，以免在 繪製直方圖時會出現其他的干擾數值。FIG.4.6 為 CNN 所得到的結果. 此圖也有 明顯的雙峰現象。可知 CNN 和 MLP 一樣能夠用來辨別相變的種類。

FIG. 4.6. 當 T ≃ Tc，上面兩張圖都是在各取 10 組 random seed 之後再取平均所得到的數值。

Chapter 5

討論

這次我們使用 Wolff algorithm 演算法和類神經網絡來研究三維立方體晶格上的 q-state Potts model 。傳統的 Metropolis 演算法在每次翻轉的時候只會翻轉一個位 置上的自旋組態，而對於 Wolff algorithm 演算法而言，則是多個位置上的自旋組 態一起翻轉。所以在效率方面可以明顯地感受到後者的演算法會遠大於前者。因 此，我們使用了 Wolff algorithm 產生出了自旋組態後，分別計算它的能量和使用 類神經網絡的方法來判別三維的 potts 模型的相變情況。

由上一節的數值結果中我們使用 Wolff algorithm 產生出了自旋組態後所計算的能 量圖上可以觀察到，而在 q=5，L=12 和 L=16 在 T ≃ T^c 時，可以明顯的看到一

凝態系統所需用來計算的時間。

另外在，多層感知器和卷積神經網絡的結果顯示，雖然兩者都在 Tc 的附近發現 雙峰現象，但多層感知器所需要花費的時間相對於卷積神經網路來的更少，且在 處理數據所需要的電腦效能來的低，並且在輸出的向量長度圖中雙峰現象比起卷 積神經網路簡單明顯，因此可瞭解這種以低溫基態當作訓練集的模型，使用多層 感知器可以在更短時間內達到相同的結果。

Reference

[1] R. B. Potts, Some Generalized Order-Disorder Transformations. Mathematical Pro-ceedings of the Cambridge Philosophical Society, 48(1), 106-109. (1951)

[2] R. J. Baxter, Potts model at the critical temperature, Journal of Physics C: Solid State Physics, 6, 23 (1973), L445–L448.

[3] F.-Y. Wu, The potts model, Reviews of modern physics, 54, 235 –Published 1 January(1982).

[4] A. Aharony and E. Pytte, First-and second-order transitions in the Potts model near four dimensions, Phys. Rev. B23, 362-367 (1981).

[5] B. Nienhuis, E. K. Riedel, and M. Schick, q-state Potts model in general dimension, Phys. Rev. B, 6055–6060 (1981)

[6] M. Fukugita and M. Okawa, Correlation length of the three-state Potts model in three dimensions, Phys. Rev. Lett., 13–15 (1989)

[7] O. F. de Alcantara Bonfim, Finite-size effects and phase transition in the three-dimensional three-state Potts model, J. Stat Phys (1991) 62: 105.

[8] http://latt.if.usp.br/technical-pages/twawesab/Text.html/node1.html

[9] E. Luijten, Introduction to Cluster Monte Carlo Algorithms, Lect. Notes Phys. 703, 13–38 (2006)

[10] E. Carlon, Computational Physics: Advanced Monte Carlo Methods.

http://itf.fys.kuleuven.be/~enrico/Teaching/monte_

carlo_2014.pdf. (2012).

[11] Sebastian Raschka, Python Machine Learning, Packt Publishing. (2017)

[12] Leon Bottou, Stochastic Gradient Descent Tricks, Lecture Notes in Computer Sci-ence (LNCS), Neural Networks, Tricks of the Trade, Reloaded (2012)

[13] N. Qian, On the momentum term in gradient descent learning algorithms, Neural networks, 12, 1, 145-151 (1999)

[14] John Duchi, Elad Hazan, and Yoram Singer, Adaptive subgradient methods for online learning and stochastic optimization, Journal of Machine Learning Research 12 (Jul): 2121–2159 (2011)

[15] Geoffrey Hinton, Nitish Srivastava, and Kevin Swersky, Lecture 6e rmsprop: Di-vide the gradient by a running average of its recent magnitude

[16] Diederik P. Kingma and Jimmy Ba, Adam: A Method for Stochastic Optimization, 3rd International Conference on Learning Representations, ICLR 2015,San Diego, CA, USA,Conference Track Proceedings,May 7-9. (2015)

[17] Chien-De Li, Applications of artificial neural networks in physics : a study of the phase transitions of two dimensional Potts models on the quare lattice, NTNU, PHD dissertation. (2018)