行政院國家科學委員會專題研究計畫 成果報告
量子類神經網路之先期性研究
計畫類別： 個別型計畫
計畫編號： NSC92-2218-E-110-007-
執行期間： 92 年 12 月 01 日至 93 年 10 月 31 日
執行單位： 國立中山大學電機工程學系(所)
計畫主持人： 李錫智
報告類型： 精簡報告
處理方式： 本計畫可公開查詢
中 華 民 國 94 年 3 月 8 日
國科會專題研究計畫結案報告書
計畫名稱：量子類神經網路之先期性研究
計畫編號：
92-2218-E-110-007
計畫主持人：李錫智教授
計畫執行期限：民國 92 年 12 月 1 日至民國 93 年 10 月 31 日
摘要
到目前為止，有各式各樣的量子類神經網路模型 被提出了。但從研究中，我們發現到大部份的模型只 是個假想，沒有提出一個很明確而完整的學習法則； 只有少數模型有提到他們的學習法則，但我們也發現 到這些學習法則也都不成熟，根本不能符合量子理 論。然而，從目前已被提出的演算法中，我們發現到 以 Dan Ventura 和 Tony Martinez 提出的量子搜尋學 習法(quantum search learning rule)[2]則是最可行 的。但這個學習法則卻存在有至少若干個缺陷，使得 這個構想仍有改進之處。 為了解決量子搜尋學習法則的缺陷，我們將傳統 的 cascade correlation 類神經網路（CCNN）[7、8] 的概念加入至量子搜尋學習法則中。這個改良解決了 如何決定量子類神經網路大小的問題，也解決了若干 量子搜尋學習法則的在時間及空間花費上缺點。從初 步的實驗數據顯示，我們的新學習法則比原量子搜尋 學習法則更有效率、更可行。 關鍵字：cascade correlation 類神經網路、量子類神經 網路、量子平行處理、量子搜尋演算法、鏌誤嘗試法。背景
傳統領域的類神經網路發展也已有一甲子的歲月 了，由於它的若干著越能力，使得類神經網路是目前 研究領域中擴展最快速的研究領域之一，而且類神經 網路技術也已經大量的被應用在相當多的科學應用 上；但就目前的電腦處理能力而言，實際上，我們並 未把類神經網路的平行處理特性發揮出來，我們只是 在模擬而已，所以目前的實際應用結果乃大大地受限 於目前電腦技術（例如，CPU 執行速度、記憶體容量 大小及平行處理技術）。但我們看到一個新的出路，那 就是量子計算。如果很幸運量子電腦果真的成為事 實，那目前科學界上有若干難解或不可能解的問題都 將可能不再是難題了！而量子電腦的超快量子平行處 理能力對於類神經網路也將會帶來革命性的進展，因 為類神經網路的平行處理特性得以藉由量子計算技術 而完全發揮。而以量子計算為基礎的類神經網路則稱 為量子類神經網路（quantum neural networks）。因此，到目前為止，已有若干的量子類神經網路 被提出了，但幾乎是沒有一篇提出一個明確的方法來 訓練他們的量子類神經網路，而且有些甚至沒有提及 要如何去訓練量子類神經網路。其中一個模型曾簡單 地提到可以使用傳統類神經網路的 gradient descent 演算法[1]，然而，這種訓練的假設是否是正確或符合 量子理論呢？結果的答案是否。目前已提出的量子類 神經網路類似於傳統類神經網路的論述有，其它的則 與傳統類神經網路差異極大，例如，quantum dot 類 神經網路。而這些被提出的量子類神經網路大都是不 實用或跟本無法應用量子技術做成。但在類神經網路 而言，學習法則是它們的主要精髓之一，沒有了學習 法則，它們便失去學習的能力，所以，量子類神經網 路要能實現的話，那量子領域的學習法則也是迫切需 要的。
量子搜尋學習法則
要訓練量子類神經網路的另一個可行的方法是從 所有可能的權重向量集合中，找出一組權重向量能使 所有的訓練樣本被分類正確。由這個想法再加上量子 理論的特性，Dan Ventura 和 Tony Martinez 首先提 出將量子搜尋演算法（quantum search algorithm） [4、5]應用在量子關連記憶學習[3]上，利用量子搜尋 演算法來訓練量子類神經網路。這是我們目前發現最 可行的量子學習法則。他們利用量子搜尋演算法從所有可能的權重集合中找出一組權重，這組權重可以成 功且正確地分類所有的訓練樣本，而它便是訓練完成 後所得到的最後權重。這個作法的基礎想法是利用量 子理論的狀態線性疊加（linear superposition）的 特性，將所有可能的權重向量疊加在一起，然後使用 量子搜尋演算法從中尋求得一組權重向量，使得所有 的訓練樣本成功地被分類。到目前為止，量子搜尋演 算法是少數已被認定為合乎量子理論的演算法，而以 它為基礎的量子搜尋學習法則也似乎非常合乎量子理 論，所以，我們認為這個方法是可行的。 他們也成功地將量子搜尋學習法則應用在若干的 實際問題上，例如，他們已經成功地利用量子搜尋學 習法則解決了 XOR 問題、iris 分類問題、lenses 分 類問題及 hayes-roth 問題上。而且從實驗的數據上 來看，這個學習法則是確實可行的，而且效能也是相 當不錯。由這些實驗的數據更證明了量子搜尋學習法 則的可行性。 我們發現到量子搜尋學習法則至少有四個缺陷： 第一，並非所有待解的問題都存在一組權重向量 可以成功地分類所有的訓練樣本。這個問題意謂著很 可能沒有任何一組權重是符合量子搜尋演算法中的 oracle，所以量子搜尋演算法便會搜尋失敗。另外， 萬一存在著兩組或兩組以上的權重可以成功分類所有 訓練樣本的情況時，量子搜尋演算法是會失敗的，但 作者則卻沒有提到這個問題，但這個問題不解決的 話，那對於它的可行性將是很嚴重的考驗。 第二，如果要符合全部訓練樣本要被成功分類的 oracle，我們或許可以找到一組合適的權重向量，但 這組權重向量很可能並不是我們需要的，因為它可能 有過渡訓練（overfitting）了。若訓練樣本集合中含 有若干的錯誤樣本，或訓練樣本含有雜訊時，過渡訓 練的發生那就更為嚴重，因為我們需要一個較大的類 神經網路才有機會將這些有問題的訓練樣本百分之百 地分類成功。作者為了解決這個缺陷，他們將量子搜 尋演算法中的 oracle 做了些許的修改，而這個修改 也確實能解決這個問題，但是我們很難決定 oracle 應 該設多少才好。 第三，當量子搜尋學習法則在尋找一組權重向量 時，我們所需花費的空間複雜度（space complexity） 是指數成長的，這對於較複雜的問題或架構較大的量 子類神經網路將會是不可行的，作者也提出了改進的 方法，雖然可以改善這個問題，但仍有些問題存在。 因為他們的改良方案會大大地拉長訓練的時間，另 外，對於複雜問題，這個改良方案是否仍適用呢？我 們還需要花些時間做深入探討。 第四，不管是傳統或是量子類神經網路，當我們 要使用它們來解問題時，我們首先會遇到一個困難， 那就是究竟要用多大的類神經網路才合適呢？這個問 題其實對類神經網路的表現將是影響重大的，因為太 大的架構通常會出現過渡訓練的現像。另外，對於量 子搜尋學習法則來說，大的架構也是需要較多的訓練 時間及相當龐大的空間複雜度（如第三點所述），所 以，太大的類神經網路架構是不妥當的；然而，太小 的架構則會有訓練不足的現像產生，它的訓練過程可 能都無法收斂，所以訓練程序是無法結束，只能靠人 為中止它，另外，這樣的類神經網路的工作效能必定 也不高，所以，小架構的類神經網路也是不妥當的。 在他們的實驗中，他們顯示出他們的量子搜尋學 習法則的效能，但他們卻沒有告訴我們，實驗中所採 用的類神經網路大小是如何定的。其實，我們可以很 容易地猜測到，他們應該是採用傳統類神經網路中的 錯誤嘗試法（trial-and-error）來找出一個合適的量 子類神經網路，這種作法是不可行的，因為這種做法 使得他們將花更多的訓練時間及空間。 雖然量子搜尋學習法則仍有上述的缺點存在，不 過這個方法還是目前被提出的量子類神經學習法則中 是較可行的，其實有些缺點也同樣存在於傳統的類神 經網路，而且已經成功地被解決了，例如，類神經網 路架構問題就有若干的演算法被提出，而我們也針對 這個問題做了不少的研究，提出一系列的方法來讓類 神經網路自動建構合適的類神經網路架構，並且獲得 相當不錯的成果。所以，我們或許也可以將傳統的解 決方法應用到量子類神經網路中，並解決上述的缺 點。從這些已被提出的演算法中，我們也發現傳統類 神經網路架構中的 cascade correlation 類神經網路 有很多不錯的特性，它成功的解決了不少傳統類神經 網路的問題，而某些相同的問題也同樣困擾著量子類 神經網路，而且從它的若干特性中，我們發現這些特 性似乎也可以應用或擴展到量子類神經網路上。 以下我們對 cascade correlation 類神經網路做 些簡略的介紹，並說明他的那些特性可以解決那些量 子搜尋學習法則存在的缺陷。 傳統類神經網路 cascade correlation 類神經 網路（CCNN）[9,10,11]也是自動建構類神經網路架構
的演算法之一，它的效能也是非常令人稱讚。CCNN 類 神經網路在尚未訓練時，它只包含輸入層及輸出層， 而經由訓練的過程，它會依需要自動地加入新的隱藏 神經元，直到訓練樣本的成功分類率達到我們的要求 為止。新的隱藏神經元加入的方法是一個一個依序加 入 的 ， 而 且 它 每 次 只 需 訓 練 要 加 入 的 隱 藏 神 經 元 （hidden neurons），而其它已存在之神經元及其所屬 之權重則被凍結不變，所以 CCNN 類神經網路是可以 解決量子搜尋學習法則的第三及第四個缺點。由於 CCNN 是一次只訓練一個隱藏神經元的權重，所以，這 個隱藏神經元的所有可能權重數目會遠少於量子搜尋 演算法，因為它是一次考慮整個量子類神經網路的所 有權重，所以，我們可以大大減少所需的訓練空間。 而我們只要再對 CCNN 類神經網路做些修改的話，我 們也可以將量子搜尋學習法則的第一及第二缺點也減 到最低的程度。
改良 CCNN 學習法則
傳 統 的 cascade correlation 類 神 經 網 路 （CCNN）是一個相當知名的類神經網路，它是自動建 構類神經網路架構的演算法之一，它的效能也遠遠優 於傳統的倒傳遞類神經網路（backpropagation neural networks），是一個相當好用的類神經網路。它不像倒 傳遞類神經網路是同時訓練一整個構類神經網路的權 重 值 ， 它 是 可 以 依 需 求 自 動 地 動 態 建 構 出 多 階 層 （multilayer）的類神經網路。從實驗數據中，我們 發現它的效能也是非常令人稱讚，它比現存的類神經 網路具有快速的學習速率，它可以自己決定自己的網 路大小及架構，當訓練樣本集合改變時，它不需重新 再建構一個全新的網路架構，它可以以先前的網路架 構為基礎，再繼續建構類神經網路架構。 CCNN 類神經網路的學習法則是兩階段式的，第一 個階段，是調整輸出層與所有隱藏層及輸入層之間的 權重向量，藉由訓練的過程，可以慢慢地降低錯誤函 式的值，而當錯誤值變化量小於某一預設門檻時，也 就是訓練趨近於穩定時，此一個階段學習程序便中 止，並判斷訓練樣本被正確辨識的準確率是否達到我 們的要求，若是，則結束整個學習程序，整個類神經 網路便建構完成了；否則，便加入一個新的隱藏神經 元，並進入第二學習階段。這一階段的學習程序是要 調整此新加入隱藏神經元與輸入層及所有已存在之隱 藏神經元之間的權重向量，經由訓練的過程，可以慢 慢地提升此新神經元輸出值與輸出層的錯誤值的相關 值（correlation）。此相闗值愈大則代表此新加入的 隱藏神經元可以更降低錯誤值。同樣地，當相關值增 加緩慢時，第二階段學習程序便中止，並且把此隱藏 神經元的權重凍結。然後便重回第一階段重複執行。 這兩個學習階段會被重複地執行，直到訓練樣本的成 功辨識率達到要求為止。 那要如何加 CCNN 的自動建構特性加入至 Bob Ricks 和 Dan Ventura 提出一個量子類神經網路架構 呢？我們要讓量子類神經網路也能像 CCNN 具有自動建 構的特性，所以我們同樣採用 CCNN 的兩階段學習程 序，但我們調整權重的方法則仍以 Bob Ricks 和 Dan Ventura 提出的量子搜尋學習法則為基礎，而非原 CCNN 的 gradient descent 及 gradient ascent 演算 法 。 但 在 這 個 新 學 習 程 式 中 ， 我 們 則 需 要 有 二 個 oracle，每個學習階段各一個。另外，oracle 的長像 也是不同於量子搜尋學習法則中的形式。用這種方式 建構出來的量子類神經網路，我們稱它為 quantum cascade correlation 類神經網路，簡稱為 QCCNN. QCCNN 類神經網路在尚未訓練之初，它也同樣是 只有輸入神經層和輸出神經層。在第一個階段中，我 們是調整輸出層與所有隱藏層及輸入層之間的權重向 量，藉由量子搜尋學習演算法的訓練過程，我們可以 快速地找到一組權重向量，並使錯誤值為最小，所以 第一階段便結束；接下來，我們要判斷訓練樣本被正 確辨識的準確率是否達到要求，若是，則結束整個學 習程序，量子類神經網路便建構完成了；否則，便加 入一個新的隱藏量子神經元，並進入第二學習階段。 這一階段的學習程序是要調整此新加入隱藏量子神經 元與輸入層及所有已存在之隱藏量子神經元之間的權 重向量。同樣地，我們是採用量子搜尋的技巧來調整 權重向量，並可以很快地找到一組權重值，使此新神 經元輸出值與輸出層的錯誤值的相關值為最大，第二 階段學習程序便中止，並且把此新加入的隱藏量子神 經元的權重凍結。然後便重回第一階段重複執行。這 兩個學習階段會被重複地執行，直到訓練樣本的成功 辨識率達到要求為止。每執行第二階段學習程序一次 便代表新增一個隱藏量子神經元，換句話說，第二階 段學習程式重複執行的次數便代表隱藏量子神經元的 個數。 我們的 QCCNN 架構中，由於學習法則是兩階段 的，所以我們也需要有二個不同性質的 oracle，這兩個 oracle 各負責不同的任務，所要逹到的目標也不相 同。在第一階段中，我們是希望經由量子搜尋技巧找 到介於輸出層和其它層間的權重向量，而這組權重向 量能使得訓練樣本的正確辨識率最高，換句話說，就 是使得輸出層的錯誤值最低；而在第二階段中，我們 會新增一個隱藏量子神經元至量子類神經網路中，並 希望同樣經由量子搜尋技術找到新隱藏量子神經元的 權重向量，這組權重向量可以使得新神經元的輸出值 和輸出層的錯誤值產生最大的相關；如果二者間的關 連愈大，那代表這個新加入的神經元可以使得輸出層 的錯誤可以降得更低。 另外，我們也只要再對 CCNN 類神經網路做些修 改的話，就可以將原量子搜尋學習法則的第一及第二 缺點也減到最低的程度，使得 overfitting 的機會減 少，也可以減少量子搜尋找不到符合 oracle 及同時有 二個或二個以上狀態符合 oracle 的可能性。這是相當 重要的改良，因為量子搜尋演算法中，若同時有二個 或二個以上的狀態同時符合 oracle 的話，那麼量子搜 尋 演 算 法 是 會 失 敗 的 ； 若 找 不 到 任 何 一 個 能 符 合 oracle 的狀態的話，那麼它便表示搜尋失敗，所有狀 態的機率會保持相同，所以我們無從得到解答，也可 以說是失敗！原量子搜尋學習法則只要上述兩個其中 一個情況成立時，它便無法訓練類神經網路，那麼就 需要視情修改類神經網路的大小，然後再重新訓練類 神經網路，直到找到一個類神經網路架構只含唯一一 組權重向量符合 oracle 為止。事實上，他們的方法是 非常不實際的，但我們則加入 CCNN 的概念並修改 oracle 的定義來解決它！ 由於我們的學習法則不同於原作者所提出的方 法，以及我們的方法是可以自動建構類神經網路，而 且一次只新增一個隱藏量子神經元，所以在建構出的 類神經網路架構是完全不同於原方法的。我們的類神 經網路，每個隱藏層只會含有一個隱藏神經元。
實驗結果
我們同樣以 XOR 問題、iris 分類問題、lenses 分類問題及 hayes-roth 問題為例，我們的方法需要 很少的訓練時間及空間，而且，它可以自動地建構量 子類神經網路，不需使用者去決定！而在辨識效果 上，二者則相差不遠。從目前已完成的初步實驗結果 中，我們可以看出我們的方法確實比原量子搜尋學習 法則要來得更有效率、更可行。
計晝探討與未來工作
為了解決 Bob Ricks 和 Dan Ventura 的量子搜尋 學習法則的缺陷，我們將傳統的 cascade correlation 類神經網路的概念加入至量子搜尋學習法則中。這個 改良解決了量子類神經網路大小的問題，也解決了若 干量子搜尋學習法則的缺點。從目前的實驗數據顯 示，我們的新學習法則比原量子搜尋學習法則更有效 率、更可行。 然而，我們的方法仍有改進的地方。由於我們的 學習法則是結合 CCNN 與 QS 演算法，所以愈上層的神 經元擁有的神經連結數目也愈多，這也是會造成很嚴 重的問題；另外若樣本的特徵維度很大時，也是會有 可行性上的問題，所以，我們還在繼續相關的研究， 希望能找出更可行的量子類神經網路模型及其學習法 則。
參考文獻
1. B. Ricks and D. Ventura, Training a Quantum Neural Network,
Neural Information Processing Systems, pp. , December 2003.
2. Alexandr Ezhov and Dan Ventura, "Quantum Neural Networks", in Future Directions for Intelligent Systems and Information
Science (Ed. N. Kasabov), Physica-Verlag, 2000.
3. Dan Ventura and Tony Martinez, "Quantum Associative Memory", Information Sciences, vol. 124 nos. 1-4, pp. 273-296, 2000.
4. L. K. Grover, A fast Quantum mechanical algorithm for database search, in Proceedings of the 28th ACM STOC, pp. 212-219, 1996.
5. L. K. Grover, Quantum mechanics helps in searching for a needle in a haystack, in Physical Review Letters, Vol. 78, pp. 325-328, 1997.
6. L. Fei and Z. Baoyu, A study of Quantum Neural Networks, in IEEE international conference of Neural Networks & Signal Processing, pp. 539-542, 2003.
7. S. E. Fahlman and C. Lebiere. “The cascade-correlation learning architecture,”Technical Report CMU-CS-90-100, School of Computer Science, Carnegie Mellon University, 1990.
8. S. E. Fahlman and C. Lebiere. “The cascade-correlation learning architecture,”In Advances in Neural Information Processing Systems, D. S. Toouretzky, Ed., San Mateo, CA: Morgan Kaufmann, 2:524--532, 1990.
