第四章 結果與討論
對於整個2-D 腦神經網路的建立,首先,我們設定神經元的數目為 N=50,
並採用隨機分佈的方式,將這些神經元散佈於邊長 L = 100 的正方形基底上。
接著我們進行整個網路系統的建構,開始神經元之間突觸聯結的建立。
4-1 神經網路的發展---突觸聯結的形成
這是一個長時間尺度的模擬過程,即整個腦神經網路的建構發展---突觸聯結 的形成;突觸聯結形成的過程,可以說是整個網路系統建構的第一步,也是最為 關鍵的一步,聯結的情況將會大大的影響整個腦神經網路的組成結構,進而影響 其運轉與功能的展現。以下我們將依據不同的隨機尋找機制探討突觸聯結形成的 過程。
a b
c
Fig. 23 : 不同的隨機尋找機制,其所建立的突觸聯結數目與所需時間的關係圖。
當time step T0 = 0.02 hr時, (a)α = 0.5。(b)α = 1。(c)α = 2。
依照我們採用的突觸聯結形成機率 Eq.(34),首先,我們進行不同隨機尋找 機制的探討,觀察不同機制下網路系統形成的情況與特性。經由改變控制參數 α 可以變換不同的尋找機制,我們進行了 α = 0.5、1 和 2 這三種不同的情況之模 擬,整個神經網路所形成的突觸聯結數目與所花費的時間關係,如Fig.23 所示。
由Fig.23 的結果 我們可以看出,當 α = 0.5 時,神經元間探索到彼此的速 度較快,整個神經網路突觸聯結的形成快速,所需時間較短。而 α = 1 時,尋 找的速度較為緩慢,且聯結數目超過2000 以後,後續的聯結形成的時間花費相 當長。若 α = 2 時,整個尋找與建立的過程相當緩慢,特別是聯結數目超過 2000 以後,剩下較長距離的突觸聯結,其形成更加困難,所需時間也相當漫長。
由這些結果也可以讓我們瞭解這些尋找機制的特性,當 α<1 時,相距較遠 的神經元之間比較喜歡且容易形成突觸聯結,即長聯結的形成較為容易,所以整 個系統的突觸聯結形成的時間較短;而在 α>1 時,相距較遠的神經元間則相對 地不喜歡形成聯結,故神經網路生長所需要的時間相當漫長。
另外,我們也進行了分佈密度對於網路系統的發展與突觸聯結形成的影響測 試,所得到的結果如Fig.24。而在不同分佈區域的情況下,為了測試上的方便,
我們設定在 α= 1 的尋找機制下進行。除了原本我們採用的 L×L 的基底之外,
我們另外測試了三種分佈情況,分別為 center、side、outer 等三種,其分佈的區 域形狀與大小,如Fig. 25(a) 所示。
在α = 1 的生長機制下,我們探討神經網路成長所需的時間與神經元的分佈 密度的關係。首先,我們定義當分佈區域的範圍為L×L (L=100),且神經元數目 N=50 時的分佈密度為D=1,然後我們改變分佈密度進行網路生長模擬。由Fig.24(a) 可以看出當分佈密度越大的時候,神經網路形成突觸聯結的速度越快。為了瞭解 兩者之間的關係,我們取神經網路發展至NC = 1000、1500、2000、2400 時,所 需的時間 TNc=1000、TNc=1500、TNc=2000、TNc=2400這四組的數據來進行比較,由Fig.24(b) 呈現的結果,可以得知神經網路系統在α = 1 的生長機制下,發展所需的時間T 與神經元的分佈密度D的關係為T~D-1/2 。
a b
c d
e f
Fig.24 : 在time step T0 = 0.02 hr,α = 1,(a) 不同分佈密度下網路成長與時間的 關係圖。(b) 當T = TNc=1000、TNc=1500、TNc=2000、TNc=2400時,T與D的關係圖。α = 2,(c) 不同分佈密度下網路成長與時間的關係圖。(d) 當T = TNc=1000、TNc=1500、
TNc=2000、TNc=2400時,T與D的關係圖。α= 0.5,(e) 不同分佈密度下網路成長與
時間的關係圖。(f) 當T = TNc=1000、TNc=1500、TNc=2000、TNc=2400時,T與D的關係圖。
而Fig. 24(c)則呈現出在α= 2 的生長機制下,網路發展所需的時間在不同分
佈密度下的區別。同樣地我們取TNc=1000、TNc=1500、TNc=2000、TNc=2400這四組的數 據來進行比較與分析,其結果如Fig. 24(d)所示,可以歸納出在α= 2 的生長機制 下,發展所需的時間T與神經元的分佈密度D的關係為T ~ D-1 [13]。而由Fig. 24(f) 的結果,可以歸納出在α= 0.5 的生長機制下,發展所需的時間T與神經元的分佈 密度D的關係為T ~ D-0.25。
a random center side outer
L 0.5 L L 0.87 L
L 0.5 L 0.75 L 0.87 L
b
Fig. 25: (a) 四種不同的分佈類型。(斜線部分) (b)當α = 1, time step T0 = 0.02 hr 時,在四種不同的分佈下,形成突觸聯結的數目與所需時間的關係圖。
另外,我們在α=1 的尋找機制下,進行 random、center、side 與 outer 的四 組不同的分佈類型的模擬,其中center、side 與 outer 的分佈密度是相同的,僅有 幾何的分佈區域形狀不同。由Fig.25(b)的結果,對這四組形成突觸聯結所需的時 間進行分析,可以明顯的分辨出來,若神經網路中神經元的分佈區域較為零散,
其形成突觸聯結的機會較低,整體網路發展所需花費的時間也較集中的隨機分佈 情況要長。可見在神經網路的發展中,除了神經元的分佈密度外,分佈的區域與
狀況也會影響整體發展所需的時間。
a b
c d
e
Fig. 26 :當α = 1,神經元數目N=100 時,由其他神經元聯結至神經元i的突觸數 目總和Nciin的分佈圖。(a)Nc=2000。(b)Nc=4000。(c)Nc=6000。(d)Nc=8000。(e) 峰值的分佈隨聯結數目的增加,呈現線性的變化。
此外,我們對網路中的神經元,個別分析其所形成的突觸聯結數目,計算第 i個神經元聯結到其他神經元的突觸聯結數目Nciout與其他神經元聯結至該神經元 的數目Nciin總和,並計算第i個神經元的總突觸聯結數目Nci = Nciout + Nciin;我們 取100 次模擬的結果做平均後,分別得到Fig.26、Fig.27、Fig.28 分佈圖形。
a b
c d
e
Fig. 27 : 當α = 1,神經元數目N=100 時,由神經元i聯結至其他神經元的突觸數 目總和Nciout的分佈圖。(a)Nc=2000。(b)Nc=4000。(c)Nc=6000。(d)Nc=8000。(e) 峰值的分佈隨聯結數目的增加,呈現線性的變化。
從Fig.26、Fig.27 與 Fig.28 的分佈情況來看,可以發現不管是向外聯結的突 觸數目還是來自其他神經元的突觸聯結數目,分佈的模式都呈現出高斯分佈的情 況,所以我們採用高斯函數對其進行分析比對,可以得到相當吻合的結果。由此 可知,在我們採用的生長機制之下,突觸聯結形成的情況是一個高斯常態分佈。
另外我們對高斯分佈的峰值進行分析,可以發現整個分佈情況會呈現線性並穩定 的由低聯結數目慢慢往高聯結數目的方向移動。
a b
c d
e
Fig. 28: 當α = 1,神經元數目N=100 時,神經元i的總突觸聯結數目Nci平均分佈 圖。(a)Nc=2000。(b)Nc=4000。(c)Nc=6000。(d)Nc=8000。(e)峰值的分佈隨聯結 數目的增加,呈現線性的變化。
4-2 最短路徑(L)與 clustering coefficient (C)
為了更進一步的探討網路的性質與節點之間的關係,我們針對發展中的網路 進行分析,首先定義最短路徑L,來表示網路中任意兩個節點彼此之間產生聯結 所需的最短路徑,其定義如 Fig.29 所示,藉此來探討任意兩節點彼此間的關聯 性。若L 的值越小,則兩節點之間的關係越密切。
Lij = 0 Lij = 1 Lij = 2
a b c
k
j j j
i i
i
Fig.29 : 兩節點間最短路徑定義示意圖。(a) 兩節點間無聯結,Lij = 0。(b) 兩節 點直接相聯結,Lij = 1。(a) 兩節點透過另一個節點形成聯結,Lij = 2。
Ci = 0 Ci = 1/3 Ci = 2/3
b c
a
Fig.30 : clustering coefficient定義示意圖(以單向聯結為例)。圖中l,m,n 稱為i 的 neighbors。l,m,n 彼此間的最大聯結數為 3,(a) l,m,n 彼此間聯結數為 0,Ci = 0;
(b) l,m,n間聯結數為 1,Ci = 1/3;(c) l,m,n間聯結數為 2,Ci = 2/3。
另外我們定義clustering coefficient C 為與節點i相連接的其他節點彼此之間 的聯結數目與所有可能聯結數目的比值,來描述各個叢集內部節點之間的關聯
性,因為在我們的網路中,節點的聯結是雙向的,所以可以寫成
) 1 (
,
= ∑ −
i i
k j
jk
i
k k
e
C
。其中j、k代表節點i的neighbors,ki代表節點i的neighbors 數目,ejk = 1 表示j與k相 i
l
m n
i
l
m n
i
l
m n
聯結;ejk = 0 表示j與k之間無聯結。其詳細說明如Fig.30 所示。
a b
c d
Fig.31 : 在 α = 1,N=50 時,在不同的聯結數目下,網路中的節點之間最短路徑 的統計圖。(a) Nc=200;(b) Nc=300;(c) Nc=500;(d) Nc=800。
首先我們進行不同聯結數目下節點之間最短路徑的變化情況探討,由 Fig.31 的結果可以瞭解,當聯結數目較少的時候,如Fig.31(a),有些節點對的最短路徑 到達7 跟 8,此時節點之間的最短路徑較長,亦即節點之間的關聯性較為疏遠、
薄弱,而當聯結數目逐漸增多的情況下,最短路徑會逐漸變小,即節點之間的關 聯性越來越強。
另外,我們也進行了不同節點數目,但聯結數目比率相同的狀況探討,結果 如Fig.32 所示。在節點數目較少的網路系統中,雖然聯結比率相同,但產生較長 的最短路徑的情況較多,而節點數目較多的系統所得到的最短路徑也較小。由最 短路徑的統計可以發現,節點之間的關聯性與節點數目多的系統相比較為微弱。
a b
c d
Fig.32 :在 α = 1,不同神經元數目,聯結數目約為最大聯結數目 20%的情況下,
網路中的節點之間最短路徑的統計圖。(a) N=10;(b) N=20;(c) N=25;(d) N=50。
接下來在 α = 1,Nc=50,的網路系統,我們對各節點進行 clustering coefficient 的計算,結果如Fig.33 所示。由 Fig33(a)、(b)可以看出,當系統聯結數目較少的 時候,所得到各節點 Ci 的值較小且呈現較為散亂的分佈,可見此時系統中,各 節點產生叢集的現象並不明顯,彼此之間的關聯性也較為薄弱。而由Fig33(c)、
(d)的結果,可以明顯的看出差異,各節點 Ci 的值逐漸增加且呈現較為規則與一 致的分佈,可見得此時開始局部叢集分佈的現象越來越明顯,各節點之間的關聯 性也越來越強。
a b
c d
Fig.33 :在 α = 1,N=50 時,不同聯結數目的情況下,網路中各節點的 Ci 值統計 圖。(a) Nc=200;(b) Nc=300;(c) Nc=500;(d) Nc=800。
另外,我們針對不同的 α 值,分別就不同聯結機制所形成的聯結架構,探 討不同聯結機制下的情況,計算出他們的最短路徑的平均值與 Ci 的平均值。所 得的結果呈現在Table2.與 Table.3。
由 Table2.的結果,可以看出隨著系統聯結數目的增加,最短路徑的平均值 呈現遞減的情況,亦即網路內節點對之間的關聯性越來越密切。另外,就相同聯 結數目的情況下,可以發現隨著 α 值的增加,最短路徑的平均值也呈現遞增的 現象,這表示 α 值越大形成長聯結或弱聯結的機率越低,故節點間的關係自然 較為薄弱,最短路徑就跟著增加,不過這個現象會隨著聯結數目變多而逐漸變小。
而由 Table3.的結果,也可以得到類似的結果,不論是聯結數目的增加或是 α 值增大,所得到的Ci 平均值都會呈現遞增的現象。同樣地,α 值變化所造成 的差異,會隨著聯結數目的增加而逐漸減少。
200 300 500 800 900 1000 1500 random 2.8345 2.3186 1.8942 1.6750 1.6317 1.5909 1.3872
α =0.5 2.8940 2.3402 1.9008 1.6768 1.6331 1.5917 1.3876 α =1 2.9013 2.3584 1.9128 1.6794 1.6343 1.5924 1.3877 α =2 3.1026 2.4868 1.9919 1.6952 1.6413 1.5948 1.3878 Table2. 在 N=50 時,不同的 α 值,所形成的網路聯結,在不同的聯結數目下,
其節點對之間最短路徑的平均值。
200 300 500 800 900 1000 1500 random 0.0953 0.1354 0.2042 0.3328 0.3735 0.4108 0.6124
α =0.5 0.0955 0.1449 0.2101 0.3273 0.3687 0.4123 0.6134 α =1 0.1104 0.1491 0.2181 0.3379 0.3808 0.4205 0.6204 α =2 0.2049 0.2507 0.3116 0.4057 0.4293 0.4642 0.6413 Table3. 在 N=50 時,不同的 α 值,所形成的網路聯結,在不同的聯結數目下,
其各節點的Ci 的平均值。
4-3 神經網路的模擬
神經網路的活性變化探討是屬於短時間尺度的模擬。我們將模擬的過程分成 兩個時期,第一個時期稱為 Learning Phase ,這個時期我們會輸入一個外加電 流,並且啟動學習機制---STDP model,觀察神經網路的學習效應,特別是突觸 強度與神經元活性的變化情況;然後是 Recall Phase ,在這個時期我們會關閉 所有的外加電流跟STDP model,觀察整個腦神經網路的後續變化,這一時期主 要觀察神經網路是否仍然能夠維持其活性,甚至產生同步化的現象。
初始狀態(initial state)
採用高斯分佈的模式給定所有神經元初始狀態,取膜電位平均值(an)為 0,
標準差(dn)為 10,所有突觸的強度平均值(aw)為 0.05,標準差(dw)為 0.01。
Learning Phase ( 0-2 sec )
在 Learning phase 中,我們對於其中 10 個神經元,輸入一個外加的電流:
Iex = 0.20*sin(2πf t) (nA) ,f = 100 Hz 其餘的神經元則不再外加電流。
神經元間會透過所形成的突觸,彼此相互影響,並且各突觸聯結的強度會隨 著神經元間興奮時間的差異,遵守STDP Learning Rule 進行變化。
Recall Phase ( 2-25 sec )
在這一個時期,關閉所有在Learning Phase中輸入的Iex ,並且關閉STDP Learning Rule。然後觀察各相互連接的神經元之間的影響與整個網路系統的活性 變化情況。
觀察 Learning Phase 內的情況,一開始可以發現有輸入外加正弦波的神經元 會隨著正弦波的變化,反覆產生興奮放電的現象,其餘的神經元則沒有太大的變 化。但是,隨著時間的演化,有產生興奮放電的神經元透過突觸聯結傳遞動作電 位至其他神經元,當整個網路的突觸聯結數目達到一定的程度後,會有部分沒有 外加正弦電流的神經元也開始產生興奮放電的現象。
隨著網路系統的發展,突觸聯結的數目不斷增加,越來越多未加入正弦波電 流的神經元會藉由突觸傳來的刺激開始出現興奮放電的現象,不過他們彼此的電 位與興奮狀態可能不同,產生神經脈衝的時間跟相位也不一樣。另外,沒有外加 正弦波電流的神經元其興奮放電的現象也呈現較為隨機的情況,沒有週期性變化 的現象。
當系統進入Recall Phase 後,由於外加電流、學習效應…等因素消失,網路 系統會逐漸進入較為穩定的狀態,甚至整個網路系統會進入靜止的狀態。但是,
在後續的討論中,我們發現網路系統在擁有足夠多突觸聯結的情況之下,透過在 Learning Phase 中適當的學習效應,突觸聯結的強度會強化到適當的程度,使得 神經網路的活性即使在無任何外加訊號的Recall Phase 中仍然會持續保持。
a b
Fig.34 : 在 Learning Phase 時期,Nc=1900 時,(a) 有外加正弦波電流,(b) 無外 加電流,可產生動作電位 的神經元膜電位變化。
a
b
Fig.35 : 在 Recall Phase 時期,Nc=1800 時,網路中神經元的興奮情況。 (a)各神 經元興奮的時間記錄,(b)各時間的神經元興奮數量統計。
我們記錄了模擬過程中,整個網路神經元興奮的情況,其結果如 Fig.35(a) 所示。為了更進一步的瞭解他們的關聯性與性質,我們對興奮的數目與時間進行 統計,所得的結果如Fig.35(b)所示。可以發現在某些時間很多的神經元會同時產 生興奮現象。
4-4 突觸學習的長期與短期增益效應
在我們的模擬中,突觸的強度變化會遵守 STDP learning rule,隨著突觸前與 突觸後神經元興奮時間的差異來進行學習、產生變化。所以,對於處於靜止狀態 的神經元來說其突觸的強度是不會有任何變化的。
以 random 模式的網路系統為例,我們定義在某一個時間區段 T=100(msec) 內,至少出現過一次興奮放電的神經元活性為active,而一次都沒有的為 silent。
紀錄神經元的活性與時間的關係如Fig.36 所示。可以瞭解在 Learning Phase 中,
隨著外加電流的作用與STDP rule 啟動的影響,越來越多的神經元會出現興奮放 電的現象,且隨著突觸聯結的數目增加,最後產生興奮放電的神經元數目也越來 越多。
當 Nc ≧ 600 的時候,系統內的神經元在移除外加電流訊號與學習效應之 後,不再迅速的完全靜止,開始會有部分的神經元依然能在Recall Phase 的時期 保持其活性,僅依靠神經網路本身的效應,藉由適當的突觸強度,維持其活性的 穩定;當Nc ≧ 1000 的情況下,可以很清楚的看到,外加電流訊號的消失,對 整個網路系統的活性已經沒有太大的影響,大多數的神經元仍然可以保持其活 性,而神經系統本身也能持續的運作。
從以上的結果,可以看出由於學習效應的作用,產生興奮現象的神經元數目 會逐漸增加,這些現象當中顯然包含了學習效應所呈現出來的短期增益與長期增 益的效果。假設我們以被活化的神經元數目來表示增益的效果,可以進行以下有 關學習效應產生的短期與長期增益的變化探討。[20]
Fig. 36 : 在 random 分佈下的神經網路系統,其有產生興奮現象的神經元數目隨 著時間的演化圖。其中( )代表 Nc = 600;( )代表 Nc = 800;( )代表 Nc = 1000;
( )代表 Nc = 1200;( )代表 Nc = 1500。突觸可塑性變化依照 STDP learning model 學習,外加電流在 t = 2000 ms 時關閉。
Fig.37 : 突觸經由 STDP model 學習後,所產生的增益效應與神經網路的突觸聯 結數目關係圖。( )表示短期增益,( )表示長期增益。可以發現長期增益在突 觸聯結數目較多的時候效果較強,而短期效益則是在數目較少的時候較為明顯。
為了方便探討學習效應的效果,我們將Fig.25 中,在Learning Phase結束時,
有產生興奮放電的神經元數目NL做為增益的基準,與在Recall Phase中仍然能產 生興奮放電的神經元數目的平均值NR做比較,並且定義短期效應ES = (NL-NR) / NL;長期效應EL=NR / N,其中N=50 為神經元的總數。計算各個突觸聯結數目時 (Nc=100,200,…etc.)的長期、短期增益效應,結果如Fig.37 所示。我們可以清楚 的看到短期與長期增強所展現出來的效果與兩者的差異性,為了方便我們進行這 兩種效應的性質探討,我們將整個神經網路的發展過程分成三個階段,1) 早期:
Nc < 600;2) 中期:600 < Nc < 1200;3) 晚期:Nc > 1200。
在早期發展的階段,在Learning Phase 時期內,被活化的神經元數目會隨著 時間逐漸增多,可以看出短效增益的效果明顯。而進入Recall Phase 後,整個網 路系統在外加電流訊號消失的情況下,整體的活性會迅速減低,所有的神經元會 逐漸恢復至靜止的狀態,學習的效應所呈現出來的效果,維持的時間很短,故長 期增益的效應幾乎沒有。
進入中期發展的階段後,可以觀察到進入Recall Phase 之後,網路系統在無 任何外加作用的情況下,開始有部分的神經元可以依靠神經網路本身的作用,透 過其他神經元自突觸傳來的刺激與訊息來維持本身的活性,這時候長期增益的效 應開始展現出來,而且隨著突觸聯結數目的增加,效應逐漸增強;反之,由於被 活化的神經元數目差異越來越少,短期效應的效果反而逐漸減弱。
晚期的時候,由於我們將外加電流訊號移除的過程,對於整個神經網路的活 性與運作幾乎沒有任何影響,多數的神經元仍然可以穩定的持續產生興奮放電的 現象,可見此時學習效應所呈現出來的長期增強效果已經趨向一個飽和與穩定的 狀態;而由於外加訊號移除前後神經網路的活性差異已經不明顯,所以短期增強 的效果在此時期已經相當微弱。
4-5 突觸的可塑性變化
為了更進一步的研究發展中的神經網路它的突觸可塑性的變化與性質,我們 以random 模式的神經網路為例,計算隨著生長時間的發展神經網路平均的突觸
強度變化,其結果如 Fig. 27 所示。此處我們將神經網路平均突觸強度定義為
C N
j i
ij N
w w ( )/
1
∑
,=
= ,而單一個神經元的整體突觸強度定為w w j i。
N
j ij
i =
∑
≠=
,
1
將神經網路平均突觸強度隨時間的變化記錄下來,以Nc=600、900、1000、
1200、1500 為例,結果如 Fig.38 所示。可以明確地看出神經網路整體的突觸平 均強度會因為學習效應的影響,隨著時間的演化慢慢增強,這個結果代表系統正 朝向於一個更強的關聯模式進行改變,使得整個網路系統內的神經元彼此之間的 聯繫隨著突觸強度的增加而更行緊密與穩固,溝通也越趨於頻繁。
Fig.38 : 神經網路在 STDP model 的學習效應下,整體的突觸平均強度與時間的 演化關係圖。其中,所有外加電流訊號與學習機制在T = 2000 msec 時關閉;( ) 代表Nc = 600; ( )代表 Nc = 900;( )代表 Nc = 1000;( )代表 Nc = 1200;(
*
) 代表Nc = 1500。另外,由圖中兩者的關連曲線,可以發現隨著Nc 的增加,曲線的斜率也逐 漸增大,突觸強度增強的情況變的更加快速,可見透過網路的成長,越來越多的 突觸聯結建立之後,使得神經元之間的聯繫增多,學習效應的影響也逐漸增大。
從以上的結果,我們可以得知,突觸的可塑性變化不僅與學習的規則有關 聯,整個神經網路的發展所形成的突觸聯結數目也扮演著重要的角色。STDP model 決定了神經網路學習的規則,但只是規範著突觸強度變化的模式,並沒有 明確的演化趨向。可是隨著神經網路的發展,突觸聯結的數目增加,神經元之間 相互聯繫、影響的機會大增,使得平均突觸強度的增強效果越來越快速,造成整 個網路的演化傾向於形成更緊密的組織方式。所以,神經網路的發展會增強學習 的效果,而學習的效果會強化整個網路系統的活性與運作。
接下來,我們針對個別神經元的整體突觸強度與活性的變化進行討論。首 先,從Fig.39(a)-(c) 可以看出,在 Learning Phase 時期,除了前十個神經元因為 有外加電流訊號的作用,會持續產生興奮現象外,其它的神經元會隨著時間的演 化,藉由神經元之間彼此聯繫、作用,開始產生興奮的現象,也因此啟動STDP 學習的機制,使得其突觸強度開始發生變化。
進入 Recall Phase 後,由 Fig.39(d)-(f)的結果,可以發現學習機制的效應明 顯,多數的神經元突觸強度都獲得相當多的增強,但是神經元間的突觸強度差異 性也隨之增加。另外,在Recall Phase 中,神經元彼此之間仍然會互相影響,開 始出現興奮的現象,且會逐漸蔓延至整個網路系統。還有從神經元的突觸強度與 活性分佈的情況分析,可以得知,整體突觸強度較強的神經元,在移除外加刺激 後,仍然可以保持活性的機率也較大。
另外,突觸聯結數目越多的情況下,神經元之間相互聯繫、影響的情況也會 越強,使得能保持活性的神經元數目增多,神經網路的運作也越活躍。這也說明 了,網路系統形成的突觸聯結數目越多,整個網路系統便越趨向於穩定與成熟的 狀態,只要透過少許的刺激啟動後,便能夠保持整體網路運作的活性與穩定性。
a b
c d
e f
Fig. 39: 當 Nc =1200,在 Recall Phase 階段個別的神經元其整體的突觸強度與活 性變化隨時間演變的關係圖。活性:( )代表 active,( )代表 silent。(a) t = 20 msec;(b) t = 100 msec;(c) t = 200 msec;(d) t = 2.02 sec;(e) t = 2.1 sec;(f) t = 2.2 sec。