發展中神經網路的雜訊驅使同步性及可塑性

全文

(1)國立台灣師範大學碩士論文. Noise Driven Synchronization and Plasticity of a Developing Neural Network. 研究生：林宜樺指導教授：陳啟明. 博士. 中華民國九十九年二月.

(2) 致謝碩士生涯硬是比別人多了半年，但也到了尾聲。在這兩年半的時間，有苦、有樂還有常常在兩頭燒的課業與工作，當然最重要的還有一群值得感謝的人。首先感謝我的父母及弟弟。縱然在這兩年半的過程中有不順遂的情形，但仍然不斷的支持我、鼓勵我繼續念下去。另外也要感謝許多的親戚，讓我可以在忙碌的課業中也能分擔家計，不會因為大量的通車時間而浪費到寶貴的時間。當然，能完成論文最需要感謝的是我的指導教授陳啟明老師，老師總是不厭其煩的指導，讓我了解做研究應該有的方法與正確的態度，使得我可以順利的將研究完成。另外還要感謝輔大物理系的陳慧琪老師及我的高中物理老師，曲輔良老師，每一次心情不好的時候，總是喜歡找兩位老師聊聊天，也鼓勵我不要放棄，要堅持下去。接著，需要感謝的當然是幫助我相當多的陳正君學長。學長在程式上幫助我相當的多，讓完全不會 C 語言的我快速的上手，使我能快速的開始使用 C 語言。而另外也要感謝吳仁國學長，幫助我快速的了解之前的研究。另外還有一群陪伴著我的研究室同學：宜新、欣翰、文宗、建勛、智豪等等，在各方面給我了許多的幫助。而一路陪伴我從大學到研究所的協誠與承叡也一直是我分享心情、聊著夢想的對象，讓整個研究所的生活增添了更多的樂趣。另外也感謝一群大學的好友：怡方、怡君及尹齡，還有高中、國中及國小的朋友們總是要我加油，找我吃飯談天，使我遇到的挫折一掃而空。好友群當中最重要還要感謝彥淑、欣宜及志銘總是不厭其煩的幫我解決程式上的小問題。最後要感謝君威，在我忙碌的時候可以在我的工作上幫助我，在我情緒低落的時候也讓我有個宣洩個管道，在我研究不順利時雖然沒有辦法給予我實質上幫助，但也總會想幾個笨方法來讓我不要陷於低潮中。其實還有好多好多要感謝的人，雖然你們可能沒有出現在這裡面，但是我仍心懷感激，因為有你們，才會有現在的我。 i.

(3) 目. 錄. 摘要 .............................................................. 1 第一章. 緒論 ...................................................... 2. 1-1 研究動機 ................................................................................................................... 2 1-2 電腦模擬的重要性 .................................................................................................... 3. 第二章. 腦神經系統介紹 ............................................ 5. 2-1 神經元 ....................................................................................................................... 5 2-2 支持細胞（supporting cells） ................................................................................... 7 2-3 神經纖維 ................................................................................................................. 11 2-4 神經衝動 ................................................................................................................. 13 2-5 突觸（Synapse） .................................................................................................... 17 2-6 網路系統 ................................................................................................................. 22. 第三章. 研究方法 ................................................. 25. 3-1 The Hodgkin-Huxley Model ..................................................................................... 25 3-2 神經網路 ................................................................................................................. 29. 第四章結果與討論 ................................................ 32 4-1 神經網路的連結...................................................................................................... 32 4-2 神經網路的同步性 ................................................................................................. 46. 第五章. 結論 ..................................................... 71. 參考文獻 ......................................................... 73. ii.

(4) 摘要人類的意識行為由大腦掌控，因此對於神經網路的構造及其內部的動力機制的研究是相當重要的，而構成神經網路的基本單位—神經元，其物理性質及其行為已被大量研究，但神經元之間的交互作用仍然是較不清楚的。在我們的研究中，用一個簡單的連結機制建構一個二維的神經網路，利用 HH model 作為神經元模型，再配合兩種不同的學習效應—STDP 及 anti-STDP 進行電腦模擬來研究其生長機制及神經網路的同步性現象。在神經網路的生長中，我們對不同的生長機制與不同的分布密度及形狀對神經網路的性質做探討，也利用最短路徑以及叢集係數對網路的構造以及產生的現象做討論。再接著探究神經網路的同步性現象，分別在不同的生長機制下讓神經網路發展至各個不同階段時研究同步性的產生及同步性頻率，也觀察在神經網路在訊號傳遞出去的延遲時間對同步性頻率的影響。最後，我們針對兩種不同的學習效應在哪些情況下才會產生同步性進行模擬。. 1.

(5) 第一章緒論 1-1 研究動機大腦掌管人類的意識行為，如：學習、語言、記憶、情緒及智能行為。因此，大腦是如何運作的、是如何與其他區域產生溝通，成為了人們常問的問題。但腦神經網路與目前所了解的其他複雜系統相比，其精密程度與複雜程度是凌駕於他們之上的，甚至與解碼生命體的基因相比，困難程度是有過之而無不及的。建立腦部功能及結構的研究方法與機制來瞭解大腦中大量神經元之間的牽連，探討人腦的運作，對於人類的未來發展極為重要，且為目前學術界的重點研究發展方向。研究人類學習、語言、記憶、情緒及智能行為的產生與他們及疾病之間的關係，甚至透過各式各樣的方法來找尋大腦中治療許多疾病的可能性，是現在十分重要的課題。現在對於腦神經網路的研究方法相當多，大致可分為兩種：一是實體的觀測，另一為電腦模擬。實體觀測是觀察與分析行為，再結合儀器的測量，以巨觀的方式來進行研究與探討。儀器方面，由於科技的進步，已不必透過實體解剖的方法即可得知人體內部的結構及功能。而包含了超高磁場振造影（Ultra-high field Magnetic Resonance）、光學造影（Optical Imaging）、腦電波儀（Electroencephalography，EEG）及腦磁波儀（Magneto encephalography，MEG）等非侵入式的儀器結合了多項「功能性神經造影（Functional Neuroimaging）」，是目前研究的焦點與趨勢，可對腦部進行醫學及科學研究。這些新科技使得研究方式與技術平台跟著一起更新，再加上電腦的技術，可重建三維空間神經網路的功能及結構、分子生化機理、人類身心互動模式，或是人腦與心智作用的關係等相關探討、研究及臨床應用。由於各種技術使用的醫學物理機制不同，因此他們所產生的影響或訊號也有所不同，各種方法有及優缺點，使得研究領域也有所差異。因此提供的更多的角度研究腦神經系統。. 2.

(6) 使用儀器如：功能性磁振造影（functional MRI，fMRI），可探討巨觀的腦神經網路及建立功能性神經解剖，其時間解析度較低，但具有較高的空間解析度，適合三維腦神經系統的建立及功能的探討。磁振頻譜（Magnetic Resonance Spectroscopy），提供了腦部的生化資訊及擴散張力。頻譜磁振造影（Diffusion Tensor Imaging or Diffusion Spectrum Imaging），可知腦部白質纖維的走向通聯與其結構。正子斷層掃描，用來測量局部腦血流（regional cerebral blood flow）、腦灌流（cerebral perfusion）及其他的生化訊號、神經傳導素（Neurotransmitters）的變化。腦磁波儀與腦電波儀，可測量神經組織活化時期電離子流動產生的磁場與電場分布，時間解析度高，可達毫秒。而利用頭顱磁刺激則可研究神經網路的可塑性（plasticity）[15]。而電腦模擬是一種透過神經細胞數量、突觸（synapse）、離子電流（ion current）及膜電位（membrane potential）等已知的訊息，利用微觀的方式來探討神經細胞之間是如何彼此溝通、傳遞訊息，又如何利用學習效用來建立及發展整個神經網路系統。希望能透過模擬的方式來認識整個神經網路中影響其結構、運作機制的因素及他們與功能產生的關係。. 1-2 電腦模擬的重要性對於科學研究而言，理論的計算模擬及實驗的觀察測量兩者都相當的重要，且相輔相成的。實驗的結果及數據可以檢驗理論的模型及其計算結果的正確性；而理論模型的發展與分析則可檢驗實驗的精確度與準確性。兩者之間互相交互驗證才能使實驗或是理論所研究出的結果得到改進，進而得到正確的結果，也不斷帶動科學的研究。實驗與模擬都會受到一些因素的限制而使得困難度提升。若想透過實驗的方式了解膜蛋白，則會因膜蛋白不易結晶而很難獲得正確的結構；而想知道 DNA 的序列，以現行的方法定序則相當的耗時且費錢，得到的結果也不盡理想。相同 3.

(7) 的，腦神經網路因結構複雜且龐大，因此在實驗上多是使用巨觀或局部的觀察來得知某一部份的功能，對於更多細部的構造發展與他的功能演化就不易徹底得知了。因此當實驗受到限制時，電腦模擬就成了一個相當適合的平台來提供研究。在電腦模擬中可利用已知的理論模型或假設模型來做為模擬的基礎，透過設定是當的環境參數來進行模擬並與實驗結果比對，藉此修正理論的模型至最適合的情形，並能得到近似實驗的結果，可節省大量的人力及物力。在神經網路系統的研究因結構複雜且數量龐大，常因電腦運算及資訊處理的速度不夠快，而使得計算與處理相當的費時且麻煩。但隨著科技的進步，電腦可處理的資訊量以及計算的速度越來越大也越來越快，因此可以提升複雜神經網路系統的計算速度，使得能夠處理的系統更加的龐大且更加的複雜。. 4.

(8) 第二章腦神經系統介紹神經系統是人類學習行為的基礎，由其是大腦，在腦神經系統中包含了兩種主要的細胞：神經元（neurons）及神經膠細胞（glia cells）。前者在神經系統中負責神經衝動的傳遞；後者則為支持細胞（supporting cells）之一，數目為神經元的十至五十倍，圍繞在神經元的周圍，形成支持性的結構，具有保護、絕緣及加快訊號傳導的功能[8]。. 2-1 神經元 2-1-1 神經元的構造神經元是一種高度特化的細胞。其構造有許多不同的形態，多是順應其功能的差異，但都具有細胞體（cell body）及突起（processes）兩部分。細胞體內含有細胞核（nucleus）及許多的胞器。神經元主要的特徵為突起，是由細胞體向外延伸的構造，可分為樹突（dendrite）及軸突（axon）[8]。多數的樹突數量相當的多且具有分支，可接收其他神經元傳來的訊息並彙整後傳入細胞體。而軸突相當的細但長度變化大，多數的神經元只有一條，源自於靠近細胞的軸錐（axon hillock），此處也是神經衝動的起始處，可將細胞體的訊號傳給其他的神經元或非神經元細胞。突觸外有許旺氏細胞（Schwann’s cells）形成數十層磷脂層包圍，稱為髓鞘（myelin sheath），在軸突末端會有分支且在末端有膨大的構造，稱為突觸終端（synaptic terminals）。. 圖 2-1：神經細胞包含了細胞體、樹突及軸突三部分。 (圖片來源：http://www.ling.fju.edu.tw/hearingbrain-into.htm) 5.

(9) 2-1-2 神經元的分類依神經元突起的數目做區分[9]，可將神經元分為： 1.單極神經元（uni-polor）亦稱為僞單極神經元，細胞體延伸出的突起只有一個，生長一段距離以後會形成兩個分支，其中一個分支有如軸突，另一分支有如樹突，如：脊神經節細胞。 2.雙極性神經元（bipolar）自細胞體延伸出兩個突起，一為樹突，另一個為軸突，如：視網膜細胞。 3.多極性神經元（multipolar）細胞體有許多的突起，但只有一條為軸突，其餘的為樹突，如：中樞神經系統的神經元。. (a)單極性神經元。. (b)雙極性神經元。. (c)多極性神經元。. 圖 2-2：依突起數目區分各種不同神經元的形態。 (圖片來源：http://life.nthu.edu.tw/~g864264/Neuroscience/neuron/cell.htm). 也可利用其功能的不同加以分類[8]，可分為： 1.感覺神經元（sensory neurons）為傳入神經元（afferent neurons），其細胞型態為假單極或雙極神經元，在末端有些會呈現游離狀，有些則分化出接受特定刺激的構造，可將身體各處接受的刺激傳入中樞神經系統。軸突在中樞神經系統內與其他神經元的突觸連結多為輻射狀的，可與許多的神經元聯繫，使得更多的神經元有同步的現象來擴大影響範圍。 2.運動神經元（motor neurons）. 6.

(10) 為傳出神經元（efferent neurons），一般為多極性神經元，其神經末梢常分佈於肌肉或腺體上，可將中樞精神經系統產生的訊息帶至此產生作用，可同時或先後作用於同一神經元，經過整合後會使反應的精確性及協調性增加。 3.聯絡神經元（interneurons）位於中樞神經系統內，感覺神經與運動神經元之間，負責聯絡的工作。. (a)感覺神經元. (b)聯絡神經元. (c)運動神經元. 圖 2-3：依功能區分各種不同神經元的形態。 (圖片來源：(a) http://sciencecity.oupchina.com.hk/biology/student/glossary/sensory_neurone.asp (b) http://sciencecity.oupchina.com.hk/biology/student/glossary/interneurone.asp (c) http://sciencecity.oupchina.com.hk/biology/student/glossary/motor_neurone.asp). 2-2 支持細胞（supporting cells）支持細胞不能傳遞神經衝動，但卻扮演著保持神經系統功能完整性的重要角色。 2-2-1 中樞神經系統的支持細胞在中樞神經系統內的支持細胞又稱為神經膠細胞，又可分為星狀膠細胞（astrocyte）、寡突膠細胞（oligodendrocytes）及微膠細胞（microglia）。 1.星狀膠細胞：圍繞在腦部微血管壁外，支持與提供神經元營養，是中樞神經系統內最多的膠細胞。其有較多的突起可連接微血管與神經元，連接微血管的末梢部分會膨大為血管周足，也會與微血管形成血腦屏障（blood-brain barrier）。星 7.

(11) 狀膠細胞還可控制中樞神經系統外的離子環境，使得神經元周遭的環境最適合引發其傳遞神經衝動。除此之外，神經組織若有損傷，星狀膠細胞亦可做維修部的組織，而他們彼此之間或與神經元之間也會有連繫的現象。 2.寡突膠細胞：一般分布於中樞神經系統中，突起的數量較少且較短，可同時在許多神經元的軸突外形成髓鞘。 3.微膠細胞：一般分布於中樞神經系統的灰質內，為吞噬細胞，體積小，形狀多呈短棒狀，其數條突起的表面有刺，能進行變形作用，在細胞受傷或發炎時行吞噬作用，清除裡面壞死的組織，因此負起中樞神經系統的免疫功能[8,10]。. 圖 2-4：中樞神經系統中的三種神經膠細胞：星狀膠細胞（astrocyte）、寡突膠細胞（oligodendrocytes）及微膠細胞（microglia）。 (圖片來源：http://www.lmbe.seu.edu.cn/biology/bess/biology/chapt15/15-2-2.htm). 2-2-2 周圍神經系統的支持細胞周圍神經系統的支持細胞為許旺氏細胞，可以圍繞著一或多條軸突形成髓鞘，支持及保護神經纖維，當神經組織受傷後的再生與修復也需要許旺氏細胞的幫忙，又稱為神經鞘細胞[8,10]。. 8.

(12) 2-2-3 鈣離子波（Calcium wave）長久以來，神經膠細胞一直被定位在協助及支持神經元的角色，曾有神經科學家懷疑或許神經膠細胞可以幫助神經元處理訊息，但卻一直無法找到令人信服的證據。因為他們認為若神經膠細胞之間可以互相溝通，也應當如神經元一樣使用電位的變化來做為溝通的工具。實際上則不然，隨著科技極研究技術的進步，已發現神經膠細胞上也有許多對電位變化敏感的離子通道，但神經膠細胞的細胞膜卻無法產生動作電位，因此推斷這些離子通道的功用或許只是讓他能夠察覺鄰近神經元的活性變化。透過造影技術的方式可發現神經膠細胞之間是利用化學訊號來互通有無。為了瞭解神經膠細胞是如何監視神經元的活性，於是研究人員利用「鈣離子造影」的方式做確認，確信了神經膠細胞確實是利用鈣離子的流動來得知軸突的活動，透過一連串的實驗發現，可藉由加入如麩氨酸的神經傳導物質或利用電極的刺激來誘發鈣離子大量流入細胞內，接著鈣離子波會以受到刺激的細胞為中心向外緩慢的擴散至所有星狀膠細胞。此情形就如神經傳導物質釋放時所產生的現象，且一般認為神經膠細胞應該是藉由此種方是來討論關於神經衝動的訊息[11-13]。但科學家仍對一些現象感到困惑，神經元的離子通道活性可藉由神經衝動調控而使得離子流動有所改變，但神經膠細胞沒有此衝動，鈣離子流動的機制到底是如何產生的？於是研究人員就將注意力擺到在實驗中一直出現的三磷酸腺苷（ATP）上[13]。 ATP 是細胞活動的能量來源，具備有下列幾種特性：一是 ATP 在細胞中的含量遠高於細胞外，另一為 ATP 是非常小的分子，因此可以快速的擴散，再者是 ATP 水解的相當快速。由以上的特性就能確保 ATP 所傳遞的新舊訊息不會產生混淆，因此 ATP 成為神經膠細胞溝通時及佳的訊息分子。此外，在. 9.

(13) 神經元末稍的突觸囊泡中，除了傳導物質外，也含有大量的 ATP，在突觸興奮時就會一同釋出，而且可以散播到突觸外。 1999 年，Guthrie 與他的同事明確的指出，當神經膠細胞受到刺激時會釋放出 ATP 到周圍環境中，而鄰近的神經元膠細胞上有受體可與 ATP 結合，會刺激鈣離子通道被打開，讓鈣離子能流入到細胞內，當鈣離子濃度達到一定濃度時又會釋放出 ATP 至周為環境中，不斷的重複而使以 ATP 為媒介的鈣離子反應傳遍整群神經膠細胞。為了瞭解鈣離子波的傳遞模式，Kater 的研究團隊提出了一個模型。說明了鈣離子波有兩種傳遞方式：一是透過細胞內的通道，另一是經由細胞外的途徑傳遞[14]。 1.透過細胞內的通道相鄰膠細胞彼此細胞膜與細胞膜之間存在間隙連接（gap-junction），而細胞膜內的鈣離子就可利用間隙連接擴散至相鄰的膠細胞。當受神經傳導物質刺激的膠細胞鈣離子濃度上升後，就透過此方法將高濃度的鈣離子逐漸的擴散出去，形成鈣離子波。 2.經由細胞外的途徑 Kater 將單層的星狀細胞切割，使中間有一空間相隔而不相鄰在使其中一星狀細胞產生鈣離子波，發現鈣離子波可跳過相隔的空間傳到另一側，因此他們推測細胞外有一傳導機制，且是使用跳躍式的方法傳遞得不相鄰的細胞。目前尚未明瞭這樣傳遞的機制，但推測與膜外的 ATP 等媒介有關。在最近的研究中也發現神經膠細胞能控制突觸的形成，即是透過鈣離子波或是放一些可溶性的因子，甚至有些實驗認為突觸的傳輸、強度及連結穩定性到突觸聯結的淘汰都與神經膠細胞的機制有關，因此神經膠細胞在神經網路中扮演十分重要的角色。. 10.

(14) 圖 2-5：Kater 提出的鈣離子波傳遞模型示意圖，有兩種傳遞途徑，一是透過間隙連結（gap-junction），另一是透過細胞外的途徑利用類似跳躍的方式傳遞。. 2-3 神經纖維神經纖維是樹突及軸突的總稱，可依髓鞘的有無分為有髓鞘神經纖維及無髓鞘神經纖維兩種。. 2-3-1 有髓神經纖維（Myelinated fiber）軸突外有髓鞘的包覆，由寡神經膠細胞或許旺氏細胞的細胞膜在神經纖維外不斷的圍繞而形成一層一層的同心圓。細胞膜的主要成分為脂質，因此髓鞘就如一層絕緣層包覆在外，在相鄰的兩個髓鞘間有個空隙，稱為蘭氏結（node of Ranvier），具有大量的離子通道能產生動電位，而髓鞘為絕緣區，無法產生動做電位，因此動作電位是由一個蘭氏結跳至另一蘭氏結，這種跳躍式的傳導可使神經衝動傳遞的速度較無髓鞘的神經纖維快上五十倍左右 [8]。. 2-3-2 無髓神經纖維（Unmyelinated fiber）在以前認為此類的神經纖維外部皆不具有髓鞘，但近年來證實其外部也有一層較薄的髓鞘包覆，與有髓鞘神經纖維不同之處在於它通常是由許多的許旺氏細胞為一個或多條軸突，不在外面形成一層一層的同心圓，且不一定完整的包覆著神經纖維，因此有時候會有部分裸露在外，如：嗅神經。 11.

(15) (a)周圍神經系統的髓鞘由許旺氏細胞形成。 (b) 中樞神經系統的髓鞘由寡神經膠細胞形成。圖 2-6：中樞神經系統與周圍神經系統的髓鞘化的現象，是由不同的細胞對神經纖維產生包覆。. 圖 2-7：有髓鞘神經纖維的髓鞘剖面圖，由圖中可看出髓鞘的構造為層狀的同心圓。. 圖 2-8：無髓鞘神經纖維的示意圖，是由多個許旺氏細胞同時包覆一條或多條軸突，不形成層 12.

(16) 狀的同心圓，且不一定完全包覆，會有一部分裸露在外面。. 2-4 神經衝動神經衝動就是膜電位的改變，由於神經元的細胞膜上具有大量的離子通道與化學物質的受器，是屬於興奮性細胞膜（excitable membrane），受到周圍環境的刺激時，會產生反應並轉變為神經衝動並沿著神經纖維傳遞出去，藉由此可與其他的神經細胞產生溝通，像是神經系統中的一種語言，可彼此互相溝通訊息。這些溝通依賴電及化學的形式，藉由膜電位差及頻率的變化來進行。. 2-4-1 靜止膜電位一神經元在沒有傳導神經衝動或是處於興奮狀態時，所測量到的電位為靜止膜電位（resting potential），大小約為-70mV，此時的細胞膜具有極性。造成細胞膜內外會有電位差的原因有兩個：一是細胞內外的各種離子分布不均勻；另一是細胞膜有選擇通透性（selective permeability）。在神經細胞在安靜時，膜上的鉀離子通道會有部分開放，因此細胞膜對於鉀離子具有較高的通透性。鉀離子在細胞內濃度較外界高，因這種濃度的差異促使鉀離子向外擴散，鉀離子帶有正電，會促使細胞的電位下降；相對的，鈉離子的在細胞內的濃度與外界相比低了許多，而細胞膜對於鈉離子仍有些許的通透性，只是通透性遠低於鉀離子的，因此鈉離子由細胞外擴散到細胞內的速度較為緩慢，再加上細胞內含有許多帶負電的蛋白質，由於分子大無法由細胞膜擴散出去，因此使的細胞膜內的電外低於外界的電位，在靜止的狀態下呈現的電位差即為靜止膜電位（resting membrane potential），此時的細胞膜稱為極化膜[8]。. 2-4-2 膜電位變化的成因具有極性的細胞膜可對外界的刺激產生變化，若外界的刺激夠強則升高到臨界值或是閥值（threshold），神經電位就會不斷的攀升至+40m 左右，這樣. 13.

(17) 子的膜電位變化稱為動作電位（action potential），亦稱為神經衝動（never impulse），且此動作電位會沿著軸突傳遞出去，當傳遞到突觸或是受器時，他們會因接受到刺激或是收到神經傳導物質（neurotransmitter）而產生局部性電位（graded potential），此電位會隨著傳播的距離而衰減。細胞膜在神經衝動時的極性變化可分為三個過程： 1.去極化過程（depolarization）當神經元受到刺激時，在受到刺激的部位鈉離子通道會有一部分被打開，使得鈉離子少量的進到細胞膜當中，若此時膜電位上升到一個臨界的閥值電位時，鈉離子通道就會急速且大量的被打開，更大量的鈉離子向細胞內流入，此時因正離子大量的進入，細胞膜內的電位急遽上升，極化的現象消失且出現極性反轉的現象，也就是細胞膜內的電位為正而細胞膜外的電位為負，此過程稱為去極化現象，所歷經的時間相當的短暫，但藉由此可產生動做電位。若受到刺激後其膜電位的上升無法達到閥值電位時，鈉離子通道不會有大量且短暫打開的現象發生，也就是動作電位不產生，這樣的現象稱為局部去極化，膜電位很快的就會回復到靜止電位的狀態。這種當刺激夠強，使膜電位達到閥值電位進而產生動作電位；刺激不夠強，使膜電位無法達到閥值電位而不產生動作電位的現象稱為全有或全無定律（all-or-none law）。 2.再極化過程（repolarization）當膜電位的大小達到峰值時，鈉離子通道會被關閉，而鉀離子通道會被打開，鉀離子就會迅速的通過離子通道向外擴散出去，細胞膜內的正電荷又會大量的流失。此時鈉鉀幫浦（Na+-K+ pump）的作用也會增強，促使膜內鈉離子排出，恢復到原來的離子濃度梯度，使之電位成為原先靜止的狀態。 3.過極化過程（afterhyperpolarization）當膜電位在再極化的過程中，當膜電位恢復成靜止電位時，因鉀離子通道無法及時關閉，此時鉀離子仍繼續向膜外流出去，造成膜電位低於靜止電. 14.

(18) 位，稱為過極化。直到鉀離子通道被關閉後再藉由鈉鉀幫浦的幫忙恢復到靜止電位[8]。. 圖 2-9：膜電位與離子通道在產生動作電位時各個階段變化關係圖。 (圖片來源：http://www.dls.ym.edu.tw/neuroscience/ap_c.html). 圖 2-10：動作電位的產生可以分成三個時期。(a)當接受到訊號後，細胞膜就會有去極化的現象發生，使膜電位上升，若超過閥值電位則去極化的速度會變快，使膜電位快速的上升。(b)膜電位達到最大值時會產生再極化的現象，膜電位會下降恢復為靜止電位。(c)有時候在再極化的過程中會發生膜電位低於靜止電位的現象，此過程為過極化，因此會再一次進行再極化回復至靜止點位。 15.

(19) 2-4-3 神經衝動的傳遞動作電位傳遞的快慢與軸突的直徑相關，與受到的刺激大小無關。對於電流而言，若線路的截面積越大則其電阻會越小，因此，若軸突的直徑較粗傳遞的速度會較軸突直徑小細的來得快。因此一些無脊椎動物，如：烏賊、龍蝦等，這些巨大神經會負擔起高速的行為反應。而脊椎動物則演化出髓鞘來加快神經衝動的傳遞速度，以下對無髓鞘神經纖維及有髓鞘神經纖維上神經衝動傳導的方式做一個描述。 1.無髓鞘神經纖維的神經衝動傳導當神經元受到刺激或是本身產生興奮，或有一個動作電位傳到軸突某部分時，該處的鈉離子通道會被打開，因此膜電位產生去極化的現象。此時，此處的膜電位與相鄰位產生興奮現象的細胞膜會產生電位差促使電荷及離子流動，此電流稱為局部電流。在這種電流的影響之下，也會刺激鄰近的部位引起去極化的現象。神經衝動就依照此種方式逐步的傳遞出去，這樣的傳遞方式稱為連續傳導。 2.有髓鞘神經纖維的神經衝動傳導有髓鞘的神經纖維因為髓鞘處是絕緣體，無法使離子有效的通過，因此不會產生去極化的現象。而唯一能與細胞外液體接觸的部分為蘭氏結，此處的離子通道的通透性為無髓鞘神經纖維的 500 倍左右，離子是相當容易通過。因此具有髓鞘的神經纖維不是一步步使鄰近細胞膜去極化的連續傳導，而是只在蘭氏結的部分發生去極化的現象，產生局部電流沿著軸突傳遞，直至下個蘭氏結時才會再產生去極化的現象。這樣的傳遞方式有如動作電位由一個蘭氏結跳過髓鞘至下一個蘭氏結，因此如跳躍般的傳遞，此種傳遞方式稱為跳躍式傳導，使得神經衝動傳導的速度大增[8]。. 16.

(20) (a)有髓鞘神經纖維. (b)無髓鞘神經纖維圖 2-11：神經衝動傳遞時離子流動的示意圖。. 圖 2-12：有髓鞘神經纖維以跳躍式傳遞神經衝動的示意圖。. 2-5 突觸（Synapse）在神經系統中，在神經元之間其連結方式依循著一神經元的軸突與另一神經元的樹突或細胞體相連，但這兩個神經元通常不會直接接觸，其中間會有空隙存在，這樣的連結稱為突觸，而這種特殊的連結控制訊息的傳遞，影響了腦神經系統的構成與其結構。一般而言神經的訊息傳遞方向是由一個神經元的軸突經由突觸終端傳至另 17.

(21) 一神經元的樹突或是細胞本體，因此將神經衝動傳遞至突觸的神經元稱為突觸前神經元（presynaptic neurons），是負責發送訊息者；而從突觸接受神經衝動的神經元稱為突觸後神經元（postsynaptic neurons），是負責接受訊息者。. 2-5-1 突觸的構造突觸的構造主要有三部分：突觸前部（presynaptic element）、突觸間隙（synaptic cleft）及突觸後部（postsynaptic element）。以化學性突觸而言： 1.突觸前部軸突末端呈現球狀膨大的部分，而突觸前膜（presynaptic membrane）與其他部分的細胞膜比較起來，厚度略厚，約為六至七奈米。化學性突觸突觸前細胞的特徵為在其細胞質內含有許多的突觸囊泡（synaptic vesicles），內含有神經傳導物（neurotransmitter），是一種化學物質，這類的物質通常在細胞體合成後再形成囊泡。而其儲存及釋放機制目前認為與突觸體激素（synaptophysin）及突觸素（synapsin）等蛋白有關，當神經衝動傳至突觸前膜時，突觸囊泡利用胞吐作用將神經傳導物質釋放出去，也就是將神經衝動以化學訊號傳遞出去。突觸囊泡的大小及形狀會因其內部所含的神經傳導物質不同而有所不同，常見的突觸囊泡有三類： (1)球形囊泡（spherical vesicle）直徑約在二十至六十奈米之間，內含有如乙醯膽鹼（acetylcholine）的興奮性傳導物質。 (2)顆粒囊泡（granular vesicle）內部含有電子，為密度高且緻密的顆粒。可依照顆粒大小的不同再區分為小顆粒囊泡與大顆粒囊泡，前者的直徑約在三十到六十奈米之間，通常內含有如腎上腺素的胺類神經傳導物質；後者的直徑約在八十到兩百奈米之間，通常內含有如腦啡肽的肽類神經傳導物質。. 18.

(22) (3)扁平囊泡（flat vesicle）形狀為扁平圓形，長約五十奈米，內含有如γ-氨基丁酸的抑制性神經傳導物質。 2.突觸後部為突觸後神經元的樹突或是細胞膜，與突觸前膜對應的部分會有增厚的現象，稱為突觸後膜（postsynaptic membrane），厚度在二十至五十奈米左右，膜上具有可接受神經傳導物質的受體，兩者結合後可改變離子通道的開關，改變突觸後神經元的電位，進而把神經衝動傳遞出去。 3.突觸間隙為突觸前後膜之間的間隙，寬度在二十至三十奈米之間，含有醣蛋白等成分，與神經傳導物質結合後促使其移動的方向向突觸後膜，而不是向外擴散[8]。依突觸前、後膜的厚度不同做區分，可分為Ⅰ及Ⅱ兩類型。 1.Ⅰ形突觸（type Ⅰ）突觸後膜較突觸前膜厚，因此又被稱為不對稱突觸，其突觸囊泡為球狀，間隙約為二十至五十奈米，寬度較寬，一般認為這類型突觸是興奮性突觸（excitatory synapse），主要為軸突連結樹突的突觸。 2.Ⅱ形突觸（type Ⅱ）突觸後膜與突觸前膜厚度相當，因此又被稱為對稱突觸，其突觸囊泡為球狀，間隙約為十至二十奈米，寬度較窄，一般認為這類型突觸是抑制性突觸（inhibitory synapse），主要為軸突連結細胞體的突觸。. 2-5-2 突觸的形成神經元生成後，會由細胞體長出一條細長的軸突，在軸突前端的部分外觀如鴨樸狀，此構造稱為生長錐（growth cone），是能探測環境進而引導軸突生. 19.

(23) 長的構造，具有一些暫時性的構造，如：層狀足（lamellipodia）及絲狀足（filopodia）。生長錐藉由搜尋極探測環境中的引導因子來引導軸突往正確的方向生長，在胚胎時期，突觸的生長會受基因的控制而有一定的傾向性，所以突觸聯結的形成模式其時有特定的藍圖存在。在生長過程中，不同神經元的軸突常在相同路徑上聚集成束，一同生長，稱為聚束（fasciculation）；當軸突到達目標區域後，會分開以便進入各自的目的地，稱為分散（defasciculation）。在軸突與樹突接近後，想形成一穩定而強健的突觸結構，必須讓樹突上的刺突（spine）與軸突末端接觸，並經過一連串的交互作用後才能形成[16]。. 2-5-3 突觸的種類依功能及構造做區分可將突觸分為電性突觸（electrical synapse）及化學性突觸（chemical synapse）。 1.電性突觸此種突觸可將動作電位直接的由突觸前神經元傳遞到突觸後神經元。在神經元突觸的部位有蛋白質通道，稱為間隙連接（gap junctions），因此相鄰神經元的細胞質可相通，離子藉由此通道流至下一個神經元，因此神經衝動在相連的神經元之間傳遞沒有延遲，也維持了電位的強度。由於間隙連接內的離子流是雙向的，可讓訊號雙向傳遞，使相接的神經元活性同步化，可使大量的神經元產生同步性放電的現象。電性突觸有多樣的形式，如：大腦皮質的星狀膠細胞、視網膜的雙極細胞。 2.化學性突觸化學突觸突觸前及突觸後的兩神經元並不互相接觸，兩者之間有一狹窄的縫隙稱為突觸間隙（synaptic cleft），因此當突觸前神經元的神經衝動傳至此之後動作電位會消失於突觸間隙中，使得動作電位不會由一神經元直接傳遞. 20.

(24) 至另一神經元。神經衝動傳導至突觸前神經元的軸突末端時，其內所含許多的突觸囊泡（synaptic vesicles）中的一種化學物質稱為神經傳導物質（neurotransmitter）會釋放出來，與突觸後神經元上離子通道的受體結合後，可開啟或關閉離子通道，藉由此來影響離子對細胞膜的通透性，進而改變膜電位，使得神經衝動可以繼續傳遞下去。由以上的影響可知道化學性突觸要產生動作電位必須要有突觸前神經元釋放神經傳導物質，而突觸後神經元的受體必須接受到此神經傳導物質後才能傳遞神經衝動，所以其神經衝動的傳遞方向是單向的。且因需要透過神經傳導物質的幫助，所以會有延遲的現象。人體內大部分的突觸均為此類。. (a)電突觸. (b)化學突觸. 圖 2-13：兩種突觸構造示意圖。. 圖 2-14：化學性突觸的結構，包含了突觸前部、突觸間隙及突觸後部三部分。 (圖片來源：http://mmdays.wordpress.com/2007/11/10/action_potential/) 21.

(25) 2-5-4 突觸的可塑性突觸具有很強的變化性及可塑性，與他所接受的回饋或是經驗的累積有關。經常被使用的突觸自然會更加的穩固；而不常使用的突觸則會被弱化，因此使的強的突觸更強；弱的突觸更弱。因此一選擇性而使得大腦中大量的神經元自動的分為數千個子集合，而子集合之間也可相互的影響，其中一子集合遭到改變則其他的子集合也很有可能跟著一起產生變動。由目前的研究結果來看，普遍認為學習與記憶應與突觸的可塑性相關，被認為是解開腦神經系統如何產生學習及記憶行為的關鍵。因為學習及記憶的過程中應會使相對應的突觸不斷的被強化，而讓連結更為穩固，或是在過程中決定連結是否被留下，可進行邏輯或系統的關聯及分配。目前認為與突觸強度有關的因素包含了：突觸前膜內神經傳遞物質的儲存量、突觸前膜興奮－分泌耦合（Excitation-secretion coupling）的強度、突觸後膜上的受體的多寡及神經傳遞物質釋放後的吸收快慢。. 2-6 網路系統網路系統在日常生活中是普遍存在的，這些網路也深深的影響了我們的生活。網際網路可讓人們獲得資訊的速度加快；人與人之間的人際網路也可能成為帶原者散布疾病的途徑；而自然界中由食性關係構成的生物網可能為影響生態平衡的關鍵；而人類腦中的神經網路，由目前的研究結果推測，可能影響到學習以及記憶。雖然網路系統有著數量龐大且結構複雜的特性，使得想要了解他的結構及性質相當困難，但它對於人類的生活影響重大，因此各領域的科學家還是不斷的投入研究。. 22.

(26) 2-6-1 網路系統的探討研究人員認為，若能精確的了解並掌握網路系統的結構及動力變化機制，則可以有要的運用網路系統幫助我們解決問題，如：可抑制疾病的散布、利用生物網來了解生物的聚落發展或是網際網路的商業應用等。但網路系統具有下列幾種特性[23]使研究會比較困難。 1.結構的複雜性網路系統的結構往往影響到其功能與性質，因此了解它的結構是研究的第一步，也是最重要的一步。但網路系統中成員的數量龐大且具有相當的差異性，使得網路系統結構的分析及研究更加的困難。 2.網路的演化因為網路系統中每個成員與其他成員之間的連結及交互作用是不斷的隨時間改變及演化，因此讓網路系統更難以捉摸。如：網際網路中的網頁連結會不斷的有新的產生，而有一些舊的連結會消失不見。 3.連結的多樣性與差異性網路系統的節點與節點之間有著連結，這些連結的功用、方向性及關聯性都有所不同，因為這些細微的差異也增加了分析的困難度。如：神經網路的突觸連結對於神經衝動而言具有方向性，也具有抑制性或興奮性的作用。 4.節點的多樣性與差異性網路系統中的節點本身也有自己的性質與特性，且每個節點之間有極大的差異，因此所有的功能也有所不同。如：神經網路中突觸的強度有所不同，因此可以強化或是淘汰掉連結。 5.複雜的動態變化網路系統有其動態變化，但其變化的機制通常是非線性動力系統，使得研究的困難度增加，也讓許多網路性質難以用定量或定性的方法做分析。. 23.

(27) 2-6-2 小世界現象（small word phenomenon）小世界現象是指說假設世界上所有互相不認識的人只需要很少的中間人就可以有聯繫，又被稱為「六度分隔現象（Six Degrees of Separation）」，是 Milgram 在 1967 年利用連鎖信的實驗所發現的。想了解社區網路中人們之間連結的社會關係與實際人際網路的情形。在他成功回收的例子中，發現在社區網路中，以優化選擇的情況之下，任一兩個人之間平均最多只需要透過六個人就可以互相認識或有所關聯。2001 年時，Watts 想更確切的驗證六度分隔的現象，因此利用電子郵件再次進行連鎖信的實驗，他所得到的結果也為平均只要經過五到七人就可以將信件送到目標人物的手上。雖然各個領域的科學家對於這個現象感到有興趣，但至今未有嚴謹的證明或是具體的理論與模型做為證實，卻常常在各種網路系統中應證。小世界現象一般發生於連結數較少的網路系統中，而其發生原因通常認為是網路系統中普遍具有捷徑連結（shortcut）。在網路系統的結構中，常發現會有一些弱連結或是長連結，這些連結時常在網路系統中成為捷徑連結，使得較遠或是較疏離的節點能夠因為這些連結而快速的找到對方。再者，網路系統通常是一個高度叢集化的結構，因此可利用叢集之間的聯繫，快速的使任意節點與其他叢集的節點產生連結。由此可知，小世界現象的網路系統其連結數較少，且連結的形成有一些適當的隨機機制，不是一個有規則性的連結，才會有機會產生弱連結或是長連結。而其具備的兩特性為短路徑連結與高度叢集化的現象。研究網路系統時可透過構造的分析，利用這兩項特性來確認網路系統中是否有小世界現象的存在[22]。. 24.

(28) 第三章研究方法. 3-1 The Hodgkin-Huxley Model 1952 年由 Alan Hodgkin 及 Andrew Huxley 提出，他們利用一個簡單的模型描述了動作電位與離子電流之間的關係，即為 Hodgkin-Huxley Model （HH model） [17]。 3-1-1The HH model I ( t) = I. ( t) + C. dV(t) dt. (3.1). 其中 Im 是單位面積細胞膜通過的電流，Iion 是單位面積細胞膜通過的離子電流，V 是膜電位，而 Cm 是單位面積細胞膜的電導。而其中 Iion 又包含了主要的兩種離子電流，鈉離子電流（INa）與鉀離子電流（IK），以及一些較微弱的離子電流（Ileak），因此 Iion 可寫為： I. =I. +I +I. Hodgkin 及 Huxley 利用四組並聯電路來描述細胞膜上電位與離子電流的關係，其中膜電容（Cm）與微弱的離子電流（Ileak）為被動項，而與時間及膜電位有關的鈉離子電流（INa）與鉀離子電流（IK）是整個模型當中最主要的調變項。在 HH model 中，動作電位與離子電流的關係可用圖 3-1 來做表示。圖中將四組電流路徑並聯，動作電位可由離子電流調變，其中 Ina 及 IK 兩項為主要的調變項，與時間及膜電位皆有關係，而另外兩項則為被動項。. 25.

(29) 圖 3-1：HH model 電路示意圖，利用四組並聯的電路來表示細胞膜電位及離子電流的關係[7]。. 3-1-2 離子電流由上面可以知道離子電流在 HH model 是相當重要的，特別是鈉離子電流及鉀離子電流。而每個離子電流必須遵守歐姆定律，因此可以寫成共通的形式。 I = G (V(t), t)(V(t) − E ). , i = K, Na, leak. (3.2). 其中 Gi 是與電壓有關的離子電導，Ei 是 ionic reversal potential。 Hodgkin 及 Huxley 引用了 gating particles 來描述離子電導（Gi），可利用這個因子來調變離子電導率的變化，因此可利用此來描述離子通道的狀態及其活性變化。而 gating particles 又可分為 activating 及 inactivating 兩種。 1.鉀離子電流 Hodgkin 及 Huxley 假設鉀離子電流為： I = G n (V − E ). (3.3). 其中G 為 maximal potassium conductance，n 為 activating gating particle，而 EK 是 potassium battery。. 26.

(30) 假設鉀離子通道的狀態只有兩種，open 及 close，若 open 的狀態機率為 n，則 close 的狀態機率就為 1-n，這兩種狀態之間變化的關係可簡單表示為： β. → n 1−n ←. (3.4). α. 其中的 αn 與 βn 為與電壓有關的比例常數，前者表示由 close 的狀態轉換到 open 狀態的數量；則後者表示由 open 的狀態轉換到 close 狀態的數量。此種變化可由一個一階的常微分方程表示： dn = α (V)(1 − n) − β (V)n dt. (3.5). 將上式解出，可得到： n = n∞ − (n∞ − n )e(. τ ). (3.6). 其中的 n∞、τn 及 n0 分別為： α α + β. (3.7). α (0) α (0) + β (0). (3.8). n∞ = n =. τ =. 1 α + β. (3.9). Hodgkin 及 Huxley 根據實驗的測量，分析電壓與比例常數的關係取近似值得到 αn 及 βn 與電壓的關係如下： α =. 10 − V 100(e. − 1). β = 0.125e(. ). (3.10). (3.11). 2.鈉離子電流同樣地由 Hodgkin 及 Huxley 假設，鈉離子電流為： I. = G m h(V − E ). 其中G 為 maximal sodium conductance，m 為 activating gating particle，h 為 inactivating gating particle，而 ENa 是 sodium battery。 27.

(31) 相同的，可以寫下 m 及 h 的一階常微分方程為： dm = α (V)(1 − m) − β (V)m dt. (3.12). dh = α (V)(1 − h) − β (V)h dt. (3.13). 分別解出上兩式可得： m = m∞ − (m∞ − m )e( h = h∞ − (h∞ − h )e(. τ ) τ ). (3.14) (3.15). 其中的 m∞、τm、m0、h∞、τh 及 h0 分別為： m∞ =. α α + β. (3.16). τ =. 1 α + β. (3.17). α (0) α (0) + β (0) α h∞ = α + β. m =. τ =. 1 α + β. (3.19) (3.20). α (0) α (0) + β (0). h =. (3.18). (3.21). 根據實驗的測量，取近似值得到 αm 及 βm、αh 及 βh 與電壓的關係如下： 25 − V. αm =. 100(e. 25 V 25. − 1). V ) 18. βn = 4e(. αh = 0.07e(. V ) 20. (3.22). (3.23) (3.24). 1. βh = e. 30 V 10. (3.25) +1. 最後整個 HH model 可以寫成： Cm. dV = GNa m3 h(ENa − V) + GK n4 (EK − V) + Gm (Vrest − V) + Iinj (t) (3.26) dt 28.

(32) 其中的 Iinj 是入射到細胞內的電流大小。[7,17,18] 由於上式為一個非線性的常微分方程，無法得到精確的解，因此使用 Euler method 對此方程式作近似，可得到： Vtm Δt = Vtm +. Δt t I Cm inj. (3.27) t 4. − GK (n ). Vtm. t 3 t. − EK + GNa (m ) h. Vtm. − ENa +. GL Vtm. − Vrest. 由上面的式子可知，只要給定時間 t 時的 Vm、n、m 及 h 就可算出時間 t+Δt 時的膜電位，而此種近似的精確度與 Δt 選取的大小有關，若 Δt 選定的越小，則近似值會更精確。. 3-2 神經網路神經網路有兩個時間尺度，一個是神經元之間建立連結的常時間尺度，以小時為單位；另一個是神經元利用激發來彼此溝通的短時間尺度，以毫秒(ms) 為單位。在此考慮一個二維的神經網路系統，將 N 個神經元以隨機的方式分布在一個 L×L 的基質上，神經元突觸之間會隨著時間的演進而隨機產生連結，再透過刺激部分的神經元而使得整個神經網路可以透過突觸的連結來互相傳遞訊息，透過學習效應可改變連結的強度，由此建構出神經網路的運作機制。 3-2-1 突觸的連結設定兩個神經元之間形成連結的機率： P=. K rαij. (3.28). 神經元以隨機的模式尋找，以上式的機率來決定連結是否形成，其中 rij 為第 i 個神經元與第 j 個神經元之間的距離；α 為隨機尋找的機制參數；K 與網路的活躍度及密度相關，為了方便起見設為常數，在此設定 K=0.005[4]。不同的 α 連結傾向也不同，圖 3-2 中表示了不同的 α 在不同連結長度下的連結. 29.

(33) 機率，由圖中可以看出在 α<1 時，連結長度較長時連結機率較 α>1 時還要大；連結長度較短時連結機率較 α>1 時還要小，而 α=1 時連結機率不受 α 的影響。. 圖 3-2：K = 0.005，不同的 α 在不同連結長度下的連結機率。. 3-2-2 突觸的可塑性 1949 年，Donald Hebb 描述突觸前及突觸後的神經元個別 firing 時間對兩突觸之間連結強度的影響關係，提出 Hebbian Learning Rule。 Hebb 說明了突觸前後神經元被激發的時間對於突觸性質變化的影響。當突觸前神經元 i 連到突觸後神經元 j，兩神經元之間的突觸強度變化只與他們產生神經脈衝的時間有關：若突觸前神經元 i 產生脈衝的時間早於突觸後神經元 j，則由 i 連到 j 的突觸連結強度就會增強；反之，若突觸前神經元 i 產生脈衝的時間晚於突觸後神經元 j，則由 i 連到 j 的突觸連結強度就會減弱[19]。但近年來根據實驗結果顯示，Hebbian Learning Rule 是需要做一些修正。實驗的結果發現突觸強度的變化在時空上是不對稱的[20]，也因此建立了突觸前後神經元的脈衝引發的 long-term potentiation (LTP)與 long-term depression (LTD)變化的時間視窗（critical windows of spiking timing）的概念，可由其中變化的情形看出兩者之間的關連。 30.

(34) 此種關聯性在 1998 年由 Bi 及 Poo 整理了研究的結果，得到兩個神經元產生神經脈衝時間差與興奮性突觸後電流(excitatory postsynaptic currents， EPSC)的影響關係，並提出了 spike-timing-dependent plasticity (STDP) rule，修正了 Hebbian Learning Rule[21,26,27]。 STDP rule 說明了突觸連結強度隨時間變化的關係[24,30]： Δwij (Δt) =. A e Δt/τ −A e Δt/τ. Δt > 0 Δt < 0. (3.29). 其中的 Δt 為突觸後神經元激發時間與突觸前神經元激發的時間差，τ+及 τ-代表突觸前後時間差的範圍，而 A+及 A-代表突觸突觸強度增強或減弱的最大值。而在許多實驗中也可看到 STDP rule，如：新皮層（neocortical）切片、海馬迴（hippocampus）切片、海馬細胞（hippocampal cell）培養[1]等。另外在 mormyrid electric fish 的 electrosensory lateral line lobe 實驗中，也發現了 anti-STDP 的現象[2]，因此在我們的研究當中也使用 anti-STDP rule 來對神經網路做研究，其對突觸強度的影響相反於 STDP rule[25,30]，寫為： Δwij (Δt) =. −A e Δt/τ A e Δt/τ. Δt > 0 Δt < 0. (3.30). 3-2-3 神經元激發的同步性神經元活動的同步性在腦中是扮演著極為重要的角色，可以使腦中的某一個群體更加的穩固[29]，為了瞭解神經元之間的同步性，在此利用 time correlation(Cij)來定義兩個神經元 i 及 j 是否同步被激發[3]： Cij ≡ ⟨[vi (t) − ⟨vi (t)⟩] vj (t) − ⟨vj (t)⟩ ⟩. (3.31). 其中〈〉表示對時間的平均。當兩個神經元 i 及 j 都有被激發且 Cij > 0.2 時，此時這兩個神經元即為同步。再利用此定義一個 order parameter，計算在整個神經網路中 Cij > 0.2 的個數，再與整個神經網路的最大連結數做比值，其大小可顯示整個神經元網路的同步性是否良好。Order parameter 的大小介於 0 到 1 之間，若 order parameter = 1 時，表示整個神經網路中的神經元幾乎是同步被激發的。 31.

(35) 第四章結果與討論. 4-1 神經網路的連結突觸的連結是屬於一個長時間的尺度模擬，是整個神經網度系統建構的第一步，也是最重要的一步，因為其連結的情況會影響整個腦神經網路的結構及其運作功能。首先先將個數(N)為 50 個的神經元以隨機的方式分布在邊長(L)為 100 的正方形基底上，依不同的隨機尋找機制來探討連結過程。在此使用了三種不同的尋找機制模擬，α=0.5、1 及 2，對於不同的 α 而言，其連結傾向也不同，α=1 時是隨機的連結；α<1 時喜歡產生較長的連結；α>1 時則不喜歡產生較長的連結[3]。探討整個神經網路連結數目與其花費時間的關係，在此每一步計算時間為 0.02 小時，如圖 4-1 所示。圖 4-1(a)為 α=0.5 時神經網路生長時間與連結數的關係圖，由圖中可看出神經網路的連節數達到 2400 時所花費的時間不到五天；圖 4-1(b)則是 α=1 時的關係圖，可發現連結數達到 2400 時所需花費的時間將近四十天；而圖 4-1(c)可知當 α=2 時連節數要達到 2400 需超過三千天的時間，由此可看出當 α 值越大時，神經元之間越難形成連結。而無論是 α=0.5、1 或 2 其連結數目與花費的時間都近似於一個對數的圖形，也就是當一開始每個神經元之間都尚未形成連結，因此要找到未形成突觸連結的神經元速度較為快速。到後期時，因連結數增多且剩較長距離的突觸連結，因此要找到尚未形成突觸連結的神經元較為困難，所花費的時間也就相對的較長。. 32.

(36) (a)α = 0.5. (b)α = 1. (c)α = 2 圖 4-1：在 time step T0 = 0.02hr 時，不同隨機尋找機制，其建立突觸數目所需時間關係圖。. 33.

(37) 除了不同的尋找機制，另外也對不同分布密度的網路系統做連結數目與花費時間的研究，並得到圖 4-2 的結果。. (a) α = 1 不同分布密度下網路成長時間圖. (b) α = 2 不同分布密度下網路成長時間圖. (c) α = 0.5 不同分布密度下網路成長時間圖圖 4-2：在 time step T0 =0.02hr 時，不同隨機尋找機制及分布密度下網路成長時間的關係圖。. 在此定義當分布區域為 100×100，神經元數目為 50 時的分布密度(D)為 1，然後改變其分布密度對網路的連結作模擬。圖 4-2(a)表示在 α=1 時其密度與產生突觸連結時間的關係，可發現當密度越小時所用掉的時間相對的比較多，且連節數越多差值越大；相同的圖 4-2(b)及(c)分別表示 α=2 及 α=0.5 時其密度與產生突觸連結時間的關係，也可看出密度小時時間就長。因為當密度小時，表示神經元所散布的範圍較為廣泛，因此一個神經元想要找到另一個神經元當然的需要花較多的時間；反之密度較大的時候神經元多聚集在一起，因此很容易找到對方而形 34.

(38) 成連結，因此，無論 α 的值為何，都可以看出當分布密度越大時，神經網路的突觸連結速度會越快。. (a)α = 1 密度(D)與時間(T)的關係圖. (b)α = 2 密度(D)與時間(T)的關係圖. (c)α = 0.5 密度(D)與時間(T)的關係圖圖 4-3：在 time step T0 =0.02hr 時，固定連結數目，不同隨機尋找機制及分布密度下網路成長時間的關係圖。. 將突觸連結數達到 1000、1500、2000 及 2400 所需要的時間對密度做圖，可發現如圖 4-3(a)，α=1 時其聯結產生的時間(T)與密度(D)呈現T~D. .. 的關係；. 而圖 4-3(b)可以看出當 α=2 時其聯結產生的時間(T)與密度(D)呈現T~D 的關係；而在圖 4-2(c)可看出在 α=0.5 時，其聯結所需的時間(T)與密度(D)呈現T~D. 0. 5. 的. 關係[4]。歸納上面的結果可以得到連結時間與密度的關係和隨機尋找機制的參數關係為T~D 。另外以 α=1 的尋找機制，將神經元以四種不同的形式，uniform、center、side 35.

(39) 及 outer 分布在基質上進行模擬，如圖 4-4(a)所示，其中除了 uniform 之外，其他三者的分布密度皆相同，僅有分布區域形狀不同。如圖 4-4 中的結果可知，當神經元分布的越集中，如 center 的情形時，其突觸連結形成的機會較高，所花費的時間也較短，相反的，若分布情形在基底的外圍，如 outer 的情形，因為突觸之間比較不容易尋找到彼此，因此所需要的時間也較長。由此可知神經元的分布情形也會影響到突觸連結的時間。 L. L. 0.5L. 0.5L. uniform. 0.75L. L. 0.87L. 0.87L. center. side. outer. (a)神經元四種不同分布方式示意圖，斜線部分代表神經元分布的範圍。. 圖 4-4：(b)在四種不同分布類型，α=1，time step T0=0.02hr 時，形成的突觸連結數目與時間關係圖。. 接著在 α=1，神經元數目為 100 個的情形下，計算神經元形成突觸連結的數目，在此分別計算第 i 個神經元連結到其它神經元的連結數目 Nciout、其他神 36.

(40) 經元連至此神經元 i 的數目 Nciin 及此神經元 i 的連結總數 Nci = Nciout + Nciin，分別得到下面的圖 4-5、圖 4-6 及圖 4-7。. (a)Nc = 2000、4000、6000 及 8000。. (b)峰值與連結數目關係圖圖 4-5：α=1，神經元個數 N=100 時，由其他神經元連至第 i 個神經元的突觸數總和 Nciin。 37.

(41) (a)Nc = 2000、4000、6000 及 8000。. (b)峰值與連結數目關係圖圖 4-6：α=1，神經元個數 N=100 時，由第 i 個神經元連至其他神經元的突觸數總和 Nciout。. 38.

(42) (a)Nc = 2000、4000、6000 及 8000。. (e)峰值與連結數目關係圖圖 4-7：α=1，神經元個數 N=100 時，由第 i 個神經元總突觸數總和 Nci。. 39.

(43) 圖 4-5 表示 α=1 時由其他神經元連至第 i 個神經元連結數與產生這些連結數的神經元個數關係圖。圖 4-5(a)中的分部類似於高斯分布，因此採用高斯函數進行分析及比對，在圖 4-5(a)當中，整體的連結數只有 2000 個，此時高斯分部的峰值落於 20 附近，也就是說對大多數的神經元而言，由其他神經元連入的連結數約有 20 個；而來自於外部的連結數在整體連結數增為 4000 時也跟著增長，其對大多數的神經元 i 而言，數量約為 40 個；可以得到：連結數增加，外部來的連結數也跟著增長，就大多數的神經元而言，整體連結數增加 2000 時，其連結數也增加 20。整體而言，高斯分布是隨著整體連結數的增加而向較大向內連結的連結數的移動，因此取各個高斯分布的峰值與其對應的整體連結數做圖 4-5(d)，可明顯的看出呈現線性的關係。而圖 4-6 表示 α=1 時由第 i 個神經元向其他神經元產生連結的連結數與產生這些連結數的神經元個數關係圖。相同的由圖 4-6(a)中分部類似高斯分布，因此利用高斯分布比對。在圖 4-6(a)中，對於大多數的神經元而言，當整體連結數為 2000 時，向外連結的數量大約為 20 個，不同連結數相互比較下可發現，當整體連結數增加 2000 時，對大多數的神經元而言，向外的連結數也增加 20 個，且高斯分布是隨著整體連結數的增加而整體往向外連結數大的方向移動。相同的將高斯分布的峰值與對應的整體連結數做圖 4-6(b)，可發現仍是一線性關係。將第 i 個神經元所有的連結，包含了向內連結及向外連結，對其對應的個數做圖，結果如圖 4-7 呈現。因為對於第 i 個神經元的總連結數是向內連結數與向外連結數的總和，因此對於大多數的神經元而言，總連結數的大小與前面相比會大了一倍，如圖 4-7(a)，整體連結數為 2000 時，對於大多數的神經元而言他們有 40 個左右的連結。同樣的可看出當整體連結數增加 2000 時，大多數的神經元總連結數增加 40，增加的數量為先前兩種情況的兩倍。但其分布情情仍為高斯分布，且會隨著整體連結數的增加而往較大的總連結數方向移動，對其峰值做圖 4-7(b)則可看到依然為一線性關係。. 40.

(44) 因此，無論是向內連或向外連的突觸連結，其連結數都呈現高斯分布的情形，因此利用高斯函數進行分析及比對，可以得到吻合的結果，也代表了我們選用的這種生長機制可使突觸連結呈現高斯常態分布。接下來，利用最短路徑 L 來表示網路中任意兩個節點會產生連結的最少連結數量，由此可探討兩節點之間的關聯性，最短路徑直 L 越小則代表兩節點之間的關聯性越高。. (a) Nc = 200。. (b) Nc = 300。. (c) Nc = 500。. (d) Nc = 800。. 圖 4-8：α = 1、N=50 時，節點之間最短路徑統計圖。. 首先對於節點數相同、連結數不一樣的情形做探討，當網路中整體連結數較少時，要尋找到另一神經原則需要透過較多的節點，也就是其最短路徑值要較 41.

(45) 大，如圖 4-8(a)，當整體連結數為 200 時，大多的節點要尋找到目標節點時，最短路徑為 3，也就是必須透過兩個節點才能達到目標，且最長的最點路徑值為 9，代表要找到目標節點中間必須透過其他 8 個節點。而當整體連結數增為 300 時，如圖 4-8(b)，大多數節點的最短路徑值落於 2，也就是只需透過一個節點就能找尋到目標，且最長的最短路徑值下降至 6，代表只需透過 5 個其他的節點就能找尋到目標。圖 4-8(c)則為整體連結數達到 500 時的最短路徑統計，可發現此時最短路徑長為 2 的連結大幅的上升，也就是大部分的節點只需要經過另一個節點就能找到目標，且在此時要找到目標最多也只需透過另外三個節點了。當整體連結數上升到 800 時，如圖 4-6(d)所示，可發現最短路徑長為 1 的連結明顯的上升，也就是他們可以直接找尋到對方而不需要透過任何的節點。因此，當連結數較少時，其相互的關聯性較為薄弱，而連結數增多時，其相互的關聯性也會逐漸的增強。另外，也對於節點的數目不同但連結比率都約為最大連結數的 20%的情形做探討。在圖 4-9(a)中，即便此時的節點數量只有 10 個，但仍有非常大的最短路徑長存在，高達 7，也就是要找到目標的節點仍需要透過其他六個節點。而圖 4-9(b)及(c)則是結點數為 20 及 25 的情形，可發現最大的最短路徑長仍為 7，但較短的最短路徑長數量卻明顯的上升了。而節點數更多時，如圖 4-9(d)可發現在所有節點中最多也只需透過 4 個節點就能找尋到目標節點。可得到當節點數目較少時產生的最短路徑也較長；節點數較多的系統其最短路徑也較短。因此，即使連結的比率相同，節點數目較少的網路系統其節點之間的關係也較為薄弱。. 42.

(46) (a) N = 10。. (b) N = 20。. (c) N = 25。. (d) N = 50。. 圖 4-9：α = 1、連結數約為最大連數的 20%時，節點之間最短路徑統計圖。. 為了描述各節點之間的關聯性，我們定義了 clustering coefficient (C)，利用連結某一節點 i 的其他節點之間的連結數與這些節點的最大連結數做比值來定義，因為神經網路系統的連結為雙向的，因此可以寫成C =. ∑, (. ). 。其中 j、k 為. 與節點 i 產生連結的節點，ki 為與節點 i 產生連結的所有節點數量，而 ejk 表示節點 j 與 k 產生連結與否，當 ejk = 1 時表示兩節點之間有產生連結；ejk = 0 時表示兩節點之間沒有產生連結。利用此一方式對α = 1、N = 50 的網路系統進行計算，結果如圖 4-10 所示。圖 4-10(a)為連結數達 200 時的情形，可發現 Ci 的最大值約為 0.5 而最小則為 0， 43.

(47) 分布是較廣泛且鬆散的，也代表的此時的叢集現象較不明顯、節點之間的關係較為疏離；當連結數增為 300 如圖 4-10(b)顯示的，發現其 Ci 的值分布範圍在 0 到 0.3 之間，與圖 4-10(a)的情形相比較之下是較為集中的；在圖 4-10(c)中，連結數來到了 500，Ci 的分布也更為的緊密；而連結數達到了 800 時，如圖 4-10(d)，除的 Ci 的值分布較為緊密外，其值的大小也變大了，也就是其產生叢集的現象較為明顯，節點之間的關係較為密切。由此，當連結數增加時，Ci 的大小也會增加，由此可知個節點之間的關聯性是越來越密切的。. (a)Nc=200. (b)Nc=300. (c)Nc=500. (d)Nc=800. 圖 4-10：α = 1，N = 50 clustering coefficient 統計值。 44.

(48) 表 4-1 是在不同的連結機制下，不同連結數最短路徑的平均值。其中 random 與連結的長度無關，在相同的 α 值，最短路徑會隨著連結數的增加而減少，也就是隨著連結數的增加，各節點之間的關係會越來越緊密。若以相同的連結數而言，在連結數較小的情形下，可發現最短路徑值的大小會隨著 α 增加而增加，顯示了當 α 值較小時形成長連結的機會比較多，因此使得結點之間的關係較為緊密。但隨著連結數的增加，長連結的影響變小因此這種現象就會消失。 200. 300. 500. 800. 900. 1000. 1500. Random. 2.8423. 2.3186. 1.8927. 1.6744. 1.6315. 1.5905. 1.3869. α=0.5. 2.8796. 2.3380. 1.9000. 1.6764. 1.6331. 1.5918. 1.3877. α=1. 2.9062. 2.3610. 1.9149. 1.6796. 1.6340. 1.5921. 1.3877. α=2. 3.1170. 2.4917. 1.9879. 1.6938. 1.6413. 1.5947. 1.3878. 表 4-1：節點數量 N=50，不同 α 值在不同連結數下，節點之間最短路徑平均值。. 而表 4-2 則是統計了 clustering coefficient 在不同的連結機制下的平均值，在這個表格當中可以看到類似於最短路徑的結果：在相同的 α 值下，clustering coefficient 會隨著連結數的增加而增加；而在相同的連結數下，小的連結數的 clustering coefficient 會隨著 α 值增加而增加，但當連結數夠大時，α 的值就不太會影響到 clustering coefficient。一樣的表示連結數增加會使得結點之間的關係變得較密切，且 α 值較有時較容易形成長連結而使得結點之間有較為緊密的關係。 200. 300. 500. 800. 900. 1000. 1500. random. 0.0953. 0.1354. 0.2042. 0.3328. 0.3735. 0.4108. 0.6124. α=0.5. 0.0955. 0.1449. 0.2101. 0.3273. 0.3687. 0.4123. 0.6134. α=1. 0.1104. 0.1491. 0.2181. 0.3379. 0.3808. 0.4205. 0.6204. α=2. 0.2049. 0.2507. 0.3116. 0.4057. 0.4293. 0.4642. 0.6413. 表 4-2：節點數量 N=50，不同 α 值在不同連結數下，各節點的 Ci 平均值。. 45.

(49) 4-2 神經網路的同步性雜訊在非線性系統中所引起的現象是一直被關注的，如：隨機的共振、共振的一致性或是雜訊所引起的同步性等[28]。我們利用雜訊來使得神經元可以有自發性的興奮。神經雜訊在過去數十年來已被仔細研究了，可以使神經在沒有訊號輸入下也有興奮的現象，也就是自發性活動。而且雜訊在神經放電的活動中非常常見，且對非線性的神經系統有極為重要的影響。但對於實驗或是理論模型的建立上，辨別雜訊的來源都是一個挑戰，因為這個雜訊的來源可能來自於訊號產生時、來自於其他系統甚至來自於其他的時空。細胞內本身雜訊的來源為遺傳及代謝，雖然已被發現數十年之久，但他們對於神經元興奮的關連性幾乎沒有被探討到，研究者反而對更快時間尺度下的雜訊感到有興趣，如：離子通道雜訊、突觸雜訊、整個神經元因經過離子通道的電流而產生的雜訊、神經網路由有活性的神經元引起的雜訊及在大腦節律中數百萬個神經元進行交互作用所產生的雜訊。其中雜訊的主要來源為突觸雜訊，也就是由其他細胞所產生的雜訊，是由神經傳遞物質及突觸強度變化所引起。[5] 因此，雜訊的的模型建立一般會從 HH model 中的 gating particles 中去做改變，也就是改變其電導[6]。或者若想維持電導，則可外加 Gaussian white noise 當作雜訊[5]。接下來的模擬中，會將雜訊直接加於膜電位上，使膜電位有一個微小的變化，而雜訊是利用 Gaussian white noise 所產生，強度大小為 w = 0.25mV。因此使用的雜訊式子可寫成： noise =. −2w log(rand) cos (2π ∙ rand). (4.1). 而雜訊對整體的影響可寫為： V. =V +. Δt I C. − [ G (n ) (V − E ) + G (m ) h (V − E ). + G (V − V. (4.2) )] + noise 46.

(50) 在神經網路的模擬中，分別利用兩個學習機制，STDP 及 anti-STDP，來觀察其突觸強度的變化及同步性現象的產生。神經尋找的機制採用α=1，神經網路成長的時間每一步為 0.01 個小時，神經元產生興奮彼此溝通的時間每一步則為 0.01 毫秒。在我們的模擬中可分為兩個時期：第一個時期為 learning phase，為模擬的前兩秒，在此時學習效應會被啟動，也就是突觸連結的強度會因神經元產生興奮而有所改變；第二個時期為 recall phase，為模擬的後三秒，此時學習效應被關閉，突觸的強度不再因神經元產生興奮而有所改變。. 4-2-1 STDP rule 此時 STDP 學習規則中，選定 A+ = 0.0012、A- = 0.0005、τ+ = 10msec 及 τ- = 9.5msec，如圖 4-11 所示。而圖 4-12 則是神經元在基底上分布的情形。. 圖 4-11：A+ = 0.0012、A- = 0.0005、τ+ =. 10msec 及τ- = 9.5msec 時，STDP 在不同. 的時間間隔下，突觸強度示意圖。. 47.

(51) 圖 4-12：配合 STDP rule 的神經元分布情形。. 利用前面所定義的 Order parameter 觀察神經網路連結數不同時同步激發的情形。如圖 4-13(a)，當連結數目太小時，如 Nc=100、500、1000 及 1500，整個神經網路呈現 random firing 的現象，order parameter 的大小幾乎沒有改變；當連結數稍大時，如 Nc=1700，此時開始出現一些同步的現象，但不是很穩定，因此在 recall phase 時，order parameter 有忽大忽小的現象；而當連結數成長至 1800 以上後，如圖 4-13(b)，同步的狀況趨於穩定。在 recall phase 時，連結數為 1800 的神經網路其 order parameter 大小約在 0.7，也就是大概有 70%的神經元有同步的現象；而連結數為 1900 的神經網路 Order parameter 則落在 0.85 左右，大概有 85%的神經元有同步的現象；連結數為 2000 的神經網路其 order parameter 大小則在 0.95 處，約有 95%的神經元同步；當連結數達到 2100 以上時，其 order parameter 皆為 1，代表所有神經元皆同步產生興奮。將第三至第五秒之間 order parameter 的平均對連結數做圖，如圖 4-13(b)的插圖，可以發現其平均是隨著連結數呈現一線性成長，直到 order parameter 的大小為 1 時。由此可知道神經網路同步性的良好與否與其連結數有關係，當連結數越大時，同步性就會越良好且越穩定。. 48.

(52) (a)在連結數為 100、500、1000、1500 及 1700 時 Order parameter 隨時間的變化。. (b)在連結數由 1800 到 2400 時 Order parameter 隨時間的變化。圖 4-13：A+ = 0.0012、A- = 0.0005；τ+ = 10 (msec)、τ- = 9.5 (msec)，在 STDP 學習規則下，Order parameter 在不同連結數時，與時間的變化關係。 49.

(53) 對於同步性的產生導致 order parameter 的變化可在圖 4-13(b)中看到，連結數為 2400 的線條在時間在 0.7 秒時 order parameter 會開始向上升約到 1.4 秒時開始趨於穩定且有良好的同步情形；而連結數為 2000 的線條則在時間在 1.3 秒時 order parameter 會開始向上升約到 2 秒左右開始趨於穩定；相同的，連結數為 1800 的線條在時間在 1.6 秒時 order parameter 會開始向上升約到 2 秒左右開始趨於穩定。對照在 learning phase 時平均突觸連結強度的變化，圖 4-14，可以發現連結數為 2400 的神經網路在 0.7 秒時其強度大約為 0.04；連結數為 2000 的神經網路在 1.3 秒時其強度大約為 0.04；而連結數為 1800 的神經網路在 1.6 秒時其強度大約為 0.04，也就是當突觸連結強度大於 0.04 時，神經網路會開始有同步性。除此之外，也可以在圖 4-14 中看出，平均的突觸強度是隨著時間增加而增加的，且連結數越多的神經元增長的幅度越大，代表了連結數越多時學習效應對神經網路的影響是較為顯著的。. 圖 4-14：A+ = 0.0012、A- = 0.0005；τ+ = 10 (msec)、τ- = 9.5 (msec)，在 STDP 學習規則下，不同連結數，神經網路平均突觸強度隨時間的變化。 50.

(54) 而圖 4-15 是計算不同連結數下的 cluster coefficient，呈現出的結果與前面討論的相同，當連結數越大，cluster coefficient 也就越大。而插圖則是在相同連結數下平均所有神經元所得到的結果，可以發現 cluster coefficient 是隨連結數呈現性成長。由此可知道，當整個神經網路的叢集現象越明顯，則同步性的現象就會越好。. 圖 4-15：STDP 學習效應下，不同連結數的 cluster coefficient。. 將個別神經元產生興奮的時間記錄於圖 4-16 中，由圖 4-16(a)、(b)及(c)可以觀察到當連結數為 1800、1900 及 2000 時神經元會分為兩組產生同步的現象，且連結數越小，如圖 4-16(a)，則同一組中個別神經元產生興奮的時間落差較大、較為分散；當連結數逐漸增加時，如圖 4-16(b)及(c)可看到同一組神經元興奮的時間會越來越相近。當連結數增加到 2100 之後，如圖 4-16(d)所示，可以發現原本分為兩組的神經元合併成為一組，且與前面較小的連結數相比，興奮的時間更為一致了，若再繼續增加連結數，會發現時間的差異越來越小，當連結數達到 2400 時，如圖 4-16(g)所呈現的，所有的神經元幾乎同步興奮。由此可知，連結數越大會使整個神經網路趨向越穩定的狀態。. 51.

(55) (a) Nc = 1800。. (b) Nc = 1900。. (c) Nc = 2000。. (d) Nc = 2100。. (e) Nc = 2200。. (f) Nc = 2300。. (g) Nc = 2400。圖 4-16：A+ = 0.0012、A- = 0.0005；τ+ = 10 (msec)、τ- = 9.5 (msec)，在 STDP 學習規則下，不同連結數時，在 4.9 到 5 秒間個別神經元興奮時間記錄。 52.

(56) (a)STDP 學習效應下，連結數為 1800 時，兩個神經元產生類似的動作電位。. (b) STDP 學習效應下，連結數為 1800 時，兩個神經動作電位峰值交錯出現。. (c) STDP 學習效應下，連結數為 1800 時，兩神經元動作電位由相同變為交錯。. (d) STDP 學習效應下，連結數為 2400 時，兩個神經元產生類似的動作電位。圖 4-17：個別神經元膜電位變化的紀錄。 53.