∑
S1
S2
C S
W
輸入狀態變數
索引指標記憶體
實際記憶體
輸出值
期望值 誤差平均分配
_
+
yˆ y
映射 映射
2.3 小腦模型控制器之理論背景
1969 年,Marr 提出小腦皮質(Cerebdlar Cortex)的模型,在 1975 年 Albus 根據 Marr 基本模型發展一套小腦模型(Celebellar Model Articulation Control ; CMAC)的數學模式,由於此模式具有快速學習與一般化的能力,
引發許多不同領域的研究人員對此作深入的研討。目前有關小腦模型應用 方面,用於機械手臂控制,自我學習控制等。
基本上,小腦模型是一種仿效人類小腦皮質分層的架構而來,我們將 小腦皮質層區分三層由外而內,依序為分子層(Molecular Layer)、細胞層、
(Purkinje Cell Layer)及粒狀層(Granular Layer)儲存訊息,小腦利用這 三層儲存在各部份傳入纖維所得訊息,然後由小腦的傳出纖維傳出訊息。
2.3.1 小腦模型控制器基本架構
圖 2-24 小腦模型基本學習架構圖
0 1 2 3 4 5 6 7 8
A B C
D E F
G H I
a c c
b
d e f
g h i
0 1 2 3 4 5 6 7 8
J K L
j k l
1 2 3 4 5 6 7 8 9
10 28 37 46 55 64 72
Ee Hh
Kk
Bb State(4,4)
S1
S2
19
Q1
Q2
Q3
Q4
小腦模型是仿效人類小腦皮層儲存資料的架構而來,在學習過程中,
必須先行規劃記憶體空間,再依據記憶體內容與期望值之差回饋修正記憶 體內容,達到記憶體內容符合期望值,藉以達到類似人類學習記憶增強之 效果。每一學習參考狀態(reference state)必須量化成數值,並且對應不 同索引指標記憶體,索引記憶體儲存真實記憶體的位址,讀取真實記憶體 內容資料,轉化為一組真實輸出訊號,而輸出信號與期望輸出的差異,回 授到真實記憶體作內容修正調整。如此週而復始直到輸出信號與期望輸出 的差異收斂到一個容許誤差範圍內才完成學習。
小腦模型是一種編碼查表方式得到輸出訊號,具有學習收斂速度,比 類神經網路快,每學習一個樣本時,才影響鄰近真實記憶體內容值。而倒 傳遞類神經網路,再學習一樣本影響整個真實記憶體都要重新學習過,花 費許多時間。
2.3.2 小腦模型控制器記憶體分割
圖 2-25 二維小腦模型記憶體等量分割
每一個變數 s 可以不同方法分解為數個區段(block),每一區段又包含
許多個元素(element),不同的分區段分割方法,使每一層每一個區段位移 一個或多個元素,以(S ,1 S )狀態變數為例子,每一參考狀態變數都被量2 化成 3 個區段,每一個區段被量化 4 個間隔(元素),分割小腦模型記憶體 單元的劃分,將會影響小腦模型學習結果的普遍能力 ,適當劃分參考狀 態,將會增加 CMAC 模型輸出精確程度,以(S ,1 S )來說明小腦模型如何2 對應到不同的超立方塊及量化層,第一層量化層由{Aa,Ab,Ac,Ba,Bb,
Bc,Ca,Cb,Cc },9 個超立方塊所組成,共有四層量化層,每一層有 9 個超立方塊,共有 9*4=36 個超立方塊,量化層與超立方塊的關係表如 下所示:
表 2-2 量化層與超立方塊之關係 層 數 超 立 方 塊
第一層(Q )1 Aa Ab Ac Ba Bb Bc Ca Cb Cc 第二層(Q )2 Dd De Df Ed Ee Ef Fd Fe Ff 第三層(Q )3 Gg Gh Gi Hg Hh Hi Ig Ih Ii 第四層(Q )4 Jj Jk Jl Kj Kk Kl Lj Lk Ll
以參考狀態(4,4)為例,該組參考狀態對應第一層量化層超立方塊 Ba 及 第二層量化層 Ee 超立方塊,第三層量化層 Hh 超立方塊,第四層量化層 Kk 超立方塊,對應到 4 個不同超立方塊,映至到第 5,14,23,32 個記憶 單元,Ba 超立方塊對應到參考狀態(4,4) (4,5) (4,6) (4,7) (5,4) (5,5) (5,6) (5,7) (6,4) (6,5) (6,6) (6,7)共 12 個參考狀態,任一組參考狀態(S ,1 S )均會對應2 至每一層量化層之某一個超立方塊。
小腦模型就是將這些超立方塊作為記憶單元的位址,每一個參考狀態 的資料分別放置於四層中,被對應到超立方塊所指的位址,第一層量化層 共有 9 個超立方塊,共有四層超立方體,則超立方塊總數目共為 9*4=36 個超立方塊,每一個狀態變數都被量化成 9 個間隔(9 個元素),共有二個 參考狀態,總共有 9*9=81 個參考狀態,即需規劃 36 個記憶體空間來儲 存資訊,而小腦模型的架構是利用超立方塊的觀念來儲存資料減少記憶體
空間,達到類化。
2.3.3 小腦模型控制器數學表示法
小腦模型控制器在學習後輸出值,可以使用下列的輸出公式來加以描 述系統狀態,若小腦模型控制器共有 Nq 層的量化層,劃分後形成 Nh 個全 部超立方塊數,則輸出公式為:
[ ] ∑
=
=
=
= Nh
1 j
,
Nh 2 1
Nh , 2
, 1
, s s s j j
s T
s
s a w
w w w a
a a
y a w L M (2-68)
其中 y 為小腦模型控制器在輸入參考狀態s s之輸出值,ast 為索引向 量, w 為真實記憶體之向量,以參考狀態(4,4)為例,每一個參考狀態所對 應的索引向量中,只有第 5,14,23,32 個超立方塊被覆蓋,即只用到第 5,14,23,32 個記憶單元,只有a ,5 a ,14 a ,23 a 被選中設定為 1,其32 餘未被選中設定為 0。
2.3.4 小腦模型控制器學習演算法
小腦模型控制器是使用週期式重覆的學習方式.改變參考狀態對應到 超立方塊.映射到記憶體單元中的資料,達成學習的目的.若有 49 個參 考狀態個數.當作訓練之學習樣本,學習完 49 個學習樣本.稱為一個學 習週期,透過週期式重覆的學習樣本輸入,以改變真實記憶體的內容,經 由多次的學習週期後,能夠使期望值與輸出值之誤差,收斂到容許的誤差 範圍內,就完成學習,可由下列學習演算法來描述:
ws(i) =wsi−1+∆wsi−1
(ˆ ) Ne 1 1 1 1
1
i s T s s s i
s− + − y − − − −
= w α a a w
(2-69)
其中 s 與 s-1 為參考狀態之學習樣本編號,i 為學習週期數, yˆs−1為參
考狀態之學習樣本 s-1 的期望輸出值,α為學習率(learning rate),Ne 為 每一參考狀態所對應之真實記憶體數目.yˆs−1−aTs−1wsi−1為第 s-1 學習樣本之 輸出誤差值。