第一章 簡介
電路的設計,除了考慮產品能在一般環境下正常操作外,亦需包 含可能由製程變化而引起的規格誤差考量。基本上,規格誤差的容忍 度會反映在產品的良率上。當我們在分析產品的良率時,通常是給每 一個元件值一組亂數值,在已知每個元件值的平均值、標準差的資料 下,計算所有輸出的值,在元件的變動下,觀察符合規格的數量,此 種方法稱為蒙地卡羅分析(Monte Carlo Analysis)。在蒙地卡羅的分析 方法中通常用到兩種亂數產生器(Random Number Generator),一種是 均勻分佈(Uniform Distribution)的亂數,另外一種是常態分佈(Normal Distribution)的亂數。分別畫於圖 1-1(a),(b)
(a) 均勻分佈
(b) 常態分佈 圖 1-1 亂數分佈圖
μ 6σ
99.73 ﹪
0.135 ﹪ 0.135 ﹪
0.5 1 0
圖 1-1(a)中在 0 與 1 之間每一點發生的機率是一樣的,而圖 1-1(b)中 在正負三倍標準差之內涵蓋了 99.73%,這種分佈比較接近理想的情 況。通常我們產生出來的產品是類似一常態分佈,良率是將符合電器 特性的區域積分出來,如果產品的規格較少時,這種方法可以計算 良率,一但產品要考慮的規格很多時,數值積分很難計算出良率,
在這種情形下就要用到蒙地卡羅積分了。理論上蒙地卡羅積分可以應 用到無限多的產品規格[1]。本篇論文是以蒙地卡羅分析為出發點,
假設每一個元件特性都是一個常態分佈,設計出一多維常態隨機向量 產生器。
在深次微米時代(very deep sub-micron)時代,元件與元件之間越 難做到匹配(match),因此設計高整合,高靈敏度的電路如 RF、mixed signal 就需要一個精準的良率評估器。也由於蒙地卡羅分析的重要 性,所以當我們再做電路分析時就需要一好的隨機向量產生器。
既然我們要設計一多維的常態隨向量產生器,向量與向量之間就 有相關性的問題,然而現今的產業界,在分析產品的時候,往往將元 件之間的關係假設成不相關,然而在製程上這並不是一個好的假設,
因為在同一晶圓(Wafer)上的每一個元件都有相同的製程參數,且由於 曝光或蝕刻等因素造成元件與元件之間會有某種程度的相關。所以當 相關性分配得當的話,不但可以提昇良率,也可以減少誤宰的發生。
以簡單的電路 R、L、C 帶通濾波器(Band pass filter)為例,從李信廷 君[2]的結果發現,如果我們假設三種元件 R、L、C 它們之間的相關 係數ρRL=0.9,ρRC=-0.9,ρCL=-0.8 時,所生產出來的成品符合規格 最多,也就是良率最高,其良率提高的程度比假設 R、L、C 獨立時 提高了近 48%。相反的當ρRL=-0.5,ρRC=0.5,ρCL=0.4 時,良率降 低了 9%。因此,一般在評估良率時,常假設元件之間的變動是互相 獨立的,但是這種在製程上的假設並不合理,而是要有相關的,然後 再經過模擬找出最有利的相關係數組合。
本篇論文中我們假設元件之間是有相關性的,而不是傳統假設的不 相關。然而在多數的軟體都無法產生有相關的隨機變數,因此我們引 入了反懷特寧轉換法[3],經過矩陣的運算將獨立的隨機變數轉換成 依賴性的隨機變數。在此要特別注意的是原始亂數必須是常態分佈的 隨機變數。當我們在設計此一多維常態隨機變數時發現了兩個特性,
第一個問題是元件之間的相關係數並不能隨意假設,必須要被限制 的。第二個問題是類隨機產生器(pseudo random generator)所產生的常 態隨機變數並不是完全獨立的,而且也沒有經過標準化的程序,導致 我們產生後的隨機變數會有誤差,因此在設計的過程必須先將類隨機 產生器產生出來的亂數校正。
第二章 相關定理
本篇論文中主要探討隨機變數,因此必須了解有關多變量分析的 相關名詞之定義,分別在下面介紹:
2-1 隨機變數
隨機變數(Random variable)就是定義在一項隨機試驗所產生的樣 本空間上面的數值函數(numerically valued function)。換言之,隨機變 數就是將樣本空間上面之樣本點(不管是量化或質化),以某種規則使 之數值化。[2]
我們可以將隨機變數表示成隨機向量,例如:隨機向量
T
X n
X X
X =[ 11 22LL 1 ] 其中在 X 向量中的每一個 element 都是以隨機的 方式產生,如果將數個隨機向量組合在一起,就可以形成一 random
matrix,例如:
=
mn m
m
n n
X X
X
X X
X
X X
X X
L M O M M
L L
2 1
2 22
21
1 12
11
表示在 random matrix 中有 m
組隨機向量,且每一組隨機向量有 n 個隨機變數。
2-2 多變量分析有關的基本知識 2-2-1 平均值(mean)
一個有限母體有 n 個資料如上述X11X12LLX1n則其平均值定
義為 n X X
X11+ 12 +L 1n
=
µ 。平均值的物理意義為資料的重心所在。
2-2-2 變異數(variance)
變異數主要是指各個資料本身與平均值的變異程度,定義為
1 )
1(
2 2
−
=
∑
= − nn Xi
i µ
σ
變異數越大表示資料本身分散度越大。反之,則差異越小。
2-2-3 標準差(standard deviation)
將變異數取平方根,這個數值就叫標準差。
2-2-4 標準化
若 X 為隨機變數,其平均值為µ,標準差為σ,則 X 的標準化隨 機變數(Standardized Random Variable) ,以Zx表示之,為:
σ µ
= X − Zx
經過標準化之後,隨機變數Zx的平均值為 0,標準差為 1。
2-3 常態分配(Normal Distribution)
2-3-1 常態隨機變數及其機率密度函數
一個連續隨機變數 X,若其平均數為µ,變異數為σ2,且其機率 密度函數如下:
( )
x = e− − −∞<x<∞f
x
2 , 1
2
2 1
σ µ
π σ
則 X 稱之為常態隨機變數(Normal Random Variable) ,或稱 X 為常態
分配(Normal Distribution) 。並且以 X~N(µ,σ2)表示之。
常態隨機變數的機率密度曲線(或稱為常態曲線(Normal Curve)) ,是 一條以平均數ì為中心向左右兩端對稱地延伸且成鐘形(bell-shaped) 的曲線。常態曲線的中心位置、分散情形(Dispersion) ,分別由常態 隨機變數的平均數及標準差決定。不同的平均數與標準差其常態曲線 圖會不一樣。以下的圖可以看出之間的差異。在圖 2-1 中表示平均值 相同但標準差不同,從圖中可看出當三條曲線中心位置一樣,因為曲 線下所涵蓋的面積一樣,所以當標準差越大表示資料越分散,所以曲 線會比較矮而寬。反之,當標準差越小時表示資料越集中,所以曲線 會比較高而尖。圖 2-2 表示標準差相同但平均值不同,因為標準差相 同所以每一條曲線形狀都一樣,只是中心點會隨著平均值變動而左右 移動。
2-3-2 標準常態隨機變數及其機率密度函數
一個常態隨機變數若其平均數等於 0,標準差等於 1,這種常態 分配稱之為標準常態分配,其機率密度函數如下:
( )
21 22
1 X
e x
f
= −
π σ
以 X~N(0,1)表示。圖 2-3 為標準常態分配曲線,此圖代表有 68.26%
的值落在一倍標準差內,99.73%的值落在三倍標準差內,也就是說 只有 0.27%會落在三倍標準差以外。
圖 2-1 平均數相同標準差不同的常態分配圖
圖 2-2 標準差相同平均數不同的常態分配圖
ㄊ
圖圖 2-3 標準常態分配圖
2-3-3 二維常態分配
上面所討論的是一維常態分配,我們可以推廣到二維常態分配 上,其聯合機率密度函數如下:
] ) ( ) )(
( 2 ) )[(
1 ( 1 2 1
2
2 2
2
1 2
) 1 ,
( Y
Y Y
Y X
X X
X X Y Y
X
Y X
e Y
X
f σ
µ σ
µ σ ρ µ σ
µ ρ
ρ σ
πσ
+ −
−
− −
−
− −
= −
則 X、Y 聯合機率分配為二維常態分配(Bivariate Normal Distribution) X、Y 為二元常態隨機變數(Bivariate Normal Random Variables) 。 此時:
(
X, X2)
N
X ≈ µ σ ,Y ≈ N
(
µY,σY2)
X
X σ
µ , :X 的平均數及標準差
-5 -4 -3 -2 -1 0 1 2 3 4 5
0 0 . 0 5 0 . 1 0 . 1 5 0 . 2 0 . 2 5 0 . 3 0 . 3 5 0 . 4
0 . 9 9 7 3 0 . 9 5 5 4 0 . 6 8 2 6
Y
Y σ
µ , :Y的平均數及標準差
ρ:X 、Y的相關係數,且−1≤ ρ≤1
相關係數與共變數將在下面介紹。
2-3-4 相關係數與共變數
相關係數(Correlation Coefficient)定義為:
y x
y i x n
i i
n y x
σ σ
µ µ
ρ
) )(
(
1
−
−
=
∑
= , -1≦ρ≦1
相關係數絕對值越大,相關的程度就越高。相關係數的正負表示相關 的正負。如果相關係數為正,則兩變數皆呈現同方向變化。反之,則 成反方向變化。相關程度可分為:
ρ= -1,完全負相關。
ρ= -0.5,負相關。
ρ= 0,完全不相關。
ρ= 0.5,正相關。
ρ= 1,完全正相關。
圖 2-4 表示二維常態隨機變數中不同的相關係數所畫成的圖形,
X 與 Y 軸分別代表不同的隨機變數,Z 軸為機率密度函數。由圖 2-4(a)(b)中可看出當ρ<0 時,曲面會通過原點,並沿-45°線,當任 一變數變大或變小時,另一變數則與它呈相反方向變化,變化的程度 視ρ來決定,ρ負值越大表示越負相關,所以圖形變化越劇烈。
當ρ=0 時,兩者之間互不影響,形狀會成圓形,如圖 2-4(c)。而ρ>0 時,表示兩變數為正相關,曲面會沿 45°。當任一變數變大或變小 時,另一變數則與它呈相同方向變化,變化的程度視ρ來決定,ρ正 值越大表示越正相關,所以圖形變化越劇烈。
-4 -2
0 2
4 -4
-2 0
2 4
-10 -5 0 5 10
-4 -2
0 2
4
-4 -2
0 2
4 -4
-2 0
2 4
-10 -5 0 5 10
-4 -2
0 2
4
(a) ñ=-0.9 -0.5
-4 -2
0 2
4 -4
-2 0
2 4
-10 -5 0 5 10
-4 -2
0 2
4
-4 -2
0 2
4 -4
-2 0
2 4
-10 -5 0 5 10
-4 -2
0 2
4
-4 -2
0 2
4 -4
-2 0
2 4
-10 -5 0 5 10
-4 -2
0 2
4
(d)
圖 2-4 二維常態隨機變數相關係數圖
共變數(Covariance)定義為:
n y x
y x
y i x n
i i
xy
) )(
( )
,
cov( 1
µ µ
σ
−
−
=
=
∑
=根據以上二式我們可以推導出相關係數與共變數之間的關係[2][3]:
y x
xy
y x
y x
σ σ
σ σ
ρ= cov(σ , ) =
第三章 正定矩陣
3-1 定義
給予一二次函數
q=ax12 +2bx1x2+cx22或
q= X'AX (A是一對稱矩 陣),對於不全部為零之
x1、
x2,若
q>0,稱
q為正定(positive definite)。若q是正定,則矩陣A亦是正定矩陣(positive definite matrix)。簡單的說如果一個矩陣所有特徵值(eigenvalue)都大於零的 話,此矩陣就是一個正定矩陣。正定矩陣對於研究隨機變數而言是非 常重要的,將於下面介紹。3-2 對稱矩陣(Symmetric Matrix)
一n×n矩陣A,若A= A'則A稱為一對稱矩陣,相關係數矩陣 (Correlation Matrix)與共變數矩陣(Covariance Matrix)就是屬於此種矩 陣。對於一對稱矩陣如果它的每一個主子矩陣(Principal Submatrices) 行列式值(Determinant)都大於零,則此矩陣稱之為正定矩陣。反之,
稱為非正定矩陣。另外,當行列式值=0 時,稱為奇異矩陣。
例如:
=
33 23 13
23 22 12
13 12 11
a a a
a a a
a a a A
若A是正定矩陣則:
(1) det(A1) =a11 >0
(2) det(A2)=a11a22−a122 >0
(3)det(A3)=a11a22a33+2a12a23a13−a11a232 −a22a132 −a33a122 >0
對於共變數矩陣而言det(A1)與det(A2)必大於零,所以共變數矩陣只要
)
det(A3 大於零,它就是一正定矩陣。[6]
3-3 隨機向量的主要參數
當我們分析隨機向量時必須了解期望向量與共變數矩陣分別介 紹於下:
3-3-1 期望向量(Expected Vector)
一組隨機向量 X 的期望向量為:{ }
=∫
=E X Xp X dX
M ( )
其中p( X)為隨機向量 X 的機率密度函數,期望向量就是平均值。
3-3-2 共變數矩陣(Covariance Matrix)
共變數矩陣隨機向量中一個重要的參數,它主要指出隨機向量的分 散度及相互間的關係,定義為:
{ } { } { }
{ } { }
−
−
−
−
−
−
−
−
=
−
−
=
∑
) )(
( )
)(
(
) )(
( )
)(
( )
)(
(
1 1
1 1 1
1 1 1
n n n n n
n
n n T
m x m x E m
x m x E
m x m x E m
x m x E M
X M X E
L
M M
L
2
σi 代表Xi的變異數,ρij代表Xi與Xj的相關係數。我們可以將∑分解
=
2 1
1
1 1 2
1
n n
n
n n
σ σ
σ ρ
σ σ ρ σ
L M O M
L
成兩個部分,其中一個是標準差的對角矩陣Γ,另外一個是相關係數 矩陣 R,所以
∑=ΓRΓ
Γ=
σn
σ σ
L L
M O M
M L
0 0
0 0
2 1
and R=
1 1
1
1 12
1 12
L L
M O M
M L
n
n
ρ ρ
ρ ρ
) 1 1
(− < ρij < [3]
在本篇論文中我們要產生多組有相關性的隨機變數,然而在產生 的過程中發現亂數的相關係數並不能任意假設,必須在共變數矩陣是 正定矩陣的前提下才成立。例如:有三組亂數 X1、X2、X3,其中:
X1 與 X2 的相關係數為 0.9,X2 與 X3 的相關係數為 0.9,因為 X1 與 X3 的相關性會受到 X1 與 X2 的相關係數及 X2 與 X3 的相關係數 所牽制,因此必須大於 0.63。又例如:X1 與 X2 的相關係數為 0.5,
X2 與 X3 的相關係數為 0.9,則 X1 與 X3 的相關係數必須被限制在大 於 0。亦即,已知兩個相關係數,第三個相關係數會受到前兩個相關 係數的影響,而被限制在某範圍內。
3-4 三維相關係數的分析
本節主要探討共變數矩陣是否為正定矩陣以得到正確的相關係 數。我們主要依據前面所敘述,對於一對稱矩陣如果它的每一個主子 矩陣行列式值都大於零,則此矩陣稱之為正定矩陣。然而討論共變數
矩陣或相關係數矩陣是一樣的,因為共變數矩陣的行列式值
=(σ1σ2σ3)2[1+2ρ12ρ23 ρ13 −(ρ122 +ρ232 +ρ132)],相關係數矩陣的行列式值
=[1+2ρ12ρ23ρ13−(ρ122+ρ232+ρ132)]對於所有隨機變數σ1,σ2,σ3皆大於 零。因此為了方便起見,我們用相關係數矩陣的行列式值是否大於 零,來判斷共變數矩陣是否為正定矩陣。
例如:假設有三組隨機亂數 X1、X2、X3。X1 與 X2 的相係數以 ρ12表示。相同的ρ23、ρ13代表 X2、X3 的相關係數與 X1、X3 的相 關係數其中我們將其相關程度分為,非常正相關 、正相關
、不相關 、負相關(ñ=-0.5)、非常負相關(ñ=-0.9)。表 3-1 為固定ρ12,當ρ23從非常正相關變化到非常負相關時ρ13所對應的相 關係數分佈。我們先就ρ12為非常正相關(表 3-1(a))與非常負相關(表 3-1(e))討論起。我們可以看出兩者有很多相似之處,只是正負號的差 別而已。由表中可看出,若ρ23相關程度較小時(不管正相關或負相 關),ρ13合理的相關係數範圍會較大,當ρ23=0 時ρ13有最大的範圍。
且有兩個非常正相關或非常負相關時,第三個一定是正相關且相關性 頗高(0.63),當一個是非常正相關,另一個是非常負相關時,第三個 一定是負相關(-0.63)。再來我們討論ρ12為正相關 (表 3-1(b))與負相 關(表 3-1(d))時的情形,因為ρ12相關性比較小,所以ρ13所受的限制 比較小,因此可變動的範圍都比ρ12為非常正相關與非常負相關大。
當有兩個正相關或負相關的組合時,第三個相關性可正可負,但是相 關性為正的機會比較大。當一個是正相關,另一個是負相關時,第三 個亦是可正可負,只不過負的機會較大。再來討論當ρ12完全不相關 (表 3-1(c))的情形,從表中可看出ρ13會對稱於原點,且不管ρ23等於 多少ρ13的相關性可正可負,大小要決定於ρ23的絕對值。ρ23絕對 值較小時ρ13可允許的範圍較大。最後當 X1 與 X2 不相關,而 X2 與 X3 也不相關時,X1 與 X3 的關係就可以任意假設了。
表 3-1
ρ12=0.9
ρ23=0.9 ρ23=0.5 ρ23=0 ρ23=-0.5 ρ23=-0.9 0.63<ρ13<1 0<ρ13<0.8 -0.43<ρ13<0.43 -0.8<ρ13<0 -1<ρ13<-0.63
(a) ρ12=0.5
ρ23=0.9 ρ23=0.5 ρ23=0 ρ23=-0.5 ρ23=-0.9 0<ρ13<0.8 -0.5<ρ13<1 -0.86<ρ13<0.86 -1<ρ13<0.5 -0.8<ρ13<0
(b) ρ12=0
ρ23=0.9 ρ23=0.5 ρ23=0 ρ23=-0.5 ρ23=-0.9 -0.43<ρ13<0.43 -0.86<ρ13<0.86 -1<ρ13<1 -0.86<ρ13<0.86 -0.43<ρ13<0.43
(c) ρ12=-0.5
ρ23=0.9 ρ23=0.5 ρ23=0 ρ23=-0.5 ρ23=-0.9 -0.8<ρ13<0 -1<ρ13<0.5 -0.86<ρ13<0.86 -0.5<ρ13<1 0<ρ13<0.8
(d) ρ12=-0.9
ρ23=0.9 ρ23=0.5 ρ23=0 ρ23=-0.5 ρ23=-0.9 -1<ρ13<-0.63 -0.8<ρ13<0 -0.43<ρ13<0.43 0<ρ13<0.8 0.63<ρ13<1
(e)
3-5 特徵值(eigenvalue)圖形
本節主要討論 3*3 的相關係數矩陣其特徵值的問題,在前面已經 探討過,如果要使相關係數矩陣為正定矩陣的另一個條件為相關係數 矩陣的所有特徵值皆大於零。然而我們所關心的是特徵值為正的部 分,至於特徵值為負號時表示相關係數矩陣根本不存在,也就是說這 三者的相關係數必須重新考慮。我們先固定其中一相關係數,將其他 兩個相關係數的關係圖畫出,如圖 3-1,X 軸為ρ23從-1 到+1 的變化,
Y 軸為ρ13從-1 到+1 的變化。白色的區域表示三個相關係數所形成 的相關係數矩陣是正定矩陣,也就是相關係數矩陣的三個特徵值在白 色區域皆大於零。相反的在灰色區域表示有負的特徵值。我們將灰色 區域分成八等分,離白色越遠的區域顏色越深,代表其負值越大。圖 3-1(a)為固定ρ12=0,從圖中可看出ρ23和ρ13所形成正定矩陣的區域 為一圓形,也就是說在此圓形內任何相關性的組合都是合理的,因此 不會有負數的特徵值。當 X1 與 X2 的相關係數等於 0 時,X3 與 X1、
X2 相關係數(ρ23、ρ13)的自由度(Degree of freedom)最大,因此ρ12=0 時對ρ23、ρ13的影響最小,而且灰色的區域也比較淺,意味著特徵 值負值並不大,這對我們有什麼好處呢?當我們發現所期望的相關係 數矩陣有負的特徵值時,必須重新改變相關性,也就是要把灰色區域 上的點往白色區域移動,所以特徵值負值比較小時,表示說灰色區域
上的點離白色區域比較近,因此我們在調整相關性時所要移動的距離 較小,而且新的相關性會跟我們期望的差距較小。在圖 3-1(b)(c)(d)(e) 中我們分別固定ρ12=0.3、0.5、0.7、0.9,圖中顯示 X1,X2 的相關係 數是正的時候圖形為一往正 45°方向的橢圓形,隨著相關性變大白 色區域會越來越小,灰色區域會越來越大,這是因為受到ρ12變大 時,ρ23、ρ13所受的限制會跟著變大的關係。圖形往正 45°方向代 表ρ23、ρ13的值會傾向於第一及第三象限,當ρ12越大時越明顯。
最後圖 3-1(f)(g)(h)(i)分別為ρ12=-0.3、-0.5、-0.7、-0.9 的情形,其特 性與圖 3-1(b)(c)(d)(e)相同,唯一的差別是圖形呈現往-45°方向,
ρ23、ρ13的值會傾向於第二及第四象限。
圖 3-1 (a)
(b) (c)
(d) (e)
(f) (g)
(h) (i) 圖 3-1 固定ρ12 時ρ23與ρ13的關係圖
第四章 隨機向量產生器
4-1 隨機向量的種類
我們已知隨機變數就是將樣本空間上面之樣本點(不管是量化或 質化),以某種規則使之數值化。而它除了可以分為間斷與連續的隨 機變數之外,我們如果同時產生兩組隨機變數時(這兩組隨機變數則 為兩個隨機向量),又可依照兩個隨機向量之間相關的關係,而分為 獨立性隨機向量 (Independent Random Vector) 和依賴性隨機向量 (Dependent Random Vector) 。我們將分別介紹這兩種形式的隨機向 量。
4-1-1 獨立性隨機向量
獨立性隨機向量的定義為:當我們產生兩組或兩組以上之隨機變 數時,其兩兩之間為各自產生數值而互相之間並沒有絕對關係者,也 就是說第二組隨機變數不會因為第一組變數變大或變小而改變,他們 個別的變化與彼此不相關,我們稱之為獨立性隨機向量。
從定義中可以發現我們在產生多組隨機變數時,若沒有給予兩者 或兩者以上之間相關的關係時,都稱為獨立性隨機向量。也就是說,
只要是各別產生的隨機變數就屬於獨立性隨機向量,而我們平常產生 的隨機變數大多為這一類。
4-1-2 依賴性隨機向量
依賴性隨機向量的定義為:當我們產生兩組或兩組以上之隨機變 數時,其兩兩之間為所產生數值會因互相之間的正負相關,而受到牽 制的隨機變數,我們稱之為依賴性隨機向量。
從定義中我們可以知道,兩組或兩組以上的隨機變數因應我們所 需要的關係,而之間會有所謂正相關或負相關來牽制著彼此,使得雙 方之間因此而變大或變小。我們產生兩個互相依賴且為正相關的隨機 向量 X 與 Y
X=[x1
x
2‥‥x
n] Y=[y1y
2‥‥y
n]當 x1到 xn為正成長時,則 y1到 yn即為正成長。獨立性的隨機向量一 般來講是很容易產生的,我們可以用 Matlab 直接下一個指令便可以 得到,然而若要產生多組依賴性的隨機向量,就必須經過一些數學式 子的運算。以下將介紹一種方法可以將獨立性隨機變數轉換成依賴性 隨機變數,而且可以給定每一組隨機變數的平均值與標準差。
4-2 隨機向量的主要參數的應用
隨機向量的主要參數有期望向量及共變數矩陣,我們在前一章已 經討論過了,然而要如何應用到依賴性隨機向量產生器呢?期望向量 代表亂數的平均值,我們可以用以下的矩陣來表示:
M=
µn
µ µ
L M O M
M L
0 0 0
0 0
2 1
,此矩陣為一對角矩陣,µi代表Xi的平均值 。M
是我們自己視實際情況給定的。而共變數矩陣
∑=
2 1
1
1 1 2
1
n n
n
n n
σ σ
σ ρ
σ σ ρ σ
L M O M
L
,σi代表Xi的標準差,ρij代表Xi與Xj的相
關係數,其中σi2與ρij也是我們自己視實際情況給定的。有了平均值,
標準差之後我們就可以決定隨機變數的分布,有了相關係數之後就可 以決定隨機變數間的相關性,因此便可以著手設計一隨機向量產生器 了。
4-3 轉換法
在這節中將說明幾個會用到的轉換法。
4-3-1 線性轉換法(Linear Transformation)
當一個 n 維的向量 X 線性地轉換成一個 n 維的向量 Y,這種轉 換的方法我們就稱之為線性轉換法(Linear Transformation)。Y 以 X 為 函數可以表示為:
X A Y = T
A 是一個 n
×
n 的矩陣,所以 Y 的期望向量與共變數矩陣為:M A MY = T
A AT X
Y = Σ
Σ
4-3-2 正交正規轉換法(Orthonormal Transformation)
我們若想以期望向量 M 來轉換我們的系統,首先我們以 Z 表示 一個新的系統。
Z=X-M
我們可以將常態分佈的二次微分方程式轉換為
Z Z
Z
dZ2( ) = TΣ−Z1
我們要找出一個最小的dZ2(Z)而又符合 ZTZ=1 的向量 Z。由下面的程 式中即可得到我們想要的。
0 2
2 )}
1 (
{ Σ 1 − − = Σ 1 − =
∂ =
∂ − −
Z Z Z
Z Z Z Z
T
T µ µ
而
∂
/∂
Z 包含了 n 個局部的衍生物[∂
/∂
Z1∂
/∂
Z2 …∂
/∂
Zn]T因為1)
1 (
λ µ λ
µ Σ = =
=
Σ− Z Z or Z Z
=1 Z ZT
為了使一個有效的 Z 存在,我們必須選擇一個 ë 來滿足一個既定的 方程式。
=0
− Σ λI
這就是矩陣Σ的特徵方程式。任何滿足這個方程式的λ就叫做特徵值 (eigenvalue) , 而 符 合 這 一 個 特 徵 值 的 向 量 Z 就 是 特 徵 向 量 (eigenvector)。當 Ó 是一個對稱的 n × n 矩陣,我們可以得到 n 個特 徵值 ë1 n 和 n 個特徵向量φ1,…,φn。所以我們就得到
ΦΛ
= ΣΦ
Ö 為包含 n 個特徵向量的 n ×1 矩陣,也叫做特徵向量矩陣 (eigenvector matrix)。
Φ=[φ L1L φn]
Ë 為特徵值的對角矩陣,也叫做特徵值矩陣。
= Λ
λn
λ
0
1 0 O
將Φ取代線性轉換法中的轉換矩陣 A,則我們可以得到常態矩陣
Y=Ö
TX
和
ΣY=ΦTΣYΦ=Λ
4-3-3 懷特寧轉換法(Whitening Transformation)
懷特寧轉換法主要的目的是要將有相關的變數經過數學式子的 演算轉換成完全獨立的變數,以下是懷特寧轉換的介紹。
在說明了前面幾種轉換法後,我們可以再加入另一個轉換Λ-1/2 使得變異矩陣等於 I,而 I 為一的單位矩陣。
X X
Y T ( 2)T
2 1
1 −
− Φ = ΦΛ
Λ
=
= ΛΛ Λ
= ΦΛ Σ Φ Λ
=
ΣY −12 T X −12 −12 −12 I
X 表示依賴性隨機變數,Y 是轉換後的獨立性隨機變數。這個乘上
ΦT
Λ−12 的轉換方式就稱為懷特寧轉換法。變異數矩陣等於 I 表示說我 們經過懷特寧轉換法後每一組的隨機變數都是獨立的(Independent),
而且每一組隨機變數標準差都等於一。
簡單的說,從圖 4-1 中來說明一下 Whitening Transformation 的轉
換原理。首先我們必須知道,只有常態變數的獨特特性才適用於 Whitening Transformation 的轉換法。在 (x1,x2)座標中我們可以看到兩 個圖形,一個是初始分佈的橢圓形,一個是轉換後分佈的圓形。我們 把它套上之前所說的相關分析觀念到這個圖中,我們可以發現初始分 佈的圖形表示兩者之間有相關的關係,而轉換後分佈的圖形則表示兩 變數為不相關。換句話說,Whitening Transformation 就是將所有有相 關性的變數轉換成不相關。然而,我們平常所產生的隨機變數大多屬 於獨立性隨機變數,此時就必須用到反懷特寧轉換(Reverse Whitening Transformation),什麼是反懷特寧轉換呢?考慮懷特寧轉換的公式
X
Y =Λ−12ΦT 我們只要用一些矩陣運算的技巧就可以將 X 求出。
X
Y =Λ−12ΦT 左右式同乘Λ12,Λ 12Y = Λ 12Λ−12 ΦT X 左右式同乘
Φ,ΦΛ12Y =ΦΦT X因為ΦT =Φ′(Φ的反矩陣),所以得到X 2Y ΦΛ1
= 。
這個乘上ΦΛ12的轉換方式就稱為懷特寧轉換法。
圖 4-1 Whitening Transformation
x
2x
1Φ2
Φ1
M
初始分佈轉換後分佈
4-4 隨機向量產生器
前面敘述了有關正定矩陣,共變數矩陣及懷特寧轉換後,最終的目 的是要產生多維的隨機向量,首先我們必須先知道多維的隨機向量有 以下幾種特性 1.向量中所有成分的線性組合都必須是常態分佈 (Normal distribution)2.向量的所有子集合都是常態分佈 3.當共變數為 零時表示所有的向量是獨立分佈的 4.原始的分佈亦是常態分佈。有了 這些知識後就可以開始產生一多維常態隨機向量產生器了。[5]
1. 首先要取得每一組亂數常態分佈情形,包括平均值、標準差,這 些參數是使用者自己視實際情形決定的,在以矩陣形式表示。每一組 亂數代表每一個元件,例如:
若要產生 n 組隨機向量,則
平均值=
µn
µ µ
L M O M
L
0 0
0 0
0 0
2 1
, 標準差=
σn
σ σ
L M O M
L
0 0
0 0
0 0
2 1
ìn代表第 n 組的平均值,ón代表第 n 組的標準差。
2. 既然要產生 n 組的隨機向量,我們就必須考慮兩兩之間的相關性,
同樣的以矩陣形式表示
相關係數=
1 1
1
1 12
1 12
L L
M O M
M L
n
n
ρ ρ
ρ ρ
在此要特別注意的是決定相關係數矩陣要先確定是否為正定矩陣,也 就是要考慮彼此的相關性是否合理,否則就無法得到想要的依賴性隨 機向量。
3. 有了標準差對角矩陣及相關係數矩陣之後,便可以輕易的得到共 變數矩陣了。前面已經介紹過了共變數矩陣的表示法:共變數矩陣=
標準差對角矩陣×相關係數矩陣×標準差對角矩陣
4. 得到了共變數矩陣之後,我們要將共變數矩陣的特徵值及特徵向 量求出,才能應用到懷特寧轉換及反懷特寧轉換的公式。
5. 我們想得到的依賴性常態隨機變數就必須先產生出 n 組完全獨立 隨機變數,在 matlab 中可以直接得到。matlab 所產生的隨機變數有 兩種,一種是常態分佈,另外一種是均勻分佈,在本篇論文所用的是 常態分佈。然而在多次的試驗當中發現我們產生的常態隨機變數會有 誤差,並不能完全符合實際的要求。後來發現問題的癥結在於類隨機 產生器所產生的常態隨機變數並不是完全獨立的,而且也不是標準化 後的常態分佈,因而導致誤差的產生。要如何解決這個問題呢?其實
只要先將類隨機產生器產生出來的亂數標準化,再將亂數經過懷特寧 轉換之後,便可以解決。
6. 有了上述條件後就可以利用反懷特寧轉換將經過懷特寧轉換後的 獨立性常態隨機變數轉換成依賴性隨機變數。
7. 最後將每一組常態隨機變數加上平均值,如此一來多維常態隨機 向量便完成了。
為了能更清楚的了解整個多維常態隨機向量產生器的設計過程,我們 將流程圖畫於圖 4-2。
圖 4-2 多維常態隨機向量產生器設計流程
get Γ and R
positive definite
covariance matrix
get Λ and Φ
generate n random vector
Whitening Transformation
and Normalize
RevWhitening Transformation
dependent+M
yes
no
4-5 懷特寧轉換對多維常態隨機向量產生器的影響
因為類隨機產生器產生的常態隨機變數不準的關係,所以我們必須 先將類隨機產生器產生出來常態隨機變數經過懷特寧轉換變成完全 獨立。
到底類隨機產生器的不準對我們的多維常態隨機變數有什麼影響 呢?我們舉一個例子來說明,假設我們想要產生三組常態隨機向量的 平均值分別為:2×106,2×106,1×10−10。以平均值的 10%當作一倍標準 差,分別為:0.2×106,0.2×106,0.1×10−10。他們兩兩之間的相關係數分別 為:ρ12=-0.4,ρ23=0.5,ρ13=0.5。我們將實際用 matlab 產生出來的 值列於表 4-1。
表 4-1
(a)
(b)
-0.395(-0.91 %) 0.501(0.08 %)
0.503(0.63 %) 相關係數
0.097*10-10(-0.28%) 2.010*105(0.27%)
2.001*105(0.05%) 標準差
0.998*10-10(-0.06%) 1.997*106(-0.13%)
1.999*106(-0.02%) 平均值
n=10000
-0.4(0 %) 0.5(0 %)
0.5(0 %) 相關係數
0.1*10-10(0%) 0.2*106(0%)
0.2*106(0%) 標準差
1*10-10(0%) 2*106(0%)
2*106(0%) 平均值
n=10000
表 4-1(a)為未經過懷特寧轉換的隨機變數,4-1(b)為有經過懷特寧轉 換的隨機變數,括弧內表示誤差百分比,從表中可看出懷特寧轉換對 於我們多維常態向量產生器的重要性。假如不先將類隨機產生器產生 的亂數轉換成獨立的話,那麼產生出來的隨機變數就會因為原始資料 的不準確,導致無法得到我們真正所期望的隨機變數。相反的,如果 在使用我們設計的多維常態隨機變數產生器之前,先將原始的常態隨 機變數轉換成完全獨立,就可以得到符合自己期望的常態隨機變數 了。從表中也可以看出我們設計的隨機向量產生器精確度是非常高 的。我們將上面的例子應用到實際的低通濾波器,三組隨機變數分別 代表 R1,R2,C 其電路圖畫於圖 4-3,利用蒙地卡羅的方法求出良率。
圖 4-3 低通濾波器
經由我們的分析發現未經懷特寧轉換的良率為 67%,經過修正後良 率為 68.3%。
R1
R2 C
Vout Vin
規格 :
0.95
≤
A0≤
1.05750 (Hz)
≤
fc≤
850 (Hz)4-6 多維常態隨機向量產生器的優點
1. 在效果方面可產生有相關性的多維常態隨機變數,完全消除隨機 性所產生的偏移(offset)。另一方面也可以產生完全獨立的多維常態隨 機變數。
2. 在效率方面使用我們設計的亂數產生器速度快、性能好。以圖 4-3 來說明
圖 4-4 加強化多維常隨機向量產生器效率圖
在圖 4-4 中我們使用一系統化(Systematic)的相關係數矩陣來當作例 子,因為此種矩陣是一正定矩陣,比較有利於分析。X 軸是亂數的組 數,Y 軸是相對應的運算時間,大部分的時間都用在共變數矩陣的運 算與計算共變數矩陣的特徵值、特徵向量。當 n 越大資料越多,因此
0 5 0 0 1 0 0 0 1 5 0 0 2 0 0 0 2 5 0 0 3 0 0 0
0 2 0 0 0 4 0 0 0 6 0 0 0 8 0 0 0 1 0 0 0 0 1 2 0 0 0
n = 1 0 0 0
n = 5 0 0 0
n = 1 0 0 00
運 算 時 間 (秒)
亂數的組數
所需的時間越久。
3. 可檢查共變數舉陣是否為正定矩陣。
4. 自動調整
當我們在分析一些電路時常常會發現有些元件的級數相差太 多,例如電阻為 103到 106Ù,電容 10-9到 10-12F,電感 10-3mH, 使得我們必須先將元件調整到同一等級,等到矩陣運算完畢之後再還 原回來。我們以表 4-2 來說明,假設我們想分析一帶通濾波器,其中 R1,R2,C 的平均值,標準差分別為:2×106、2×106、100×10-12與 0.2×106、0.2×106、10×10-12相關係數ρR1R2=-0.9,ρR2C=0.2,ρR1C=0.2 表 4-2(a)是有經過調整的,4-2(b)是沒有經過調整的,因為 C 與 R1、
R2 級數相差太大,使得所有與電容 C 有關的參數都會有偏差。
表 4-2(a)
R1 R2 C
平均值 2×106 2×106 100×10-12
標準差 0.2×106 0.2×106 10×10-12
相關係數 -0.9(ρR1R2) 0.2(ρR2C) 0.2(ρR1C)
表 4-2(b)
R1 R2 C
平均值 2×106 2×106 100×10-12
標準差 0.2×106 0.2×106
6.3×10
-24相關係數 -0.9(ρR1R2)
0
(ρR2C)0
(ρR1C)第五章 應用
前一章已經完整介紹過如何設計一個多維常態隨機向量產生器 了,我們實際應用到兩個電路,討論元件與元件之間獨立或相關對於 電氣特性的影響。
5-1 類比數位轉換器靜態參數的容忍度分析
圖 5-1 是一個 3 位元的類比數位轉換器,此電路一共使用 8 個電阻 當作電壓分壓器,在分別送入 7 個不同的比較器與欲轉換的輸入訊號 Vin 做比較。我們利用蒙地卡羅分析的方法,假設電壓 Vref 與電阻 R1~R8 均為常態分佈,其平均值與標準差如圖 5-1,利用我們設計的 多維常態隨機向量產生器產生一個 9 維的隨機向量,每一組隨機向量 有 10000 個資料,分成以下兩種情形:
R8(1.5k±30%)
R7(1k±30%)
R6(1k±30%)
R5(1k±30%)
R4(1k±30%)
R3(1k±30%)
R2(1k±30%)
R1(0.5k±30%)
圖 5-1 類比數位轉換器
Vin
+-
+-
+-
+-
+-
+-
+-
Vref(4v±20%)
D6 D5 D4
D3
D2 D1
D0
a. 元件之間不相關
不相關 Offset error Gain error
平均值 0.003 0.003
三倍標準差 0.1664 0.3328
b. 元件之間有相關
我們將電阻與電阻之間的相關係數以下圖表示
亦即,相鄰的兩個電阻之間假設互相影響最大,且電阻與電壓不相關。
有相關 Offset error Gain error 平均值 0.0015 0.0015 三倍標準差 0.1034 0.1365
從上面分析得知:當我們假設元件與元件之間的變動是相關的話,所 得到的靜態參數的偏移會比較小,因此當電路在佈局(layout)時就要 特別注意電阻與電阻之間的排列方式。[9]
5-2 數位類比轉換器靜態參數的容忍度分析
同樣地,我們將多維常態隨機向量產生器應用到數位類比轉換器 上,如圖 5-2 為其電路架構,假設電壓與電阻均為常態分佈,其平均 值與標準差分別標於圖上,利用我們設計的多維常態隨機向量產生器 產生一個 5 維的隨機向量,每一組隨機向量有 10000 個資料。
R 1 R 2 R 3 R 4 R 5 R 6 R 7 R 8
0 . 9 0 . 9 2
圖 5-2 數位類比轉換器
假設電阻與電壓是不相關的,我們將電阻與電阻之間的相關係數由負 到正,其 INL 與 DNL 的變化顯示於圖 5-3
圖 5-3 不同相關係數 INL 及 DNL 之分佈圖
從圖中可看出當相關係數由負變化到正時其 INL 與 DNL 的偏移量化 有變小的趨勢,因此電阻之間的相關性越大,對於整個電路的特性會 越理想。[10]
VREF+
VREF-
DAC output Voltage
follower R2
R1 R0
S0 S1 S2
VREF+ (3v±10%) S3
R2 (10k±80%)
R1 (10k±80%)
R0 (10k±80%) VREF- (0v±10%)
- 0 . 4 - 0 . 2 0 0 . 2 0 . 4 0 . 6 0 . 8 1
0 0 . 0 2 0 . 0 4 0 . 0 6 0 . 0 8 0 . 1 0 . 1 2 0 . 1 4
C o r e r c o e f
Static Parameter
D N L ( 3 s t d )
D N L ( m e a n ) I N L ( 3 s t d )
I N L ( m e a n )
第六章 結論
以元件之間的變動是有相關性的,來取代傳統上認為不相關的觀 點是有必要的。產生多組獨立的隨機變數並不是一件難事,但若考慮 變數之間的相關性就必須經過一些數學式子的運算。
在本篇論文中我們完成了一個多維常態隨機向量產生器,可依使 用者的需要產生出完全符合使用者期望的平均值、標準差、及相關係 數。
參考文獻
[1]M.W.Johnson,Q.p.Herr,and J.W.Spargo “Monte-Carlo Yield Analysis”
in VOL,9,No.2,JUNE 1999
[2]李信廷,QsY_ST:規格轉換於良率提昇之研究,中華大學電機工程 學系碩士班電子電路組,2001
[3]Fukunaga Keinosuke, Introduction to Statistical Pattern Recognition, 2nd Edition,Academic Press, Inc., 1990
[4]張素梅 著,統計學(上)(下) ,初版,三民書局,1997[民 86]
[5]張輝煌 編譯,實用多變量分析,建興出版社,1998
[6]Richard A. Johnson, Dean W. Wichern, Applied Multivariate Statistical Analysis, Prentice-Hall Inc., 1998
[7]郭文寧,MN-RVG:一個用於測試良率/品質評估的多為常態隨機向 量產生器,中華大學電機工程學系碩士班電子電路組,2000 [8]Michael A. Trick Mon Aug 24 13:24:14 EDT 1998
[9]邱星團,類比數位轉換器靜態參數的容忍度分析,中華大學電機 工程學系碩士班電子電路組,2001
[10]陳壽榮,數位類比轉換器靜態參數的容忍度分析,中華大學電機 工程學系碩士班電子電路組,2001
[11]Dagnupar J.,Principles of Random Variate Generation,Clarendon Press:Oxford,U.K. ,1988