0
x · xα−1e−x/βdx
= 1
Γ(α)βα Z +∞
0
xαe−x/βdx
= Γ(α + 1)βα+1 Γ(α)βα
Z +∞
0
1
Γ(α + 1)βα+1xαe−x/βdx
= Γ(α + 1)βα+1
Γ(α)βα , (因被積函數為 G(α + 1, β) 之 p.d.f.)
= αβ.
仿照上述方法, 可得 E[X2] = 1
Γ(α)βα Z +∞
0
xα+1e−x/βdx = Γ(α + 2)βα+2
Γ(α)βα = α(α + 1)β2. 故
Var X = E[X2] − (EX)2 = α(α + 1)β2− α2β2= αβ2.
(VII) 若隨機變數X ∼ χ2r, 則 E[X] = r, Var X = 2r.
證 因χ2 分配乃 G(r/2, 2)分配之故.(VIII) 若隨機變數X 具負指數分配, 參數為 λ, 則E[X] = 1/λ, Var X = 1/λ2.
證 因參數為 λ之負指數分配乃 G(1, 1/λ) 分配之故.(IX) 若隨機變數 X 具 Cauchy 分配, 則X 之期望值不存在.
證 只證 µ = 0, σ = 1之情形, 一般情形讀者自證之, (習題). 由於 E[X+] = E[max{X, 0}]= Z +∞
−∞
max{x, 0}f (x) dx
= Z 0
−∞
max{x, 0}f (x) dx + Z +∞
0
max{x, 0}f (x) dx
= 0 + 1 π
Z +∞
0
x · dx 1 + x2
= 1
2π ln(1 + x2)
+∞
0 = +∞;
4.4 Chebyshev 不等式 134 E[X−] = E[max{−X, 0}]
= Z +∞
−∞
max{−x, 0}f (x) dx
= Z 0
−∞
max{−x, 0}f (x) dx + Z +∞
0
max{−x, 0}f (x) dx
= 1 π
Z 0
−∞
(−x) · dx 1 + x2 + 0
= − 1
2πln(1 + x2)
0
−∞= +∞;
故X 之期望值不存在.
我們知道上述 Cauchy 密度函數 f (x) = 1 π · 1
1 + x2 之圖形對稱於 Y 軸, 直觀的看來,
x = 0 應該是此一分布的中心, 然而其期望值卻不存在. 這正說明: 期望值雖是一種中央趨勢之
測度 (measure of central tendency), 但與直觀之 『中央』, 並非完全一致. 對於不為可積之隨 機變數, 我們通常以中位數代表其中心.
§ 4.4 Chebyshev 不等式
以賭博方式來解釋最初的期望值觀念, 當然是十分傳神的. 與期望值具有同等重要性的標準差, 目的在於測度某一分配 『分散』 的程度, 似乎並不能由其定義直接顯示出它的含義. 本節中, 我 們將介紹早期機率論中一個重要的定理—– Chebyshev 不等式:
∀k > 0, P {|X − EX| ≥ kσX} ≤ 1 k2.
此一不等式可以顯示出以標準差做為分配函數分散程度的一種測度乃是十分合理的. 此外, 我 們還要證明標準差為 0就是分配完全不分散的觀念.
定理 4.13 [ 基本不等式 (Basic inequality) ] 設Y 為(Ω, F , P ) 上一非負隨機變數, 則
∀c > 0, P {Y ≥ c} ≤ EY c .
證 由於Y = Y I{Y ≥c}+ Y I{Y <c}≥ Y I{Y ≥c}≥ c I{Y ≥c}, 是以
E[Y ] ≥ c · E[I{Y ≥c}] = c · P {Y ≥ c}.
4.4 Chebyshev 不等式 135 註: 若Y 不為可積, 此不等式亦為真, 因其右端為+∞.
定理 4.14 [ Markov 不等式 ]
設X 為一可積隨機變數, µ = EX, r > 0, 則
∀c > 0, P {|X − µ| ≥ c} ≤ E|X − µ|r cr .
證 令Y = |X − µ|r, 則Y 為一非負隨機變數, 由基本不等式知, ∀c > 0, P {|X − µ| ≥ c} = P {|X − µ|r ≥ cr}= P {Y ≥ cr}
≤ EY
cr = E|X − µ|r
cr .
定理 4.15 [ Chebyshev 不等式 ]
設X 為一可積隨機變數, µ = EX, σ2 = Var X, 則
∀c > 0, P {|X − µ| ≥ c} ≤ Var X
c2 . (1)
再者,若 σ > 0, 則
∀k > 0, P {|X − µ| ≥ kσ} ≤ 1
k2. (2)
證 在Markov 不等式中, 令r = 2 即得(1) 式; 至於 (2) 式, 係令 c = kσ > 0 而得.對於初學者而言, 以標準差做為某一隨機變數之分配之 『分散程度』 的一種測度, 並不十分
容易接受. Chebyshev 不等式中恰巧可提供我們, 對此一概念一個很好的解釋:
一、 設 µ 及σ 分別表某隨機變數 X 之期望值及標準差, 由 Chebyshev 不等式知, P {µ − kσ < X < µ + kσ} = P {|X − µ| < kσ} ≥ 1 − 1
k2.
意思是 X 值在區間 (µ − kσ, µ + kσ) 內之機率至少為 1 − k12 , 當 k = 2 時, 上式表示 X 值在區間 (µ − 2σ, µ + 2σ) 內之機率至少為 3/4. 當k = 3 時, 上式表示 X 值在區間
4.4 Chebyshev 不等式 136
4.4 Chebyshev 不等式 137
4.5 Cauchy-Schwarz 不等式與協方差 138 系 4.17
隨機變數 X 為退化之充要條件為Var X = 0.
§ 4.5 Cauchy-Schwarz 不等式與協方差
本節中我們將研究二隨機變數間之相互關係. 我們是以 Cauchy-Schwarz 不等式做為基礎, 進 而研究協方差以及相關係數的概念.
定理 4.18 [ Cauchy-Schwarz 不等式 ]
設X 與Y 均為隨機變數. 若 E[X2] < +∞, E[Y2] < +∞,則 (1) E|XY | < +∞;
(2) (E|XY |)2 ≤ (E[X2])(E[Y2]).
證 (1) 0 ≤ (|X| − |Y |)2 = |X|2+ |Y |2− 2|XY |⇒ 2|XY | ≤ |X|2+ |Y |2
⇒ 2E|XY | ≤ E|X|2+ E|Y |2 < +∞.
(2) 0 ≤ (|X|t + |Y |)2, ∀t ∈ R
⇒ 0 ≤ E(|X|t + |Y |)2
= E|X|2t2+ 2E|XY | t + E|Y |2, ∀t ∈ R (令A = E|X|2, B = 2E|XY |, C = E|Y |2)
⇒ 0 ≤ A t2+ B t + C, ∀t ∈ R
⇒ △ = B2− 4AC ≤ 0, (二次方程式之判別式)
⇒ 4(E|XY |)2− 4E|X|2· E|Y |2 ≤ 0
⇒ (E|XY |)2 ≤ (E[X2])(E[Y2]).
系 4.19
X 與Y 為二隨機變數. 若EX = µ1, EY = µ2, Var X = σ12, Var Y = σ22 均為有 限, 則
(1) −σ1σ2 ≤ E(X − µ1)(Y − µ2) ≤ σ1σ2;
(2) E(X − µ1)(Y − µ2) = σ1σ2 ⇔ P {σ1(Y − µ2) = σ2(X − µ1)} = 1;
(3) E(X − µ1)(Y − µ2) = −σ1σ2 ⇔ P {σ1(Y − µ2) = −σ2(X − µ1)} = 1.
4.5 Cauchy-Schwarz 不等式與協方差 139
證 若σ1 = 0 或σ2 = 0, 即X = µ1 a.s. 或 Y = µ2 a.s. 則上述三結論顯然均成立 ,故以下 之證明設 σ1 與σ2 均為正.(1) 令 X1 = X − µ1 σ1
, Y1 = Y − µ2
σ2
,
EX =µ1, EY = µ2, Var X = σ21, Var Y = σ22
⇒ E[X1] = 0, E[Y1] = 0, Var X1 = 1, Var Y1 = 1
⇒ E[X1] = 0, E[Y1] = 0, E[X12] = 1, E[Y12] = 1
⇒ (E|X1Y1|)2 ≤ (E[X12])(E[Y12]) = 1, (∵ Cauchy-Schwarz 不等式)
⇒ (E|(X − µ1)(Y − µ2)|)2 ≤ σ12σ22
⇒ (E(X − µ1)(Y − µ2))2 ≤ σ12σ22. (定理 4.8) (2) P {σ1(Y − µ2) = σ2(X − µ1)} = 1
⇒ X1 = Y1 a.s.
⇒ Eh(X − µ1)(Y − µ2) σ1σ2
i= E[X1Y1] = E[X12] = 1
⇒ E(X − µ1)(Y − µ2) = σ1σ2. 反之,
E(X − µ1)(Y − µ2) = σ1σ2
⇒ E[X1Y1] = 1
⇒ E(X1− Y1)2 = E[X12] − 2E[X1Y1] + E[Y12] = 0
⇒ Var (X1− Y1) = 0
⇒ X1 = Y1 a.s., (系4.19)
⇒ P {σ1(Y − µ2) = σ2(X − µ1)} = 1.
(3) 同理,讀者自證之.
定義 4.20
設X 與Y 為二可積之隨機變數. 且EX = µ1, EY = µ2, Var X = σ12, Var Y = σ22. (1) 若 E(X − µ1)(Y − µ2) 存在, 則稱其為 X 與 Y 之協方差(covariance), 並以
Cov(X, Y )或 C(X, Y ) 表之. (2) 若σ1, σ2 均為有限正數, 則令
ρ(X, Y ) = ρX, Y = C(X, Y ) σ1σ2
, 並稱其為 X 與Y 之相關係數(correlation coefficient).
4.5 Cauchy-Schwarz 不等式與協方差 140 定理 4.21 ( 協方差之性質 )
(1) C(X, Y ) = E[XY ] − (EX)(EY ).
(2) C(X, X) = Var X .