极大似然估计

极大似然估计

思路：样本 X

₁ , X 2 , · · · ^, X n

经具体抽样所得的观察值

 1 ,  2 , · · · ^,  n

应当是最可能出现的数值．

方法：在已知分布类型的情况下，求参数使得事件 {X

1

= 

1 , X 2

= 

2 , · · · ^, X n

= 

n

}

对应的概率（离散型）或者概率密度（连续型）达到 最大值．

.

.

极大似然估计

思路：样本 X

₁ , X 2 , · · · ^, X n

经具体抽样所得的观察值

 1 ,  2 , · · · ^,  n

应当是最可能出现的数值．

方法：在已知分布类型的情况下，求参数使得事件 {X

1

= 

1 , X 2

= 

2 , · · · ^, X n

= 

n

}

对应的概率（离散型）或者概率密度（连续型）达到 最大值．

.

.

.

.

极大似然估计

定义 1 设 X 为离散型随机变量，称函数

ƒ

() = P{X = }

^,  ∈ R

为 X 的概率函数．

若离散型随机变量 X 的分布律为

P{X

= 



}= p

 , 

= 1

^,

2

, · · ·

则其概率函数为

() =

¨ p _ , 

= 

 ,

对某个 

,

.

.

极大似然估计

设离散型总体 X 的概率函数为 ƒ()，则事件 {X

1

= 

^{1 ,} X 2

= 

^{2 ,} · · · ^, X n

= 

ⁿ

} 对应的概率为

∏ n

 =1

ƒ

(



) = ƒ (

1

)ƒ (

2

) · · · ƒ (

n

).

.

.

极大似然估计

设连续型总体 X 的概率密度函数为 ƒ()，则事件 {X

1

= 

^{1 ,} X 2

= 

^{2 ,} · · · ^, X n

= 

ⁿ

} 对应的联合概率密度为

∏ n

 =1

ƒ

(



) = ƒ (

1

)ƒ (

2

) · · · ƒ (

n

).

.

.

.

.

.

.

.

.

极大似然估计

参数的选择：哪一组参数值使得现有的样本观测值出 现的可能性最大，哪一组参数就与观察结果最匹配的 参数．

定义 如果似然函数

L

(

1 ,  ₂ , · · · ^,  _n

; θ

₁ , θ ₂ , · · · ^, θ _k

) 在

(θ

^∗ ₁ ^, θ ^∗ ₂ , · · · ^, θ ^∗ _k

)

.

.

极大似然估计

求似然函数最大值点的方法：

1

若函数可微，则其在最大值点处的导数（偏导数）

为零；

2

由于 ln L 与 L 同时达到最大值，且在实际应用中 常常比 L 更方便求导，故一般将问题化为求 ln L 的最大值点．

.

.

极大似然估计

求极大似然估计的一般方法：

1

写出似然函数 L；

2

求似然函数的对数 ln L；

3

对 ln L 求导（偏导）并令导数等于零，得到似然 方程组；

4

解方程组得到 ln L 的驻点，判断该驻点是否最大 值点．

.

.

极大似然估计

例 1 设 X

1 , X 2 , · · · ^, X n

是抽自总体 B(1

^, p

) 的一个随 机样本，求参数 p 的极大似然估计．

解答 由于 B(1

^, p

) 是二项分布的特殊情形，得到的 概率函数为 ƒ() = p

^

(1 − p)

^{1 −}

．

结论 频率是概率的极大似然估计．

.

.

极大似然估计

例 1 设 X

1 , X 2 , · · · ^, X n

是抽自总体 B(1

^, p

) 的一个随 机样本，求参数 p 的极大似然估计．

解答 由于 B(1

^, p

) 是二项分布的特殊情形，得到的 概率函数为 ƒ() = p

^

(1 − p)

^{1 −}

．

结论 频率是概率的极大似然估计．

.

.

极大似然估计

例 1 设 X

1 , X 2 , · · · ^, X n

是抽自总体 B(1

^, p

) 的一个随 机样本，求参数 p 的极大似然估计．

解答 由于 B(1

^, p

) 是二项分布的特殊情形，得到的 概率函数为 ƒ() = p

^

(1 − p)

^{1 −}

．

结论 频率是概率的极大似然估计．

.

.

极大似然估计

例 2 设总体 X 服从泊松分布 P(λ)，求 λ 的极大似 然估计．

结论 样本均值是泊松分布的参数的极大似然估计．

.

.

极大似然估计

例 2 设总体 X 服从泊松分布 P(λ)，求 λ 的极大似 然估计．

结论 样本均值是泊松分布的参数的极大似然估计．

.

.

极大似然估计

例 3 求正态总体 N(μ

^, σ ²

) 的参数 μ 和 σ

²

的极大似 然估计（注意我们把 σ

²

看作一个参数）．

结论

μ ^∗

= X

^, σ ^2∗

=

¹ _n ^{∑ n}

 =1

(X

^ − X) ² .

.

.

极大似然估计

例 3 求正态总体 N(μ

^, σ ²

) 的参数 μ 和 σ

²

的极大似 然估计（注意我们把 σ

²

看作一个参数）．

结论

μ ^∗

= X

^, σ ^2∗

=

¹ _n ^{∑ n}

 =1

(X

^ − X) ² .

.

.

极大似然估计

例 4 设总体 X 的分布律为

X −1

0 1

P θ ²

2θ(1 − θ) (1 − θ)

²

其中 θ

∈ (0 ^,

1)．利用 X 的一组样本值 (

^{1 ,}  2 ,  3

) = (−1

^,

0

, −1)，求 θ 的极大似然估计．

· · · · θ ^∗

=

⁵ ₆

.

.

极大似然估计

例 4 设总体 X 的分布律为

X −1

0 1

P θ ²

2θ(1 − θ) (1 − θ)

²

其中 θ

∈ (0 ^,

1)．利用 X 的一组样本值 (

^{1 ,}  2 ,  3

) = (−1

^,

0

, −1)，求 θ 的极大似然估计． · · · · θ ^∗

=

⁵ ₆

.

.

极大似然估计

练习 1 设总体 X 的分布律为

X

1 2 3

P ₂ ^{θ θ} ₂

1

− θ

其中 θ

∈ (0 ^,

1)．现抽取 4 个样本观察得

 1

= 2

^,  2

= 1

^,  3

= 2

^,  4

= 3.

求 θ 的极大似然估计．

.

.

极大似然估计

练习 2 设总体 X 的密度为

ƒ

(; θ) =

 θ ^{θ −1} ,

0

_¶  _¶

1 0

,

otherwise 其中 θ > 0．求 θ 的矩估计和极大似然估计．

.

.

极大似然估计

如果似然函数不可导，则只能用定义求极大似然估计．

例 5 设总体 X 服从 [

^, b

] 上的均匀分布，求 

^, b 的

极大似然估计．

.

.

.

.

在文檔中 参数估计 (頁 33-58)