第七章参数估计

(1)

第七章参数估计

关键词：

矩法估计

极大似然估计

置信区间

置信水平（置信度）

枢轴量

(2)

参数：反映总体某方面特征的量

 

I 90

90 1 (90 )

X X

p P X 



 



     

2

设浙江大学大一学生某学年的《微积分》成绩服从正态分布，当时为优秀，则优秀率

也是一个参数，它是和例：

的函数。

(3)

当总体的参数未知时，需利用样本资料对其给出估计——参数估计。

3

两类参数估计方法：点估计和区间估计

(4)

1 n

X



X

_

X X

设设设设设设设设设 , ,设设设设设设设设设

4

1

ˆˆ ( ˆ

ˆ(

n

n n

X X

x x

 

  

 

 



设设设设设设设设设设设设设设, , )

设设设设设设设设设设设设设设

设设设设

设设设设设设设设设, ,设设

设, , )设设设设

设设设设设

常用的点估计方法：

矩法、极大似然法

7.1

参数的点估计

(5)

：以样本矩估计总体矩，以样本矩的函数估计总体矩

统计思想

的函数。

5

：辛钦大数定律和依概率收

理论根据敛的性质

1 1

( ;

, ,

k k

k

F x

k

   

 

 

 



1 1

设总体的分布函数为, , )，其中, ,是待估的未知参数，假定总体的前阶原点矩

或中心矩, ,存在。

（一）矩估计法

(6)

(

ⁱ

) ( , , ),

1

1, ,

i

E X h

i k

i

k

k k

       

设1设设设设设设设设设设设设设设设

6

( , ,

1

), 1, ,

i

g

i k

k











 

(2)设设设设设设设设设设设设

1

ˆ 1 1,

, ,

, _k

i i k

A A

k

g A A i k



 

  



 1

(3)以样本各阶矩, ,代替总体各阶矩，

得各参数的矩估

, 计

( , )，

基本步骤

(7)

.

i i i

i

  B



注：在实际应用时，为求解方便，也可以用中心矩代替原点矩，相应地以样本中心矩

估计

7

(8)

1

( , ) , ,

_n

X U a b a b

X  X a b

设设设设设设设设设设设设设设设设设设设设设设设

设1设

设设设设

8

(9)

2

1 2

( )

( ) ,

2 12

a b a b

  E X  ^   ^ 解（1）求矩关于参数的函数

9

1 3 ,2 1 3 2

a     b    

(2) 求参数关于矩的反函数

2

1 2

1

2 2

, 1 (

ˆ

)

ˆ 3 3

n i i

A X B X

a X B b X B

n X a b









  





1

2

=

(3) 以样本阶矩代替总体矩代替，得参数和

, =

的矩估计

(10)

10

 

1

1 2

2

0 1

0 0

, , _n

X

x x

f x

X X X X







   

  



例：设总体的密度为：

为未知参数，

其他

，为取自的样本，求的矩估计。

(11)

11

   

1 1

E X

^

xf x dx

 





解：（）

1



 



1

0



x dx^





 

²

3 ˆ 1 X

  X

（） 

2 1

1

2 1



^{ }^ 

 

^^

（）

(12)

2

~ ( , ,

X N

 



：某工厂生产的零件长度)，

其中未知，

测定当长度落在[46, 50]时，产品合格，

并以参数代表该厂生产零件的合格率.

从中随机抽取10个，测得长度为

46, 51, 48, 47, 50, 44, 48, 49, 50, 47, 使用矩法给出合格率的

例3

估计值.

(13)

50



46





^{ } ^ ^ _



^ ^ ^ _ ^{ } ^ ^ _



^ ^ ^ _

解：由正态分布的性质知

13

2 2

50 46

ˆ X X

B B



     

      

因此的矩估计为

48,

2

4

ˆ

x B



 



由样本资料计算得代入

=2（1）- 1

得

=0. 6826

(14)

极（最）大似然估计的原理介绍

考察以下例子：

假设在一个罐中放着许多白球和黑球，并假定已经知道两种球的数目之比是 1:3 ，但不知道哪种颜色的球多。如果用放回抽样方法从罐中取 5 个球，

观察结果为：黑、白、黑、黑、黑，估计取到黑球的概率 p.

 

^{二大似然估计法：}^极

(15)

1 3

, .

4 4

p p 

解：设抽到黑球的概率为则本例中，或

15

   

³ ³

1 1 .

4 4 4 1024

p  ⁴ 

当时，出现本次观察结果的概率为

   

3 3 1 81 .

4 4 4 1024

p  ⁴ 

当时，出现本次观察结果的概率为

3 81 3 1

1024 1024 4 4

ˆ 3 .

4

p p

p

  

由于，因此认为比更有可能，

于是取为更合理

(16)

16

~ ( ; )

X p x

    一般地，设离散型总体，，未知。

1, , n 1, , n

X X X x x

从总体中取得样本，其观察值为，

 

1 1

1 1 1

1

, ,

( ) , , ( ; )... ( ; ) ( ; ).



n n

n

n n n i

i

X x X x

L  P X x X x p x  p x  p x 



 

     

设设设设设设设设设

ˆ 1

( ( , , )) max ( )._n

L x x L

  

 

设设设设设设设 

似然函数

1

1 ML

ˆ , ,

ˆ , , E)

n

x x

X X

 



 设设设设设设

设设设设设

设

设设设设设设设设设设

设设设设设设

设设

设

(17)



^,



X

f x

    若总体为连续型的，

概率密度为，，为未知参数。

   

1 2 1 2

1

, , , , , ,

,

n n

n

i i

X X X x x x

L



f x







 

设设设设设设设设设设设设设设设

ˆ 1

( ( , , )) max ( )._n

L x x L

  

 

设设设设设设设 

(18)

18



1 2



1.   , , ,_k

 

设设  设设设设设设设设设设设设设设设   设

   

 

2.

0, 1, 2,..., . ˆ_i 1, 2,..., .

i

L lnL

lnL

lnL i k i k

 



 



   



在求的最大值时，通常转换为求：的最大值，

称为对数似然函数.

利用解得，

 

3. _i

i

L

 



若关于某个是单调增减函数，

此时的极大似然估计在其边界取得；

 

4.若是的极大似然估计，则的极大似然估计为。 ˆˆ g  g 

(19)

 

¹

1

0 1 0

, , _n

X

x x

f x

X X X

 



   

 





设设设

设4设

设设设设设设设设设设设设设设设设

(20)

20

2

1

ˆ

n i i

n lnX

 



  

 

   的极大似然估计量为：

   

2

1

1 1

,

n

i i

n n

i i

L f x

x x



 





 



 

   

 



 

解：似然函数

   

1

1 ln 2

n i i

lnL  n ln  x



  



 

1

1 1 ln 0 2 2

n i i

dlnL n x

d



 ^{  } 



^ ^

令

1

ln

n i i

n x



^{ }



^

即：

(21)

 

^ ^



1



1

, 0

0, , , , ,

,

x

n

X

e x

f x

X X X

 





  

 

   

 



 

设

设设

5设

(22)

22

 

1 解：矩估计

   

1 E X xf x dx



^

 





2

1 2

v



 

  

   得 

 

²

2 ( )

v



D X



E X

  

2 1

ˆ 1 ( )

n i i

X X n

X X X

n







  



    





 

 

 

1 ^x

x e ^{ }dx

 

  





 

2

1 (

x

)

e ^x ^{ }dx

   

  

   

2 2

0

( ) 1

t x ^

t

 

e

t ^

dt



 



   

(23)

23

 ²^{极大似然估计}

 

^ ^

1

, ⁿ 1 ^xⁱ

i

L  

^



_

 e

^ ^^{ }

此处不能通过求偏导数获得的极大似然估计量，

 

(1) 1 2

,

, , ,

i

n

x

x min x x x

 







 设设设设设设设设设设设

 

1

1 1 , 1, 2,..., .

n i i

x

n

e

^ ^

x

i 

i n

 ^

  

  

(24)

24

 ²^{极大似然估计}



^,



¹ ¹ ¹

n i i

x n

L

n

e

L



 

  







  

注意到，是的增函数，

取到最大值时，达到最大。

  ²



 ¹



1

1 ⁿ _i 0

i

dlnL n X X

d



  



  



 

令

 1



1, 2, , _n



,

X min X X X

^    设

 ¹

ˆ X X



  

   

1

1 ⁿ _i ˆ

i

lnL  ^{ }nln ^ 



_ X ^  又

(25)

 

1 2

0, 0

, , ,

_n X

x x x

 







设设设设设设设设设设设设设设设设设设设设设设设设设设设设设

设6设

设设设设

(26)

26

 

1

解：极大似然估计



^;



^{1 0}

0

X f x x 

 _{ }^^ ^{ } 因的概率密度为： 

其它

 

^{1 0} ¹^{, , ,}²

0

n x x xn

L 

  _{ }^^ ^ ^



设设设设设设设设设设 

设设

 

_0, _ˆ

L

dln n

d

 

 ^{  }

由于不能用微分法求

(27)

ˆ :_L 从义发 

以下定出求

   1 2 

0  x_i ,  x _n  max x x, , , x_n 设设设设设设设设设设设

  _{ }

 

1

ˆ

n n

L n

L x

L x L

  



 

 

 又对的是减函数，

越小，越大，故时，最大；

   1 2 

ˆ_L X _n max X X, , , X_n



   

设设设设设设设设设设设

(28)

 

²^矩估计

  ₀ ¹ ₂

E X ^ xdx  X





   由

ˆ 2X



 

(29)

2 ,

0 2 ,

3 X

  



 

 

 

 

1 2 3

设总体的概率分布律为：

2 1- 3 其中,未知

现得到样本观测值2，3，2，1，3，

求的矩估计值与极大似然估计

7

值。

例：

(30)

30

 

1 解：矩估计

1

E X   x p

k k

  



3 5 2 

 

2 2 3 (1 3 2)

  

     

2.2 X     ˆ 0.32

1

2 (3 )

 5 

  

ˆ 2 (3 )

5 X



  

(31)

 

2 极大似然估计

( ) ( 2)(1 3 2)( 2) (1 3 2)

L

        

3 2

1

16  (2 3 )

 

ln ( )

L

   ln16 3ln   2ln(2 3 ) 

ln ( ) 3 6 2 3 0 d L

d



 ^{ }   ^

ˆ 0.4



 

(32)

7.2 估计量的评选准则

从前一节看到，对总体的未知参数可用不同方法求得不同的估计量，如何评价好坏？

四条评价准则：

无偏性准则，有效性准则，均方误差准则和相合性准则

32

(33)

1. 无偏性准则

 

¹ ²

ˆˆ

,

, , ,

ˆ

, _n

X X X

E

  

 







 

设设设设设设设设设设设设

设设设

设设

设设设

设设设设

   

^

 

 ˆˆ ,

, ˆ

n

E li

E m E



 

  









若那么称为估计量的  若则

偏差渐近

称是的无偏估计量

(34)

   

²

2

, ,

X

E X D X

X S

 

 

设总体的一阶和二阶矩存在，分布是任意的，记

证明：样本均例

值和样本方差分别是和

1：

的无偏估计。

(35)

35

1, 2, , _n

X X



X X

X 

故是的无偏估计.

 

1

1 ⁿ

i i

E X E X

n

_

 

  







 

1

ⁿ

i i

n

_

E X

 

1 n n  

  

(36)

36

 

² ²

1

1 ( )

1

n i i

E S E X X

n

_

 

  



 

 

²

2 1

1 ( )

1

n i i

E X n X

n  



 

         



² ²



²

1 1

n

  

  



2 2

S 

故是的无偏估计.

 

²

1

1 ( )

1

n i i

E X X

n

 



   

  



     

   

1

1 1

n

i i

D X nD X

n

_

 

   

 





(37)

 

 

.1 0,

ˆ 2

ˆ

L n

X X

X





检验7节例6（即总体服从上的均匀分布）

的矩估计量与

例

极大似

2

然估计量的

：

无偏性。

(38)

38

   

0, , ,

X U

 

E X

 2 设设 

1, , _n

X



X X

设设设设设设

  ^ˆ ^{ } ²

E



E X

 

 

1

2 ⁿ

i i

n

_

E X



 ^{   } ² _n ⁿ ^{ } ₂



ˆ 2X 



因此是的无偏估计

(39)

39

   

ˆL

X

n

X

n





为考察的无偏性，先求的分布，

由第三章第节知：5

F

X^{ }_n

  x

 

F x  

ⁿ ^,

 

1

0

n

n n X

nx x

f x







 

   于是 

其它

1 0

n

x nx

n

dx



 





 

^ˆ^L

 

^{ }ⁿ

E

 

E X

因此有：

n

1

n

 

 



ˆ

 

L

X

n

 

所以是有偏的。

(40)

纠偏方法

 

    _{ }

 1 

ˆ , , , 0

1 ˆ

2 1 ,

ˆ , ,

ˆ

n n n

n

E a b a b a

a b

X n X X

n

X X

  

 



 



 

   



 

 设设设设设设设设设设设设设设设设设

设设设设设设设设设设设设

设设设设设设设设设设设设设设设设设设设设设设设设设设设设设设设设

40

(41)

2.

有效性准则

   

²

2

1 1 2

1

ˆˆ,

ˆ

,

ˆ

D ˆ D

  









定义：设是的两个估计，

如果对一切成立，

且不等号至少对某一成立，则称比

有效。

无偏

41

(42)

 

 

1

1 2

~ 0, , , ,

ˆˆ 2 , 1

ˆˆ 2

n

X U X X X

X n X

n n



  

 

  

 设设设设设设设设设设 

设设设设设设设设设设设设设设设设设设

设3设

设设

(43)

43

 

^ˆ¹

^{ }

² ⁴ ₁₂² ₃²

D D X

n

 

n

     解：

   

1 0 0

n

n n X

nx x

f x 



   

  由 

其它

  ^ˆ

² ^ ⁿ ²

¹

^ ²

  

^{ }²ⁿ

 

^{ }ⁿ ²



D E X E X





n

^   ^ ^  于是

 

^ˆˆˆˆ¹ ₃²

_

² ₂

_  

² ² ¹

D D

n n n

 

        因为比更有效 

 

 ²ⁿ ₀ ^nxⁿⁿ ¹ ⁿ ₂ ²

E X dx

n



 



  

 

2

n n



 

(44)

ˆ ( ˆ )2

( ).ˆ

E Mse

 



  

定义：设是参数的点估计，方差存在，则称是估计量的均方误差，记为

44

ˆ

Mse( ˆˆ) D( )

    

若是的无偏估计，则有

在实际应用中，均方误差准则比无偏性准则更重要.

3. 均方误差准则

(45)

45

2

S

B

 ²

：试利用均方误差准则，对用样本方差和样本二阶中心矩分别估计正态总体方差时进

例4

行评价.

(46)

46

2 2 2

(n 1)S / ~  (n 1).

解：根据第六章抽样分布定理，在正态总体下，

2 2

2 2 2 4

( ) ( ) .

1 S

Mse S D S

n



  

 又因是的无偏估计，因此

(47)

47

2 2

( ) [( ) Mse B  E B  而

2 2

( ) [ ( ) ] D B E B 

  

2 2 2 2

1 1

(n ) [ (n ) ]

D S E S

n^ n^ 

  

4

2n 2 1 n^ 



2

2 2

2 1 2

1 1

. n n

n n

B S

  

当时，有， 

因此在均方误差准则下，优于

(48)

4.

相合性准则



 











1, ,

0, 0



n n

n

lim X

n P

 X 

  







 

  

 

 



 设设设设设设设设设

设设设设设设设设设设设设设设设设设设设设设设

设设设设

设设设设设设

设设设设设设设设

48

(49)

1

2 2 2

2 1

( ) ( 2) , , ,

(1) ( )

2 1 , 2,..., , 2,...,

3 1 ( ) , ( )

k

k n

n l

l i l

i n i i

X k E X k X X

X

X E X

A X l k l k

n

B X X S D X

n S







 



  

  



设设设设设设设5 设设设  设设设设设设设设设设

设设设设设设设设设设设设设设设设

设设设设设设设设设 (4)设设设设设设设

(50)

50

1

( ), 1, 2,..., . (1) 2

n l

i i

l l

n X

E X l k





 



证明：由辛钦大数定律知，依概率收敛到

因此，（）成立。

1 1

1

1 1

,..., ,..., ( ,..., )

( ,..., ) ( ,..., )

k k

k

k k

A A

g g A A g

 

根据依概率收敛的性质，由是的相合估计，若是连续函数，

则是的相合估计。

2 2

2 1

2 2 2

2 2

1

2 2 2

2 2

( )

1 ( )

1

n i i

D X

B X X A X

n

S n B S

n

S S

  





  

   

 





因为，所以

是的相合估计，

注意到，因此也是的相合估计；

是的相合估计。

(51)

 

 

1

1 2

0, , , , ˆˆ 2 1

n

X U X X X

X n X

n



  



  

设设设设设设设设设设设  设设设设设

设6

设设设设设设

(52)

52

   

^ˆˆ¹ ² ^,

E   E   证：



0, n

   

由切比雪夫不等式，当时，



^ˆ¹



^D

^{ }

²^ˆ¹

P 

  

   

有： ² ₂ 0

3n



 

1 2

 ˆˆ 

所以和都是的相合估计。

 

^ˆ¹ ₃² ^,

D   n ^D

 

^^ˆ² ^ _{n n}_ ^_² ₂_



^ˆ²



^D

^{ }

²^ˆ²

P 

  

   

同理：  

2

2 0

2 n n

 

 



(53)

7.3 区间估计

53

 

   

1

1 1 1 2 2 1

1 2

, ,

ˆˆˆˆ , , , , ,

ˆˆ,

n

n n

X X X

X X X X

   

  

 

 

 



 

设设设设设设设设设设设设设设

(54)

54

 

 1   

;

, , _n 0 1 ,

X F x

X X X

 

  



设设7. 3. 1设设设设设设设设设设设设设设设设设设

设设设设设设设设设设设设设设

    ^ ^  

   ^  

 

^ ^

L L U

U

1

1 1

L 1, , , , 1

, , , , ,

n n 7 1

n n

P

X

X X X

X X

  





 



   

 

  



 

 设设设设设设设设设设设设



 



 

L U

, 1

   

 

双侧置信区间置  则称随机区间是的；称为；

和分别

信度双侧置信下限双侧置

称为和信上限。

( 一）置信区间的定义

(55)

55

置信区间的含义：

 

),

, , ,

100(1 )%.

n

  



 

若反复抽样多次(各次得到的样本容量相等，都为每个样本值确定一个区间每个这样的区间或者包含的真值

或者不包含的真值。按伯努里大数定律，在这些区间中，

包含真值的约占

(56)

0.05, 95%

0.01, 99%



 





 如反复抽样10000次，当即置信水平为时,

10000个区间中不包含的真值的约为500个；当

即置信水平为时, 10000个区间中不包含的真值的约为100个。

(57)

单侧置信限

 

  

 

^ ^

  







1

L 1

L L

7 1

, , 1 , 7 2 , ,

, 1

n

P X

X X

 X   

 

  

    



 



设设7. 3. 2 设设设设设设设设设设设设设

设设设设设

设设设设设设

设设设设设设设

57

(58)

 



 

 

^ ^

  







U

U 1

U

1, , 1

7 2

7 3 ,

, 1

,

n

P X n

X X



X



 



    











 设设设设设设设

设设设设设

设设设设设设

设设设设设设设

(59)

 单侧置信限和双侧置信区间的关系：

   

 

L L 1

U U 1

L U

, , , ,

n

X X

   

    







1

2

1 2

设设设设设设设设设1-设设设设设设设设

设设设设设设设设1-设设设设设设设设设设设设设设设设设设设设1-设设设设设设设设

(60)

60

L U U L

[ ,

 

ˆˆˆˆ ]

E

(







) 定义：称置信区间的平均长度

为区间的，并称二分之一区间的平均长度为置信区间的

精确度

误差限。

说明：在给定的样本容量下，置信水平和精确度是相互制约的。

第七章 参数估计