第十六章 概率统计与随机过程
本章扼要的介绍了概率论的重要内容，除了介绍随机事件及其概率、随机变量和分布函数、随
机变量的数值特征、概率母函数、矩母函数和特征函数、大数法则和中心极限定理等基本概念外, 还介绍了正态分布表和概率纸的用途。这一章着重的叙述了常用数理统计方法，包括样本及其频率 分布、总体参数的区间估计、统计检验、方差分析、回归分析、正交实验设计、抽样检验、质量评 估（工序控制）等八个部分；最后简述了随机过程论的基本内容，突出了较为常用的马尔科夫过程 和平稳随机过程。
§1 概率论
一、 事件与概率
1
.
随机事件及其运算关系[随机事件 · 必然事件 · 不可能事件] 在一定条件下，可能发生也可能不发生的试验结果称为
随机事件，简称事件，用A , B , C ,···表示。随机事件有两个特殊情况，即必然事件（在一定条件 下，每次试验都必定发生的事件）和不可能事件（在一定条件下，各次试验都一定不发生的事件），
分别记为Ω 和Φ 。 [事件的运算关系]
1° 包含 当事件B发生时,事件A也一定发生，则称A包含B或B包含于A中，记作AB，
或BA。
2° 等价 如果AB 且AB，即事件 A和B 同时发生或不发生，则称A 与B等价，记作
A=B。
3° 积 表示事件A和B同时发生的事件，称为A与B的积，记作AB(或AB）。
4° 和 表示事件A或事件B发生的事件，称为A与B的和，记作AB(或A+B）。
5° 差 表示事件A发生而事件B不发生的事件，称为A与B的差，记作A \ B（或AB）。
6° 互斥 如果事件A与B不可能同时发生，即AB，那末称A与B是互斥（或互不相
容）的。
7° 对立 如果事件A与B互斥，又在每次试验中不是出现A就是出现B，即AB=且
AB=Ω ，那末称B为A 的对立事件，记作B= A。
8° 完备 如果事件A1 ，A2 , ··· , An在每次试验中至少发生一个，即A1A2 An 0，
则称{A1，A2，··· ，An}构成一个事件完备组。特别当A1 ，A2 ，··· ，An又是两两互斥时，即AiAj=
（ij，i，j=1，2，··· ，n），就称{A1，A2 ，··· ，An}是两两互斥的事件完备组。
2、概率的几种定义
[频率与概率] 随机事件在一次试验中是否发生，固然是无法事先肯定的偶然现象，但当进行
多次重复试验，就可以发现其发生的可能性大小的统计规律性。具体说，如果在相同条件下进行n 次重复试验，事件 A出现了v次，那末事件A在 n次试验中出现的频率
n
当
n无限增大时呈现稳 定性。这一统计规律性表明事件 A 发生的可能性大小是事件本身所固有的、不以人们主观意志改 变的一种客观属性。事件A发生的可能性大小称为事件A的概率，记作P(A)。当试验的次数n足 够大，可用事件的频率近似地表示该事件的概率，即
n A v P( )
[概率的古典定义] 设一个随机试验（不能事先准确的预言它的结果，而且在相同条件下可以
重复进行的试验）只有有限个不同的基本事件ω1 , ω2 , ··· ,ωn（基本事件也是一种事件，一般 的事件总是有几个基本事件共同组成的），每个基本事件都是等可能*的，基本事件的全体记作Ω ， 称它为基本事件空间，如果事件A由k (kn) 个不同的基本事件组成，那末规定A的概率P(A)为
* （在应用中，往往当一种事件没有任何理由比另一事件更容易发生时，就认为这两个事件等可能）
n A k P( ) 不可能事件的概率规定为
0 ) ( P [概率的公理化定义]
定义 1 设Ω{}，F{A|A},如果F满足下面条件：
（i）ΩF;
(ii) 若AF，则AF（AΩ\A）;
(iii) 对于任意An F (n=1,2,···)，有
1 n
An F
则称F是Ω中的一个 代数。
定义2 设P(A)(AF)是 代数F上的实值集函数，如果它满足条件：
（i） 对任意AF，有0P(A)1；
（ii） P(Ω)1；
（iii） 对任意An F(n=1 , 2 , ···)，AiAj= ( ij ) 有 P(
1 n
A )=
1
(
n
P An)
则称P(A)为F上的概率测度，或简称概率。这时，称ω 为基本事件，A(F)称为事件，F是事件的
全体，P(A)称为事件A的概率，<Ω,F ,P> 称为概率空间。
3．概率的基本性质 1° 0P(A)1
2° P(必然事件)=P(Ω)=1 3° P(不可能事件)=P()=0
4° P(AB)=P(A)+P(B)—P(AB) 若A , B互斥，则P(AB)=P(A)+P(B)
若A1 , A2 , ··· , An两两互斥，则
P(A1 A2 An)=P(A1)+P(A2)+···+P(An)=1 5° 若AB，则P(A)P(B)
6° 若AB，则P(A)P(B)=P(A\B) 7° 对任意事件A，P(A)=1P (A)
8° 若A1 , A2 ,··· , An是两两互斥的事件完备组，则
P(A1 A2 An )=P(A1)+P(A2)+···+P(An)=1 9° 设AnF，AnAn+1 , n=1,2,···,令A=
1 n
An , 则 P(A)=lim ( )
n
An
P （连续性定理）
4、概率的计算公式
[条件概率与乘法公式] 在事件B发生的条件下，事件A发生的概率称为事件A在事件B已发
生的条件下的条件概率，记作P(A|B)。当P(B)>0时，规定
P(A|B)=
) (
) (
B P
B A
P
当P(B)=0时，规定P(A|B)=0。由此得出乘法公式：
P(AB)=P(B)P(A|B)=P(A)P(B|A)
P(A1A2···An)=P(A1)P(A2|A1)P(A3|A1A2)···P(An|A1A2···An-1) (P(A1A2···An-1)>0)
[独立性公式] 如果事件A与B满足P(A|B)=P(A)，那末称事件A关于事件B是独立的。独立
性是相互的性质，即A关于B独立，B一定关于A独立，或称A与B相互独立。
A与B相互独立的充分必要条件是：
P(AB)=P(A)P(B) 如果事件A1 ,A2 ,···, An中任意m个(2mn)
im
i
i A A
A , , ,
2
1 都满足关系式 )
(
1
1
m
k i m
k
ik P Ak
A
P
称A1 , A2 ,···, An是总起来独立的，简称为相互独立。
[全概率公式] 如果事件组B1 , B2 ,···满足
j
i B
B (i j) P(
1 i
Bi )=1, P(Bi)>0 (i=1,2,···) 则对于任意一事件A，有
1
) ( )
| ( )
(
i
i
i P B
B A P A
P
如果Bi只有n个，公式也成立，此时右端只有n项相加。
[贝叶斯公式] 如果事件组B1 , B2 ,···满足
j
i B
B (ij) 1
1
iBi
P , P(Bi)0 (i1,2,) 则对于任一事件A(P(A)>0)，有
P(Bi |A)=
1)
| ( ) (
)
| ( ) (
i
i i
i i
B A P B P
B A P B P
如果Bi只有n个，公式也成立，此时右端分母只有n项相加。
[伯努利公式] 设一次试验中某事件A出现的概率为p，则n次重复试验中事件A出现k次的
概率pn,k为
pn,k =
k
n pk(1 p)n-k
(k=0,1,···,n)
式中
k
n 为二项系数。
当n和k都很大时，有近似公式
pn,k
2
1 x22
e 式中 np(1 p) ,
np x k
。
[泊松公式] 当n充分大，且p很小时，有近似公式
pn,k
! k
k
e
式中= np。
二、 随机变量与分布函数
[随机变量及其概率分布函数] 每次试验的结果可以用一个变量的数值来表示，这个变量的
取值随偶然因素而变化，但又遵从一定的概率分布规律，这种变量称为随机变量，用, ,··· 表示。
它是随机现象的数量比。
给定随机变量，它的取值不超过实数 x 的事件的概率 P( x)是 x 的函数，称为的概率分
布函数，简称分布函数，记作F(x) ，即
F(x)=P( x) (x) [分布函数的基本性质]
1° limF(x)0
x ,
1 ) (
lim
F x
x
2° 若x1<x2，则F(x1)F(x2) （单调性）
3° F(x+0)=F(x) （右连续性）
4° P(a< b)=F(b)F(a) 5° P( a)=F(a)F(a0)
[离散分布与概率分布列] 如果随机变量只能取有限个或可列个数值x1 , x2 ,···, xn ，···，就称
为离散型随机变量。若记P( xk)=pk (k=1,2,···)，则取值的概率分布由{pk}完全确定。称{pk} 为的概率分布列。{pk}有以下性质：
1° pk 0 2°
k
pk
=1
3°设D为实数轴上任一可测集，则P(
D x
k
k
p
D)
4° 的分布函数
F(x)=
x x
k
k
p 是在xk处有跳跃 pk的阶梯函数。
[连续分布与分布密度函数] 如果随机变量的分布函数F(x)能够表示为
F(x)=
x p(x)dt （p (x)非负）就称是连续型随机变量。p(x)称为的分布密度函数（或分布密度）。分布密度函数具有以下性质：
1° p(x)= ( ) 0 d
d F x
x 2°
xp(x)dx13° 若p (x)是连续型随机变量的分布密度，则对实数轴上的任一可测集D，有
P(D)
Dp(x)dx[随机变量的函数的分布] 如果随机变量是随机变量的函数
f()
设随机变量的分布函数为F(x)，则 f()的分布函数G(x)为 G(x)=
f yx F y)
( d ( )
特别，当是离散型随机变量时，其可能值为x1 , x2，···,且P( xk) pk，则 G(x)=
x x f
k
k
p
) (
当是连续型随机变量时 ，其分布密度为p(x)，则 G(x)=
f yxp y y)
( ( )d
[随机矢量的联合分布函数与边缘分布函数] 如果1,2,···,n联系于同一组条件下的n个随机
变量，则称(1,2,···,n)为n维随机变量或随机矢量。
若(x1 , x2 ,···，xn)是n维实数空间Rn上的一点，则事件“ 1x1,2 x2,···,n xn的概率 F(x1,x2,,xn)P(1 x1,2 x2,,n xn)
作为x1 , x2 ,···, xn的函数，称为随机矢量(1,2,···,n)的联合分布函数。
设( , ,
2
1 i
i
···, )
im
是(1,2,···,n)中任意取出 m(mn)个分量构成的 m 维随机变量，则称
( , ,
2
1 i
i
···, )
im
的联合分布函数为(1,2,···,n)的m维边缘分布函数。
这 时 ， 如 果 分 别 记( 1,2, ···,n) 与( , ,
2
1 i
i
···, )
im
的 分 布 函 数 为 F(x1,x2,···,xn)与 )
, ,
( 1 2
2
1i im i i im
i x x x
F ，那末
( , , , )
2 1 2
1i im i i in
i x x x
F =F(,···,x
i1,···, ,···,x
im,···,)
[条件分布函数与独立性] 设是一随机变量，事件B满足P(B)>0，则称
F(x|B)=P ( x|B) 为在事件B已发生的条件下的条件分布函数。
1°设(, )是二维离散型随机变量，和的可能取值分别为xi (i=1,2,···)和yk (k=1,2,···).又记
(, ) 的联合分布为
P( xi, yk)= pik
两个一维边缘分布为
P( xi)=pi·=
k
pik (i=1,2,···) P( yk)= pk=
i
pik
) , 2 , 1
(k
则称
P( xi| yk)=
k ik
p p
(pk 0,i1,2,) 为在 yk条件下离散型随机变量的条件分布。类似的，称
P( yk| xi)=
i ik
p
p (pi>0, k=1,2,···)
为在 xi条件下离散型随机变量的条件分布。
2° 设(, )是二维连续型随机变量，其联合分布密度是 f(x,y)，在点y ,
f(t,y)dt0则称
t y t f
t y t f y
x P y x F
x
d ) , (
d ) ,
(
为在=y条件下的条件分布函数，在点x，
f(x,t)dt 0则称
t t x f
t t x f x
y P x y F
y
d ) , (
d ) ,
(
为在 x条件下的条件分布函数。
3° 如果(1,2,···,n)的联合分布函数等于所有一维边缘分布函数的乘积，即 F(x1 , x2 ,···, xn)=F1(x1)F2(x2)Fn(xn)
（它相当于P(1 x1,2 x2,···,nxn)=P(1 x1)P(n xn))那末称1,2,···,n是相互独立的。
三、 随机变量的数字特征
[数学期望（均值）与方差] 随机变量的数学期望（或均值）记作 E（或 M），它描述了
随机变量的取值中心。随机变量( E)2的数学期望称为的方差，记作D（或Var），而D 的平方根称为的均方差（或标准差），记作 = D 。它们描述了随机变量的可能取值与均值的 偏差的疏密程度。
1° 若是连续型随机变量，其分布密度为p(x)，分布函数为F(x)，则（当积分绝对收敛时）
E=
xp(x)dx xdF(x)
D=
(xE)2p(x)dx (xE)2dF(x)
2° 若是离散型随机变量，其可能取值为xk , k=1,2,···，且P(=xk)=pk，则（当级数是绝对收
敛时）
E
1 k
k kp x
D= 2
1
)
(
k
k E
x pk
[均值与方差的几个公式]
1 ° D=E2-(E)2
2° Ea=a , Da=0 （a为常数）
3° E(c)=cE , D(c)=c2D（c为常数）
4° E()EEE[(E)(E)]
5° 若1 , 2 ,···, n为互相独立的n个随机变量，则 E(1+2+···+n)=E1+E2+···+En
D(1+2+···+n)= [( )( )]
1 ,
j j i n
j i
i E E
E
6° 若1 , 2 ,···, n为互相独立的n个随机变量,则 E(12···n)=(E1)(E2)···(En) D(1+2+···+n)=D1+D2+···+Dn
7° 若1 , 2 ,···, n 为互相独立的随机变量，且Ek=0, D k=2(k=1,2,···,n)则随机变量
n
k
n 1 k
1
的均值与方差分别为
D n E
2
,
0
[契贝谢夫不等式] 对任一给定的正数，有
2
E D
P
[条件数学期望与全数学期望公式] 设F(x|B)是随机变量对事件B的条件分布函数，则
B
x F
xBE d
称为（当积分绝对收敛时）对事件B的条件数学期望。若是连续型随机变量，其条件分布密度 为p(x|B)，则
B xp
xB xE
d 若是离散型随机变量，其可能取值为x1 , x2 ,···，则
k
k
kP x B
x B
E ( )
若B1 , B2 ,···,Bn是两两互斥的事件完备组，则有全数学期望公式
n
k
k
k E B
B P E
1
) ( )
(
[中位数、众数与均值的关系] 满足
P( 2 ) 1
m
, P(
2 ) 1
m
的数m称为随机变量的中位数。换句话说，m满足下面两式：
P( m)P(m) P( m)P(m)
使分布密度函数取值为最大，即
p(xˆ )=极大值 的xˆ称为随机变量的众数。
对于单峰对称分布函数，m=xˆ =E（均值）
对于非对称单峰分布函数，m位于与xˆ之间。
[高阶原点矩与中心矩] 当r0，随机变量r和(E)r的数学期望（假设存在）分别称为随
机变量的r阶原点矩和r阶中心矩，分别记作r和r。特别，1 M 为均值，2 D 2 为方差。
1° 若是连续型随机变量，其分布密度为p(x)，则
E x p x x
vr r r ( )d
E E r x E r p x x
r ( ) ( ) ( )d
2° 若是离散型随机变量，其可能取值为xk (k=1,2,···),且P(=xk)=pk ，则
k r k r
r E x
pk
k r k
k r
r E( E) (x E) p
3° 当 r0，随机变量 r和 E r的数学期望（假设存在）分别称为随机变量的 r阶绝对
原点矩和r阶绝对中心矩。且有类似公式与1°,2°对应。
4° 原点矩r和中心矩r满足如下关系（r 是正整数）；
j j r r
j
j r
r j
r
10
) 1 (
j j r r
j
r j
r
1
0
式中
j
r 为二项系数。
[协方差与相关系数] 设随机变量1和2的均值和方差都存在，则1和2的协方差
2 1
或 Cov(1,2)为
2 1
=E[(1E1)(2 E2)]
1和2的相关系数
2 1
为
2 1
=
2 1
2 2 1
1 )( )]
[(
D D
E E
E
四、 概率母函数·矩母函数·特征函数
[
整数值随机变量的概率母函数] 若是只取非负整数值的随机变量，则称随机变量函数的均 值E为随机变量的概率母函数。记P=(=k)=pk ( k=0,1,2,···), 则的概率母函数是P( k
k
pk
)
(-1 1)设 ( ) d
) d
)(
(
P
P m
m
m ,则
P(1)=E
P(1)=E[(1)]2
···
P(m)(1)E[(1)( m)]
反过来有 P(1)
2 P''(1)P'(1)[P'(1)]2 [矩母函数] 若是随机变量，则称随机变量函数et的均值
) ( )
(
t E et
为的矩母函数。如果有任意阶原点矩k(k 1,2,···)，则
k k
kt t
k
1 !
1 )
(
) 0
)(
(k
k u
v
1° 若是离散型随机变量，其可能值为x1, x2,···,P( xk) pk则
k k tx p x e
t) ( )
(
2° 若是连续型随机变量，其分布密度为p(x),则
e p x x t) tx ( )d
(
[特征函数] 若是随机变量，称复值随机变量e
it 的均值
) ( )
(
t E eit (i= 1) 为的特征函数。如果有任意阶原点矩k(k=1,2,···)，则
k k
k it
t k ( )
1 ! ) (
1
) 0 ( ) ( k (k)
k i
1 若是离散型随机变量，其可能值为x1 , x2 ,···, P( xk) pk,则
k
k itx p e
t) k
(
2° 若是连续型随机变量，其分布密度为p(x)，则
e p x x t) itx ( )d
(
[概率母函数、矩母函数和特征函数之间的关系]
P(et)=(t) P(eit)=(t) ) ( ) (it t
五、 常用分布函数
1、常用离散型分布
名称记号 概率分布及其定义域 参数条件
均值E 方差
D
概率母函数 ) ( p
矩母函 数
)
(t
特征函数 )
(t
图 示
二项分布 ) , (n p B
x n x
B p q
x x n
P
) (
n x0,1,,
1 ,
0 ,
0
q p q
p
n为正整数
np npq (p q)n (p q)n (peit q)n
泊松分布 ) ( P
e x x
P
x
P( ) !
, 2 ,
1 x
为正整数
e(1) e(et1) e(eit1)
几何分布 ) (p G
) 1
( x
G pq
P
, 2 ,
1 x
1 ,
0 ,
0
q p q
p
p 1
p2
q
q p
1 e q
p
t
it
it
qe pe
1
负二项分布 ) , (a p B
x x
B p q
x x x a
P
) 1 (
, 2 , 1 ,
0 x
1 ,
0 ,
0
q p q
p
a为正实数
p aq
p2
aq a
q p
1
a
qet
p
1
a
qeit
p
1
单点分布 )
(c
x c
c x x
P 0,
, ) 1 (
c为正整数
c 0 c ect eict
名称记号 概率分布及其定义域 参数条件
均值E 方差
D
概率母函数 ) ( p
矩母函 数
)
(t
特征函数 )
(t
图 示
对数分布 ) (p
L x
q x p
P
x
L ln
) 1 (
, 2 ,
1 x
1 ,
0 ,
0
q p q
p
p p
q
ln
p p
p q q
ln 1 ln
2
p
a ln
) 1
ln(
p qet ln
) 1 ln(
p qeit ln
) 1 ln(
超几何分布 ) , ,
(n M N
H
n N
x M x n
M N x PH( )
, }, ,
0
max{ n N M
x
} , min{n M
n M
N, , 为正整数 N n N
M
,0
0
N nM E
2
) (
1 N
M N M
N n nN D
eie
n M N M n F n N n
M N
t) ( , ; 1;
(
（F为超几何函数）
2、常用连续分布
名称记号 分布密度及其定义域 参数条件
均值E 方差D 矩母函数 )
(t
特征函数 )
(t
图 示
均布函数 ) , (ab
u
b x a x
b x a a x b
pu
, 或 0
1 , )
(
a b
2 b a
12 ) (ba 2
) (b a t
e ebt at
) (b a it
e eibt iat
标准正态分布 ) 1 , 0 (
N 2
2
2 ) 1 (
x
N x e
p
0 1 t22
e 2
t2
e 正态分布
) , ( 2 N
2 2
2 ) (
2
1
x
N e
p
x
0
,
2
2
2 2t
e t
2
2 2t t
ei
瑞利分布 ) (
R
0 ,
0
0 ) ,
(
2 2
2 2
x x x e
x p
x
R
0
2
2
2 4
指数分布 ) , ( e
x
x x e
p
x
e 0,
) , (
) (
1
2
1
1
1
eut t
1
1
it
ei t
贝塔分布 ) , (p q
0 , 0
1 0
, 0
1 0
) , , (
) 1 ( )
(
1 1
q p
x x
q x p B
x x
x p
q p
或
q p
p
(pq)2(pq1)
pq 1F1(p,pq;it)
（库默尔函数）
伽马分布 ) , (
0 , 0 , 0
, )
)( (
) (
) ( 1
c x
c x
e c x x p
c x
c
2
t
ect 1
it eict 1
对数正态分布 Ln(,2)
0 ,
0 0 ,
, 2
1 ) (
2 2
2 ) (ln
x x x
e x x p
x Ln
2
2
e
) 1 ( 2
22 e
e
2分布（自由 度为n)
2(n)
0 ,
0
0 , 2 2
1 ) (
1 2 2 2
2
x
x e x n x p
x n n
n为正整数
n 2n
) 2
2 1 (
n
t
(1 2 ) 2
n
it
t分布（自由 度为n） t2(n)
2 1 2
1 2 2
1 ) (
n t
n x n n
n x p
n为正整数
(n>1) 0
2 n
n ) 2 (n
n N t
n t n
n
n
2
2
2 2 1
) (
2
y
Nn 为诺依蔓函数 F分布（自由
度(m,n)）
F(m,n)
0 ,
0
0 , 1
,2 2
) (
2 2
1 2
x
n x mx n
m n B m
x x p
n m m m
F
m,n为正整数
) 2 (
2
n n
n
) 4 (
) 4 ( ) 2 (
) 2 ( 2
2 2
n
n n m
n m n
mit n n F m
t
2; 2; ) (
1 1
（库默尔函数）
威 尔 布 分 布
) , (m
W
x
x e
m x x p
x m
m W
, 0
, )
( ) (
) (
1 形 状
参数m0，尺度参数 0， 位置参数
m
am 1 1
1
1)]
1 (
2) 1 ( [
2 2
m am m
柯 西 分 布
) , (
C , 0
) (
1
2 2
x
x a a
不存在
t t
ei
六、 大数法则与中心极限定理
[大数法则]
1° 伯努利定理 随机事件A在n次独立试验中的频率
n
依概率收敛于事件
A的概率p，即对 任意 0，
1
lim
p
n P v
n
2°互相独立的随机变量1,2,···如果(i)存在均值方差。记Ek k,Dk k(k 1,2,···)
；或者（ii）具有相同分布，且有有限均值Ek 。那末
nk
n 1 k
1
依概率收敛于随机变量的均值Ek ，即对任意 0，
1 1 lim
1
n
k
n P n k
3° 如 果 互 相 独 立 具 有 相 同 分 布 的 随 机 变 量 1,2,的 均 值 和 方 差 都 存 在 ， 记
,
k
E Dk 2(k 1,2,),那末
2 1 1
1 ) 1 (
n
i i n
k
k n
n
依概率收敛于随机变量的方差Dk 2，即对任意 0， 1 1
lim 1 2
2
1 1
n
k
n
i i
n P n k n
[中心极限定理]
1° 如 果 互 相 独 立 具 有 相 同 分 布 的 随 机 变 量 1,2, 的 均 值 和 方 差 都 存 在 ， 记 )
, 2 , 1 (
, 2
D k
Ek k ，那末随机变量
n n
n
k k
11
渐近地遵从标准正态分布N(0,1)，即
