收敛的充分条件及误差估计
• 很显然，计算谱半径非常困难，用它来判断迭代格式是否收敛很 不方便。
• 能否找一些比较容易计算的条件呢？
收敛的充分条件及误差估计
定理
若∥A∥ < 1，则 I − A 非奇异，且
∥(I − A)−1∥ ⩽ 1 1 −∥A∥.
收敛的充分条件及误差估计
定理
对于迭代格式
x(k+1)= Mx(k)+ g, k = 0, 1,· · · . 若∥M∥ = q < 1，则
∥x(k)− x∗∥ ⩽ qk
1 − q∥x(1)− x(0)∥.
注
由该定理可知，给定近似解的精度，可计算出迭代次数，但实际 计算时用起来并不方便。
收敛的充分条件及误差估计
定理
对于迭代格式
x(k+1)= Mx(k)+ g, k = 0, 1,· · · . 若∥M∥ = q < 1，则
∥x(k)− x∗∥ ⩽ qk
1 − q∥x(1)− x(0)∥.
注
由该定理可知，给定近似解的精度，可计算出迭代次数，但实际 计算时用起来并不方便。
收敛的充分条件及误差估计
收敛的充分条件及误差估计
收敛的充分条件及误差估计
收敛的充分条件及误差估计
证明
由 e(k)= Mke(0) 可知
∥e(k)∥ = ∥Mke(0)∥ ⩽ ∥M∥k∥e(0)∥ = qk∥e(0)∥ 因∥M∥ < 1，故 (I − M)−1 存在且 x∗= (I − M)−1g。于是
e(0) = x(0)− x∗= x(0)− (I − M)−1g
= (I − M)−1[
x(0)− (Mx(0)+ g)]
= (I − M)−1[
x(0)− x(1)] 从而有
∥e(0)∥ ⩽ ∥(I − M)−1∥ ∥x(0)− x(1)∥.
注意到当∥M∥ = q < 1 时，有
收敛的充分条件及误差估计
定理
若∥M∥ = q < 1，则
∥x(k)− x∗∥ ⩽ q
1 − q∥x(k)− x(k−1)∥.
注
该定理表明，可用相邻两步近似值的差来判别迭代法是否应该终 止，这在实际编程时非常好用。
收敛的充分条件及误差估计
定理
若∥M∥ = q < 1，则
∥x(k)− x∗∥ ⩽ q
1 − q∥x(k)− x(k−1)∥.
注
该定理表明，可用相邻两步近似值的差来判别迭代法是否应该终 止，这在实际编程时非常好用。
收敛的充分条件及误差估计
证明 由
x(k)− x∗ = Mx(k−1)+ g − (Mx∗+ g)
= Mx(k−1)− Mx∗
= Mx(k−1)− M(I − M)−1g
= M(I − M)−1(x(k−1)− x(k)) 可得
∥x(k)− x∗∥ ⩽ q
1 − q∥x(k)− x(k−1)∥, 定理得证。
收敛的充分条件及误差估计
注
• 用范数判定迭代法是否收敛虽然只是一个充分条件，但用起 来比较方便。
• 常用 1 范数和∞ 范数来进行判定。
• 迭代矩阵 MJ 比较容易计算，故范数判别法对 Jacobi 迭代 而比较好用。
• 迭代矩阵 MGS 涉及到求下三角阵的逆，计算比较麻烦，故 范数判别法不太适用于 G-S 迭代。
收敛的充分条件及误差估计
定理
若 A 对称且∀i, aii> 0，则
Jacobi 迭代收敛 ⇐⇒ A, 2D − A皆正定
收敛的充分条件及误差估计
证明
因 aii> 0，故 D−1 存在。
• 由
MJ = −D−1(L + U) = −D−1(A − D)
= D−1/2(I − D−1/2AD−1/2)D1/2 可知
MJ ∼ I − D−1/2AD−1/2.
• 由 A 对称可知I − D−1/2AD1/2 也对称，从而其特征值为 实数。
于是，M 的特征值为实数。
收敛的充分条件及误差估计
证明 (充分性) : 由
Jacobi 迭代收敛 ⇐⇒ ρ(MJ) < 1 ⇐⇒ ρ(I − D−1/2AD−1/2) < 1 知
D−1/2AD−1/2的特征值∈ (0, 2) =⇒ A正定 2I − D−1/2AD−1/2的特征值∈ (0, 2)
又因2I − D−1/2AD−1/2= D−1/2(2D − A)D−1/2，从而知2D − A 正定。
收敛的充分条件及误差估计
证明 (充分性) : 由
Jacobi 迭代收敛 ⇐⇒ ρ(MJ) < 1 ⇐⇒ ρ(I − D−1/2AD−1/2) < 1
知
D−1/2AD−1/2的特征值∈ (0, 2) =⇒ A正定 2I − D−1/2AD−1/2的特征值∈ (0, 2)
又因2I − D−1/2AD−1/2= D−1/2(2D − A)D−1/2，从而知2D − A 正定。
收敛的充分条件及误差估计
证明 (充分性) : 由
Jacobi 迭代收敛 ⇐⇒ ρ(MJ) < 1 ⇐⇒ ρ(I − D−1/2AD−1/2) < 1
知
D−1/2AD−1/2的特征值∈ (0, 2) =⇒ A正定 2I − D−1/2AD−1/2的特征值∈ (0, 2)
又因2I − D−1/2AD−1/2= D−1/2(2D − A)D−1/2，从而知2D − A 正定。
收敛的充分条件及误差估计
证明 (必要性) :
D1/2(I − MJ)D−1/2= D−1/2AD−1/2 A正定
=⇒ λ(I − MJ) > 0 =⇒ λ(MJ) < 1.
D1/2(I + MJ)D−1/2= D−1/2(2D − A)D−1/2 2D − A正定
=⇒ λ(I + MJ) > 0 =⇒ λ(MJ) > −1. 联立可得 ρ(MJ) < 1，从而 Jacobi 迭代收敛。
收敛的充分条件及误差估计
证明 (必要性) :
D1/2(I − MJ)D−1/2= D−1/2AD−1/2 A正定
=⇒ λ(I − MJ) > 0 =⇒ λ(MJ) < 1.
D1/2(I + MJ)D−1/2= D−1/2(2D − A)D−1/2 2D − A正定
=⇒ λ(I + MJ) > 0 =⇒ λ(MJ) > −1.
联立可得 ρ(MJ) < 1，从而 Jacobi 迭代收敛。
收敛的充分条件及误差估计
证明 (必要性) :
D1/2(I − MJ)D−1/2= D−1/2AD−1/2 A正定
=⇒ λ(I − MJ) > 0 =⇒ λ(MJ) < 1.
D1/2(I + MJ)D−1/2= D−1/2(2D − A)D−1/2 2D − A正定
=⇒ λ(I + MJ) > 0 =⇒ λ(MJ) > −1.
收敛的充分条件及误差估计
定理
A对称正定 =⇒ Gauss-Seidel 迭代收敛
收敛的充分条件及误差估计
收敛的充分条件及误差估计
收敛的充分条件及误差估计
收敛的充分条件及误差估计
定义 : 对角占优矩阵
设 A = (aij)∈ Rn×n，对于不等式组
|aii| ⩾
∑n j=1, j̸=i
|aij|, ∀i = 1, 2, · · · , n (6)
• 若至少存在一个 i，不等式严格成立，则称 A弱严格对角占 优；
• 若对所有 i，不等式均严格成立，则称 A严格对角占优。
收敛的充分条件及误差估计
定理
严格对角占优矩阵是非奇异的。
证明
若 A 奇异，则 Ax = 0 有非零解 x。不妨设|xi| = ∥x∥∞= 1，则
|aii| = |aiixi| = ∑
j=1,j̸=i
aijxj
⩽ ∑
j=1,j̸=i
|aij|,
这与 A 严格对角占优矛盾。
收敛的充分条件及误差估计
推论
若 A 为对角元皆为正的对称矩阵，且严格对角占优，则 A 正定。
证明
设 λ⩽ 0，考察矩阵 A − λI。
A − λI只是在 A 的对角线上加上了一些正数
=⇒ A − λI与A一样，是严格对角占优的
=⇒ A − λI非奇异
注意到 λ⩽ 0 的任意性，知 A 的特征值均大于 0，从而 A 正定。
收敛的充分条件及误差估计
推论
若 A 为对角元皆为正的对称矩阵，且严格对角占优，则 A 正定。
证明
设 λ⩽ 0，考察矩阵 A − λI。
A − λI只是在 A 的对角线上加上了一些正数
=⇒ A − λI与A一样，是严格对角占优的
=⇒ A − λI非奇异
注意到 λ⩽ 0 的任意性，知 A 的特征值均大于 0，从而 A 正定。
收敛的充分条件及误差估计
定理
若 A严格对角占优，则 Jacobi 迭代和 Gauss-Seidel 迭代收敛。
证明
A严格对角占优 =⇒ D可逆
收敛的充分条件及误差估计
证明 (Jacobi 迭代) :
若 MJ 的某个特征值|λ| ⩾ 1，考察λD + L + U.
A严格对角占优
=⇒ λD + L + U也严格对角占优
=⇒ λD + L + U非奇异 而
λI − MJ= λI + D−1(L + U) = D−1(λD + L + U)
=⇒ det(λI − MJ) = det(D−1) · det(λD + L + U) ̸= 0 这与 λ 是 MJ 的特征值矛盾，从而 ρ(MJ) < 1 =⇒ Jacobi 迭 代收敛。
收敛的充分条件及误差估计
证明 (Jacobi 迭代) :
若 MJ 的某个特征值|λ| ⩾ 1，考察λD + L + U.
A严格对角占优
=⇒ λD + L + U也严格对角占优
=⇒ λD + L + U非奇异
而
λI − MJ= λI + D−1(L + U) = D−1(λD + L + U)
=⇒ det(λI − MJ) = det(D−1) · det(λD + L + U) ̸= 0 这与 λ 是 MJ 的特征值矛盾，从而 ρ(MJ) < 1 =⇒ Jacobi 迭 代收敛。
收敛的充分条件及误差估计
证明 (Jacobi 迭代) :
若 MJ 的某个特征值|λ| ⩾ 1，考察λD + L + U.
A严格对角占优
=⇒ λD + L + U也严格对角占优
=⇒ λD + L + U非奇异 而
λI − MJ= λI + D−1(L + U) = D−1(λD + L + U)
=⇒ det(λI − MJ) = det(D−1) · det(λD + L + U) ̸= 0 这与 λ 是 M 的特征值矛盾，从而 ρ(M ⇒ Jacobi 迭
收敛的充分条件及误差估计
证明 (Gauss-Seidel 迭代) :
若 MGS 的某个特征值|λ| ⩾ 1，考察λD + λL + U
A严格对角占优
=⇒ λD + λL + U也严格对角占优
=⇒ λD + λL + U非奇异 而
λI − MGS= λI + (D + L)−1U = (D + L)−1(λD + λL + U)
=⇒ det(λI − MGS) = det((D + L)−1) · det(λD + λL + U) ̸= 0 这与 λ 是 MGS 的特征值矛盾，从而 ρ(MGS) < 1 =⇒ Gauss-Seidel 迭代收敛。
收敛的充分条件及误差估计
证明 (Gauss-Seidel 迭代) :
若 MGS 的某个特征值|λ| ⩾ 1，考察λD + λL + U A严格对角占优
=⇒ λD + λL + U也严格对角占优
=⇒ λD + λL + U非奇异
而
λI − MGS= λI + (D + L)−1U = (D + L)−1(λD + λL + U)
=⇒ det(λI − MGS) = det((D + L)−1) · det(λD + λL + U) ̸= 0 这与 λ 是 MGS 的特征值矛盾，从而 ρ(MGS) < 1 =⇒ Gauss-Seidel 迭代收敛。
收敛的充分条件及误差估计
证明 (Gauss-Seidel 迭代) :
若 MGS 的某个特征值|λ| ⩾ 1，考察λD + λL + U A严格对角占优
=⇒ λD + λL + U也严格对角占优
=⇒ λD + λL + U非奇异 而
λI − MGS= λI + (D + L)−1U = (D + L)−1(λD + λL + U)
=⇒ det(λI − MGS) = det((D + L)−1) · det(λD + λL + U) ̸= 0 这与 λ 是 M 的特征值矛盾，从而 ρ(M ⇒