数值计算方法 线性方程组的迭代解法

数值计算方法

线性方程组的迭代解法

张晓平

2019 年 10 月 12 日

武汉大学数学与统计学院

Table of contents

1. 线性方程组的性态

2. Jacobi 迭代与 Gauss-Seidel 迭代

3. Jacobi 与 Gauss-Seidel 迭代的收敛性分析

4. 超松弛迭代法

线性方程组的性态

线性方程组的性态

向量范数

向量范数

定义 : 向量范数

向量范数是一个∥ · ∥ : Rⁿ→ R 的非负函数，它满足：

(1) 正定性：

∥x∥ ⩾ 0, ∀ x ∈ Rⁿ, 且 ∥x∥ = 0 ⇐⇒ x = 0 (2) 齐次性：

∥αx∥ = |α|∥x∥, ∀ x ∈ Rⁿ, α∈ R (3) 三角不等式：

∥x + y∥ ⩽ ∥x∥ + ∥y∥, ∀ x, y ∈ Rⁿ

向量范数

由 (2) 和 (3) 易知，∀ x, y ∈ Rⁿ 有 ∥x∥−∥y∥ ⩽ ∥x− y∥ ⩽ max

1⩽i⩽n∥ei∥

∑n i=1

|xi− yi|.

这说明∥ · ∥ 作为 Rⁿ的实函数是连续的。

向量范数

定义 : p 范数

∥x∥p= (|x1|^p+· · · + |xn|^p)^1p, p⩾ 1

• 1 范数

∥x∥1=|x1| + · · · + |xn|

• 2 范数

∥x∥2=(

|x1|²+· · · + |xn|²)¹₂

=√ x^Tx

• ∞ 范数

∥x∥_∞ = max

··· ,n{|xi|}

向量范数

定理 : 范数等价性

设∥ · ∥α 和∥ · ∥β 是Rⁿ 的任意两个范数，则存在正常数 c1 和 c2

使得∀ x ∈ Rⁿ 有

c1∥x∥α⩽ ∥x∥β ⩽ c2∥x∥α

请自行验证

∥x∥2 ⩽ ∥x∥1 ⩽ √n∥x∥2,

∥x∥∞ ⩽ ∥x∥2 ⩽ √ n∥x∥∞,

∥x∥∞ ⩽ ∥x∥1 ⩽ n∥x∥∞,

向量范数

定理 : 范数等价性

设∥ · ∥α 和∥ · ∥β 是Rⁿ 的任意两个范数，则存在正常数 c1 和 c2

使得∀ x ∈ Rⁿ 有

c1∥x∥α⩽ ∥x∥β ⩽ c2∥x∥α

请自行验证

∥x∥2 ⩽ ∥x∥1 ⩽ √ n∥x∥2,

∥x∥∞ ⩽ ∥x∥2 ⩽ √ n∥x∥∞,

∥x∥∞ ⩽ ∥x∥1 ⩽ n∥x∥∞,

向量范数

定理

设 x^(k), x∈ Rⁿ，则

klim→∞∥x^(k)− x∥ = 0 ⇐⇒ lim

k→∞|x^(k)i − xi| = 0, i = 1, · · · , n

线性方程组的性态

矩阵范数

矩阵范数

性质

矩阵范数是一个∥ · ∥ : R^n×n→ R 的非负函数，它满足：

(1) 正定性：

∥A∥ ⩾ 0, ∀ A ∈ R^n×n, 且∥A∥ = 0 ⇐⇒ A = 0 (2) 齐次性：

∥αA∥ = |α| · ∥A∥, ∀ A ∈ R^n×n, α∈ R (3) 三角不等式：

∥A + B∥ ⩽ ∥A∥ + ∥B∥, ∀ A, B ∈ R^n×n (4) 相容性：

矩阵范数

性质

1^◦ R^n×n 上的任意两个范数等价

2^◦ 矩阵序列的范数收敛等价于元素收敛，即

klim→∞∥Ak− A∥ = 0 ⇐⇒ lim

k→∞a^(k)_ij = aij, i, j = 1,· · · , n, 其中 Ak= (a^(k)_ij ).

矩阵范数

定义 : 矩阵范数与向量范数的相容性 若矩阵范数∥ · ∥M 和向量范数∥ · ∥v满足

∥Ax∥v⩽ ∥A∥M∥x∥v, A∈ R^n×n, x∈ Rⁿ, 则称矩阵范数∥ · ∥M和向量范数∥ · ∥v相容。

若无特别说明，总假定矩阵范数和向量范数相容。

矩阵范数

定义 : 矩阵范数与向量范数的相容性 若矩阵范数∥ · ∥M 和向量范数∥ · ∥v满足

∥Ax∥v⩽ ∥A∥M∥x∥v, A∈ R^n×n, x∈ Rⁿ, 则称矩阵范数∥ · ∥M和向量范数∥ · ∥v相容。

若无特别说明，总假定矩阵范数和向量范数相容。

矩阵范数

定义 : 从属范数

设∥ · ∥ 是 Rⁿ上的一个向量范数，若定义

|∥A∥| = max

∥x∥=1∥Ax∥, A ∈ R^n×n, 则称|∥ · ∥| 是 R^n×n 上的一个矩阵范数。

这样的矩阵范数|∥ · ∥| 称为从属于向量范数∥ · ∥ 的矩阵范数，也称由 向量范数∥ · ∥ 诱导出的算子范数。

矩阵范数

定义 : 从属范数

设∥ · ∥ 是 Rⁿ上的一个向量范数，若定义

|∥A∥| = max

∥x∥=1∥Ax∥, A ∈ R^n×n, 则称|∥ · ∥| 是 R^n×n 上的一个矩阵范数。

这样的矩阵范数|∥ · ∥| 称为从属于向量范数∥ · ∥ 的矩阵范数，也称由 向量范数∥ · ∥ 诱导出的算子范数。

矩阵范数

由Rⁿ 上的 p 范数可诱导出R^n×n 上的算子范数∥ · ∥p：

∥A∥p = max

∥x∥^p=1∥Ax∥p, A∈ R^n×n.

矩阵范数

推论

设 A = (aij)∈ R^n×n，则

• 列范数

∥A∥1= max

1⩽j⩽n

∑n i=1

|aij|

• 行范数

∥A∥_∞ = max

1⩽i⩽n

∑n j=1

|aij|

• 谱范数

∥A∥2=

√

λmax(A^TA) 其中 λmax(A^TA) 表示 A^TA 的最大特征值。

注

当 A = 0 时定理显然成立，以下证明只考虑 A̸= 0。

矩阵范数

推论

设 A = (aij)∈ R^n×n，则

• 列范数

∥A∥1= max

1⩽j⩽n

∑n i=1

|aij|

• 行范数

∥A∥_∞ = max

1⩽i⩽n

∑n j=1

|aij|

• 谱范数

∥A∥2=

√

λmax(A^TA) 其中 λmax(A^TA) 表示 A^TA 的最大特征值。

矩阵范数

证明 (列范数) :

设 A = [a1,· · · , an]，且 δ =∥aj0∥ = max1⩽j⩽n∥aj∥1.

对任意满 足∥x∥1= 1 的 x∈ Rⁿ，有

∥Ax∥1 =

∑n j=1

xjaj

1

⩽

∑n j=1

|xj|∥aj∥1

⩽

∑n j=1

|xj| max

1⩽j⩽n∥aj∥1=∥aj0∥1= δ. 因∥ej0∥ = 1 且 ∥Aej0∥1=∥aj0∥1= δ，故

∥A∥1= max

∥x|1=1∥Ax∥1= δ = max

1⩽j⩽n∥aj∥1= max

1⩽j⩽n

∑n i=1

|aij|.

矩阵范数

证明 (列范数) :

设 A = [a1,· · · , an]，且 δ =∥aj0∥ = max1⩽j⩽n∥aj∥1. 对任意满 足∥x∥1= 1 的 x∈ Rⁿ，有

∥Ax∥1 =

∑n j=1

xjaj

1

⩽

∑n j=1

|xj|∥aj∥1

⩽

∑n j=1

|xj| max

1⩽j⩽n∥aj∥1=∥aj0∥1= δ.

因∥ej0∥ = 1 且 ∥Aej0∥1=∥aj0∥1= δ，故

∥A∥1= max

∥x|1=1∥Ax∥1= δ = max

1⩽j⩽n∥aj∥1= max

1⩽j⩽n

∑n i=1

|aij|.

矩阵范数

证明 (列范数) :

设 A = [a1,· · · , an]，且 δ =∥aj0∥ = max1⩽j⩽n∥aj∥1. 对任意满 足∥x∥1= 1 的 x∈ Rⁿ，有

∥Ax∥1 =

∑n j=1

xjaj

1

⩽

∑n j=1

|xj|∥aj∥1

⩽

∑n j=1

|xj| max

1⩽j⩽n∥aj∥1=∥aj0∥1= δ.

因∥ej0∥ = 1 且 ∥Aej0∥1=∥aj0∥1= δ，故

∥A∥1= max ∥Ax∥1= δ = max ∥aj∥1= max

∑n

|aij|.

矩阵范数

证明 (行范数) : 设 η = max

1⩽i⩽n

∑n j=1

|aij|，对任意满足 ∥x∥_∞ = 1 的 x∈ Rⁿ，有

∥Ax∥∞ = max

1⩽i⩽n

∑n j=1

aijxj

  ⩽ max

1⩽i⩽n

∑n j=1

|aij||xj| ⩽ max

1⩽i⩽n

∑n j=1

|aij| = η.

设 A 的第 k 行的 1 范数最大，即 η =∑n

j=1|akj|。令 x^∗= (sgn(ak1), · · · , sgn(akn))^T, 则

A̸= 0 =⇒ ∥x^∗∥_∞= 1 =⇒ ∥Ax^∗∥_∞= η 从而

∥A∥∞ = η = max

1⩽j⩽n

∑n j=1

|aij|.

矩阵范数

证明 (行范数) : 设 η = max

1⩽i⩽n

∑n j=1

|aij|，对任意满足 ∥x∥_∞ = 1 的 x∈ Rⁿ，有

∥Ax∥∞ = max

1⩽i⩽n

∑n j=1

aijxj

  ⩽ max

1⩽i⩽n

∑n j=1

|aij||xj| ⩽ max

1⩽i⩽n

∑n j=1

|aij| = η.

设 A 的第 k 行的 1 范数最大，即 η =∑n

j=1|akj|。令 x^∗= (sgn(ak1), · · · , sgn(akn))^T, 则

A̸= 0 =⇒ ∥x^∗∥_∞= 1 =⇒ ∥Ax^∗∥_∞= η 从而

∥A∥∞ = η = max

1⩽j⩽n

∑n j=1

|aij|.

矩阵范数

证明 (行范数) : 设 η = max

1⩽i⩽n

∑n j=1

|aij|，对任意满足 ∥x∥_∞ = 1 的 x∈ Rⁿ，有

∥Ax∥∞ = max

1⩽i⩽n

∑n j=1

aijxj

  ⩽ max

1⩽i⩽n

∑n j=1

|aij||xj| ⩽ max

1⩽i⩽n

∑n j=1

|aij| = η.

设 A 的第 k 行的 1 范数最大，即 η =∑n

j=1|akj|。令 x^∗= (sgn(ak1), · · · , sgn(akn))^T, 则

A̸= 0 =⇒ ∥x^∗∥_∞= 1 =⇒ ∥Ax^∗∥_∞= η

从而

∥A∥∞ = η = max

1⩽j⩽n

∑n j=1

|aij|.

矩阵范数

证明 (行范数) : 设 η = max

1⩽i⩽n

∑n j=1

|aij|，对任意满足 ∥x∥_∞ = 1 的 x∈ Rⁿ，有

∥Ax∥∞ = max

1⩽i⩽n

∑n j=1

aijxj

  ⩽ max

1⩽i⩽n

∑n j=1

|aij||xj| ⩽ max

1⩽i⩽n

∑n j=1

|aij| = η.

设 A 的第 k 行的 1 范数最大，即 η =∑n

j=1|akj|。令 x^∗= (sgn(ak1), · · · , sgn(akn))^T, 则

A̸= 0 =⇒ ∥x^∗∥_∞= 1 =⇒ ∥Ax^∗∥_∞= η

矩阵范数

证明 (谱范数) :

∥A∥2 可表示为

∥A∥2= max

∥x∥²=1∥Ax∥2= max

∥x∥²=1

√

x^T(A^TA)x

显然 A^TA 对称半正定，故可设其特征值和特征向量分别为 λ1⩾ λ2⩾ · · · ⩾ λ2⩾ 0, v1,· · · , vn∈ Rⁿ且∥vi∥ = 1.

一方面，对任意满足 ∥x∥2 = 1 的 x ∈ Rⁿ，有 x =

∑n i=1

αivi 和

∑n i=1

α²i = 1，于是

x^TA^TAx =

∑n i=1

λiα²_i ⩽ λ1.

矩阵范数

证明 (谱范数) :

∥A∥2 可表示为

∥A∥2= max

∥x∥²=1∥Ax∥2= max

∥x∥²=1

√

x^T(A^TA)x

显然 A^TA 对称半正定，故可设其特征值和特征向量分别为 λ1⩾ λ2⩾ · · · ⩾ λ2⩾ 0, v1,· · · , vn∈ Rⁿ且∥vi∥ = 1.

一方面，对任意满足 ∥x∥2 = 1 的 x ∈ Rⁿ，有 x =

∑n i=1

αivi 和

∑n i=1

α²i = 1，于是

矩阵范数

证明 (谱范数) :

另一方面，取 x = v1，则有

x^TA^TAx = v^T₁A^TAv1= v^T₁λ1v1= λ1

于是

∥A∥2= max

∥x∥²=1∥Ax∥2=√ λ1=

√

λmax(A^TA)

矩阵范数

证明 (谱范数) :

另一方面，取 x = v1，则有

x^TA^TAx = v^T₁A^TAv1= v^T₁λ1v1= λ1

于是

∥A∥2= max

∥x∥²=1∥Ax∥2=√ λ1=

√

λmax(A^TA)

矩阵范数

定义 : Frobenius 范数

∥A∥F= vu ut∑ⁿ

i,j=1

|aij|²

它是向量 2 范数的自然推广。

矩阵范数

定义 : 谱半径 设 A∈ C^n×n，称

ρ(A) = max{|λ| : λ ∈ λ(A)}

为 A 的谱半径，其中 λ(A) 表示 A 的特征值的全体。

矩阵范数

定理 : 谱半径与矩阵范数的关系 设 A∈ C^n×n，则

(1) 对 C^n×n 上的任意矩阵范数∥ · ∥，有 ρ(A)⩽ ∥A∥

(2) ∀ϵ > 0，存在 C^n×n 上的矩阵范数∥ · ∥ 使得

∥A∥ ⩽ ρ(A) + ϵ

证明

Ax = λx, x̸= 0 ⇒ |λ|∥x∥ = ∥Ax∥ ⩽ ∥A∥∥x∥

⇒ |λ| ⩽ ∥A∥.

矩阵范数

定理 : 谱半径与矩阵范数的关系 设 A∈ C^n×n，则

(1) 对 C^n×n 上的任意矩阵范数∥ · ∥，有 ρ(A)⩽ ∥A∥

(2) ∀ϵ > 0，存在 C^n×n 上的矩阵范数∥ · ∥ 使得

∥A∥ ⩽ ρ(A) + ϵ 证明

Ax = λx, x̸= 0 ⇒ |λ|∥x∥ = ∥Ax∥ ⩽ ∥A∥∥x∥

矩阵范数

定理

设 A∈ C^n×n，则

klim→∞A^k= 0 ⇐⇒ ρ(A) < 1

证明

⇒ 令 |λ0| = ρ(A)，由 limk→∞A^k= 0 知

ρ(A)^k=|λ0|^k=|λ0^k| ⩽ ρ(A^k)⩽ ∥A^k∥2< 1 (k→ ∞) 从而有 ρ(A) < 1.

⇐

ρ(A) < 1 =⇒ 存在范数∥ · ∥使得∥A∥ < 1

=⇒ 0⩽ ∥A^k∥ ⩽ ∥A∥^k→ 0, k → ∞.

矩阵范数

定理

设 A∈ C^n×n，则

klim→∞A^k= 0 ⇐⇒ ρ(A) < 1

证明

⇒ 令 |λ0| = ρ(A)，由 limk→∞A^k= 0 知

ρ(A)^k=|λ0|^k=|λ0^k| ⩽ ρ(A^k)⩽ ∥A^k∥2< 1 (k→ ∞) 从而有 ρ(A) < 1.

⇐

ρ(A) < 1 =⇒ 存在范数∥ · ∥使得∥A∥ < 1

=⇒ 0⩽ ∥A^k∥ ⩽ ∥A∥^k→ 0, k → ∞.

矩阵范数

定理

设 A∈ C^n×n，则

klim→∞A^k= 0 ⇐⇒ ρ(A) < 1

证明

⇒ 令 |λ0| = ρ(A)，由 limk→∞A^k= 0 知

ρ(A)^k=|λ0|^k=|λ0^k| ⩽ ρ(A^k)⩽ ∥A^k∥2< 1 (k→ ∞) 从而有 ρ(A) < 1.

⇐

ρ(A) < 1 =⇒ 存在范数∥ · ∥使得∥A∥ < 1

矩阵范数

推论

设 A∈ C^n×n，C^n×n 上的∥ · ∥ 满足 ∥I∥ = 1，则

∥A∥ < 1 =⇒







I − A可逆

(I − A)⁻¹ ⩽ 11 −∥A∥

矩阵范数

证明

若 I − A 奇异，则 (I − A)x = 0 有非零解，即存在 x^∗̸= 0 使得 x^∗= Ax^∗

从而

∥x^∗∥ = ∥Ax^∗∥ ⩽ ∥A∥∥x^∗∥

因∥x^∗∥ > 0，故 ∥A∥ ⩾ 1，这与已知矛盾，从而 I − A 必非奇异。

由 (I − A)(I − A)⁻¹= I 得

(I − A)⁻¹= I + A(I − A)⁻¹

⇒ ∥(I − A)⁻¹∥ ⩽ ∥I∥ + ∥A∥∥(I − A)⁻¹∥

⇒ ∥(I − A)⁻¹∥ ⩽ 1 1 −∥A∥

矩阵范数

证明

若 I − A 奇异，则 (I − A)x = 0 有非零解，即存在 x^∗̸= 0 使得 x^∗= Ax^∗

从而

∥x^∗∥ = ∥Ax^∗∥ ⩽ ∥A∥∥x^∗∥

因∥x^∗∥ > 0，故 ∥A∥ ⩾ 1，这与已知矛盾，从而 I − A 必非奇异。

由 (I − A)(I − A)⁻¹ = I 得

(I − A)⁻¹= I + A(I − A)⁻¹

⇒ ∥(I − A)⁻¹∥ ⩽ ∥I∥ + ∥A∥∥(I − A)⁻¹∥

⇒ ∥(I − A)⁻¹∥ ⩽ 1 1 −∥A∥

矩阵范数

证明

若 I − A 奇异，则 (I − A)x = 0 有非零解，即存在 x^∗̸= 0 使得 x^∗= Ax^∗

从而

∥x^∗∥ = ∥Ax^∗∥ ⩽ ∥A∥∥x^∗∥

因∥x^∗∥ > 0，故 ∥A∥ ⩾ 1，这与已知矛盾，从而 I − A 必非奇异。

由 (I − A)(I − A)⁻¹ = I 得

(I − A)⁻¹= I + A(I − A)⁻¹

⇒ ∥(I − A)⁻¹∥ ⩽ ∥I∥ + ∥A∥∥(I − A)⁻¹∥

线性方程组的性态

线性方程组的敏度分析

线性方程组的敏度分析

线性方程组的敏感性问题 考察线性方程组

Ax = b,

若给 A 和 b 以微小的扰动，其解会有何影响。

线性方程组的敏度分析

例

[ 2.0002 1.9998 1.9998 2.0002

] [ x1

x2

]

= [ 4

4 ]

→ x = (1 1)^T. [ 2.0002 1.9998

1.9998 2.0002 ] [ x1

x2

]

=

[ 4+0.0002 4−0.0002

]

→ x^∗= (1.5 0.5)^T.

∥δb∥_∞

∥b∥_∞ = 1

20000 ⇒ ∥x^∗− x∥_∞

∥x∥_∞ = 1 2

线性方程组的敏度分析

例

[ 2.0002 1.9998 1.9998 2.0002

] [ x1

x2

]

= [ 4

4 ]

→ x = (1 1)^T. [ 2.0002 1.9998

1.9998 2.0002 ] [ x1

x2

]

=

[ 4+0.0002 4−0.0002

]

→ x^∗= (1.5 0.5)^T.

∥δb∥_∞

∥b∥_∞ = 1 20000

⇒ ∥x^∗− x∥_∞

∥x∥_∞ = 1 2

线性方程组的敏度分析

例

[ 2.0002 1.9998 1.9998 2.0002

] [ x1

x2

]

= [ 4

4 ]

→ x = (1 1)^T. [ 2.0002 1.9998

1.9998 2.0002 ] [ x1

x2

]

=

[ 4+0.0002 4−0.0002

]

→ x^∗= (1.5 0.5)^T.

∥δb∥_∞

∥b∥_∞ = 1

20000 ⇒ ∥x^∗− x∥_∞

∥x∥_∞ = 1 2

线性方程组的敏度分析

考察非奇异线性方程组

Ax = b A→ A + δA b→ b + δb

}

=⇒ x → x + δx.

(A + δA)(x + δx) = b + δb

=⇒ (A + δA)δx = δb − δAx

只要∥A⁻¹∥ · ∥δA∥ < 1，就有A + δA 可逆，并且

∥(I + A⁻¹δA)⁻¹∥ ⩽ 1

1 −∥A⁻¹∥ · ∥δA∥. 于是

δx = (A + δA)⁻¹(δb − δAx) =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx),

线性方程组的敏度分析

考察非奇异线性方程组

Ax = b A→ A + δA b→ b + δb

}

=⇒ x → x + δx.

(A + δA)(x + δx) = b + δb

=⇒ (A + δA)δx = δb − δAx

只要∥A⁻¹∥ · ∥δA∥ < 1，就有A + δA 可逆，并且

∥(I + A⁻¹δA)⁻¹∥ ⩽ 1

1 −∥A⁻¹∥ · ∥δA∥. 于是

δx = (A + δA)⁻¹(δb − δAx) =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx),

线性方程组的敏度分析

考察非奇异线性方程组

Ax = b A→ A + δA b→ b + δb

}

=⇒ x → x + δx.

(A + δA)(x + δx) = b + δb

=⇒ (A + δA)δx = δb − δAx

只要∥A⁻¹∥ · ∥δA∥ < 1，就有A + δA 可逆，并且

∥(I + A⁻¹δA)⁻¹∥ ⩽ 1

1 −∥A⁻¹∥ · ∥δA∥.

于是

δx = (A + δA)⁻¹(δb − δAx) =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx),

线性方程组的敏度分析

考察非奇异线性方程组

Ax = b A→ A + δA b→ b + δb

}

=⇒ x → x + δx.

(A + δA)(x + δx) = b + δb

=⇒ (A + δA)δx = δb − δAx

只要∥A⁻¹∥ · ∥δA∥ < 1，就有A + δA 可逆，并且

∥(I + A⁻¹δA)⁻¹∥ ⩽ 1

1 −∥A⁻¹∥ · ∥δA∥. 于是

线性方程组的敏度分析

定义 : 条件数

称 κ(A) =∥A⁻¹∥ · ∥A∥ 为矩阵 A 的条件数。

线性方程组的敏度分析

由

δx =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx) 可得

∥δx∥ ⩽ ∥(I + A⁻¹δA)⁻¹∥ · ∥A⁻¹∥ · (∥δb∥ + ∥δA∥ · ∥x∥)

⩽ ∥A⁻¹∥

1 −∥A⁻¹∥ · ∥δA∥(∥δb∥ + ∥δA∥ · ∥x∥). 两端同时除以∥x∥，并由 ∥b∥ ⩽ ∥A∥ · ∥x∥ 可知

∥δx∥

∥x∥ ⩽ ∥A⁻¹∥∥A∥ 1 −∥A⁻¹∥ · ∥δA∥

( ∥δb∥

∥A∥∥x∥+ ∥δA∥

∥A∥∥ )

⩽ ∥A⁻¹∥∥A∥ 1 −∥A⁻¹∥ · ∥δA∥

(∥δb∥

∥b∥ + ∥δA∥

∥A∥∥ )

线性方程组的敏度分析

由

δx =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx) 可得

∥δx∥ ⩽ ∥(I + A⁻¹δA)⁻¹∥ · ∥A⁻¹∥ · (∥δb∥ + ∥δA∥ · ∥x∥)

⩽

∥A⁻¹∥

1 −∥A⁻¹∥ · ∥δA∥(∥δb∥ + ∥δA∥ · ∥x∥). 两端同时除以∥x∥，并由 ∥b∥ ⩽ ∥A∥ · ∥x∥ 可知

∥δx∥

∥x∥ ⩽ ∥A⁻¹∥∥A∥ 1 −∥A⁻¹∥ · ∥δA∥

( ∥δb∥

∥A∥∥x∥+ ∥δA∥

∥A∥∥ )

⩽ ∥A⁻¹∥∥A∥ 1 −∥A⁻¹∥ · ∥δA∥

(∥δb∥

∥b∥ + ∥δA∥

∥A∥∥ )

线性方程组的敏度分析

由

δx =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx) 可得

∥δx∥ ⩽ ∥(I + A⁻¹δA)⁻¹∥ · ∥A⁻¹∥ · (∥δb∥ + ∥δA∥ · ∥x∥)

⩽ ∥A⁻¹∥

1 −∥A⁻¹∥ · ∥δA∥(∥δb∥ + ∥δA∥ · ∥x∥).

两端同时除以∥x∥，并由 ∥b∥ ⩽ ∥A∥ · ∥x∥ 可知

∥δx∥

∥x∥ ⩽ ∥A⁻¹∥∥A∥ 1 −∥A⁻¹∥ · ∥δA∥

( ∥δb∥

∥A∥∥x∥+ ∥δA∥

∥A∥∥ )

⩽ ∥A⁻¹∥∥A∥ 1 −∥A⁻¹∥ · ∥δA∥

(∥δb∥

∥b∥ + ∥δA∥

∥A∥∥ )

线性方程组的敏度分析

由

δx =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx) 可得

∥δx∥ ⩽ ∥(I + A⁻¹δA)⁻¹∥ · ∥A⁻¹∥ · (∥δb∥ + ∥δA∥ · ∥x∥)

⩽ ∥A⁻¹∥

1 −∥A⁻¹∥ · ∥δA∥(∥δb∥ + ∥δA∥ · ∥x∥).

两端同时除以∥x∥，并由 ∥b∥ ⩽ ∥A∥ · ∥x∥ 可知

∥δx∥

∥x∥ ⩽ ∥A⁻¹∥∥A∥

1 −∥A⁻¹∥ · ∥δA∥

( ∥δb∥

∥A∥∥x∥+∥δA∥

∥A∥∥

)

⩽ ∥A⁻¹∥∥A∥ 1 −∥A⁻¹∥ · ∥δA∥

(∥δb∥

∥b∥ + ∥δA∥

∥A∥∥ )

线性方程组的敏度分析

由

δx =(

I + A⁻¹δA)−1

A⁻¹(δb − δAx) 可得

∥δx∥ ⩽ ∥(I + A⁻¹δA)⁻¹∥ · ∥A⁻¹∥ · (∥δb∥ + ∥δA∥ · ∥x∥)

⩽ ∥A⁻¹∥

1 −∥A⁻¹∥ · ∥δA∥(∥δb∥ + ∥δA∥ · ∥x∥).

两端同时除以∥x∥，并由 ∥b∥ ⩽ ∥A∥ · ∥x∥ 可知

∥δx∥

∥x∥ ⩽ ∥A⁻¹∥∥A∥

1 −∥A⁻¹∥ · ∥δA∥

( ∥δb∥

∥A∥∥x∥+∥δA∥

∥A∥∥

)

⩽ ∥A⁻¹∥∥A∥ (

∥δb∥ ∥δA∥)

线性方程组的敏度分析

定理 条件：

• ∥ · ∥ 满足 ∥I∥ = 1, A ∈ R^n×n 非奇异，b∈ Rⁿ非零

• δA∈ R^n×n 满足∥A⁻¹∥ · ∥δA∥ < 1

• {

Ax = b (A + δA)(x + δx) = b + δb

结论： ∥δx∥

∥x∥ ⩽ κ(A) 1 − κ(A)^∥δA∥_∥A∥

(∥δA∥

∥A∥ +∥δb∥

∥b∥ )

.

线性方程组的敏度分析

定理 条件：

• ∥ · ∥ 满足 ∥I∥ = 1, A ∈ R^n×n 非奇异，b∈ Rⁿ非零

• δA∈ R^n×n 满足∥A⁻¹∥ · ∥δA∥ < 1

• {

Ax = b (A + δA)(x + δx) = b + δb 结论： ∥δx∥

∥x∥ ⩽ κ(A) 1 − κ(A)^∥δA∥_∥A∥

(∥δA∥

∥A∥ +∥δb∥

∥b∥

) .

线性方程组的敏度分析

∥δA∥∥A∥较小

=⇒ κ(A)

1 − κ(A)^∥δA∥_∥A∥ ≈ κ(A)

=⇒ ∥δx∥

∥x∥ ⩽κ(A)

(∥δA∥

∥A∥ +∥δb∥

∥b∥ )

结论

• x 的相对误差由 b 和 A 的相对误差之和放大 κ(A) 倍得来

• 若 κ(A) 不大，则扰动对解的影响也不会太大

• 若 κ(A) 很大，则扰动对解的影响可能会太大

线性方程组的敏度分析

∥δA∥∥A∥较小

=⇒ κ(A)

1 − κ(A)^∥δA∥_∥A∥ ≈ κ(A)

=⇒ ∥δx∥

∥x∥ ⩽κ(A)

(∥δA∥

∥A∥ +∥δb∥

∥b∥ )

结论

• x 的相对误差由 b 和 A 的相对误差之和放大 κ(A) 倍得来

• 若 κ(A) 不大，则扰动对解的影响也不会太大

• 若 κ(A) 很大，则扰动对解的影响可能会太大

线性方程组的敏度分析

∥δA∥∥A∥较小

=⇒ κ(A)

1 − κ(A)^∥δA∥_∥A∥ ≈ κ(A)

=⇒ ∥δx∥

∥x∥ ⩽κ(A) (∥δA∥

∥A∥ +∥δb∥

∥b∥

)

结论

• x 的相对误差由 b 和 A 的相对误差之和放大 κ(A) 倍得来

• 若 κ(A) 不大，则扰动对解的影响也不会太大

• 若 κ(A) 很大，则扰动对解的影响可能会太大

线性方程组的敏度分析

∥δA∥∥A∥较小

=⇒ κ(A)

1 − κ(A)^∥δA∥_∥A∥ ≈ κ(A)

=⇒ ∥δx∥

∥x∥ ⩽κ(A) (∥δA∥

∥A∥ +∥δb∥

∥b∥

)

结论

• x 的相对误差由 b 和 A 的相对误差之和放大 κ(A) 倍得来

• 若 κ(A) 不大，则扰动对解的影响也不会太大

• 若 κ(A) 很大，则扰动对解的影响可能会太大

线性方程组的敏度分析

∥δA∥∥A∥较小

=⇒ κ(A)

1 − κ(A)^∥δA∥_∥A∥ ≈ κ(A)

=⇒ ∥δx∥

∥x∥ ⩽κ(A) (∥δA∥

∥A∥ +∥δb∥

∥b∥

)

结论

• x 的相对误差由 b 和 A 的相对误差之和放大 κ(A) 倍得来

• 若 κ(A) 不大，则扰动对解的影响也不会太大

• 若 κ(A) 很大，则扰动对解的影响可能会太大

线性方程组的敏度分析

∥δA∥∥A∥较小

=⇒ κ(A)

1 − κ(A)^∥δA∥_∥A∥ ≈ κ(A)

=⇒ ∥δx∥

∥x∥ ⩽κ(A) (∥δA∥

∥A∥ +∥δb∥

∥b∥

)

结论

• x 的相对误差由 b 和 A 的相对误差之和放大 κ(A) 倍得来

• 若 κ(A) 不大，则扰动对解的影响也不会太大

线性方程组的敏度分析

条件数在一定程度上刻画了扰动对解的影响程度。

• 若κ(A) 很大，则称线性方程组 Ax = b 求解问题是病态的，或者 说 A 是病态的；

• 若κ(A) 很小，则称该线性方程组 Ax = b 求解问题是良态的，或 者说 A 是良态的。

线性方程组的敏度分析

条件数在一定程度上刻画了扰动对解的影响程度。

• 若κ(A) 很大，则称线性方程组 Ax = b 求解问题是病态的，或者 说 A 是病态的；

• 若κ(A) 很小，则称该线性方程组 Ax = b 求解问题是良态的，或 者说 A 是良态的。

线性方程组的敏度分析

条件数在一定程度上刻画了扰动对解的影响程度。

• 若κ(A) 很大，则称线性方程组 Ax = b 求解问题是病态的，或者 说 A 是病态的；

• 若κ(A) 很小，则称该线性方程组 Ax = b 求解问题是良态的，或 者说 A 是良态的。

线性方程组的敏度分析

条件数与范数有关，R^n×n 上任意两种范数下的条件数 κα(A) 与 κ_β(A) 都是等价的，即存在常数 c1和 c2，使得

c1κα(A)⩽ κβ(A)⩽ c2κα(A).

例如，

1

nκ2(A) ⩽ κ1(A) ⩽ nκ2(A),

1

nκ_∞(A) ⩽ κ2(A) ⩽ nκ∞(A),

1

n²κ1(A) ⩽ κ∞(A) ⩽ n²κ2(A).

线性方程组的敏度分析

推论 条件：

• ∥ · ∥ 满足条件 ∥I∥ = 1，A ∈ R^n×n 非奇异

• δA∈ R^n×n 满足∥A⁻¹∥ · ∥δA∥ < 1 结论

• A + δA 非奇异

• ∥(A + δA)⁻¹− A⁻¹∥

∥A⁻¹∥ ⩽ κ(A)

1 − κ(A)^∥δA∥_∥A∥

∥δA∥

∥A∥.

这表明 κ(A) 可当做矩阵求逆问题的条件数。

线性方程组的敏度分析

推论 条件：

• ∥ · ∥ 满足条件 ∥I∥ = 1，A ∈ R^n×n 非奇异

• δA∈ R^n×n 满足∥A⁻¹∥ · ∥δA∥ < 1 结论

• A + δA 非奇异

• ∥(A + δA)⁻¹− A⁻¹∥

∥A⁻¹∥ ⩽ κ(A)

1 − κ(A)^∥δA∥_∥A∥

∥δA∥

∥A∥.

Jacobi 迭代与 Gauss-Seidel 迭代

Jacobi 迭代与 Gauss-Seidel 迭代

Jacobi 迭代法

Jacobi 迭代法

设 aii̸= 0，











a11x1+ a12x2+ a13x3= b1

a21x1+a22x2+ a23x3= b2

a31x1+ a32x2+a33x3= b3

=⇒

















 x1= 1

a11

( −a12x2− a13x3 +b1

)

x2= 1 a22

(− a21x1 − a23x3 +b2

)

x3= 1 a33

(− a31x1 −a32x2 +b3

)

Jacobi 迭代法

设 aii̸= 0，











a11x1+ a12x2+ a13x3= b1

a21x1+a22x2+ a23x3= b2

a31x1+ a32x2+a33x3= b3

=⇒

















 x1= 1

a11

( −a12x2− a13x3 +b1

)

x2= 1 a22

(− a21x1 − a23x3 +b2

)

x3= 1 a33

(− a31x1 −a32x2 +b3

)

Jacobi 迭代法

设 aii̸= 0，











a11x1+ a12x2+ a13x3= b1

a21x1+a22x2+ a23x3= b2

a31x1+ a32x2+a33x3= b3

=⇒

















 x1= 1

a11

( −a12x2− a13x3 +b1

)

x2= 1 a22

(− a21x1 − a23x3 +b2

)

x3= 1 (

− a₃₁x1 −a₃₂x2 +b₃)

Jacobi 迭代法

取 x⁽⁰⁾= (

x⁽⁰⁾₁ , x⁽⁰⁾₂ , x⁽⁰⁾₃ )T

，代入上式右端得





















x⁽¹⁾₁ = 1 a11

( −a₁₂x⁽⁰⁾₂ − a₁₃x⁽⁰⁾₃ +b₁)

x⁽¹⁾₂ = 1 a22

(− a21x⁽⁰⁾₁ − a23x⁽⁰⁾₃ +b2

)

x⁽¹⁾₃ = 1 a33

(− a31x⁽⁰⁾₁ −a32x⁽⁰⁾₂ +b3

)

Jacobi 迭代法





















x^(k+1)₁ = 1 a11

( −a12x^(k)₂ − a1,3x^(k)₃ +b1

)

x^(k+1)₂ = 1 a22

(− a21x^(k)₁ − a23x^(k)₃ +b2

)

x^(k+1)₃ = 1 a33

(− a31x^(k)₁ −a32x^(k)₂ +b3

)

Jacobi 迭代法

线性方程组

Ax = b (1)