三、赋范线性空间与范数
赋范线性空间
定义3.1如果\(V\)是数域\(F\)上的线性空间，且对于\(V\)中任一向量\(x\)，对应着一个实值函数\(\parallel x \parallel\)，它满足下面三个条件：
正定性：\(\parallel x \parallel \geq 0; \parallel x \parallel = 0 \Leftrightarrow x = 0\);
齐次性：\(\parallel \alpha x \parallel = |\alpha| \parallel x \parallel\);
三角不等式：\(\parallel x + y \parallel \leq \parallel x \parallel + \parallel y \parallel\);
则称\(\parallel x \parallel\)为\(V\)上向量\(x\)的范数。
常用的向量\(x\)的范数有
\(x\)的\(\infty -\)范数或最大范数： \(\parallel x \parallel_{\infty} = \max_{1 \leq i \leq n}|x_{i}|\);
\(p -\)范数(\(p \geq 1\))：\(\parallel x \parallel_{p} = (|x_{1}|^{p} + |x_{2}|^{p} + \ldots + |x_{n}|^{p})^{\frac{1}{p}}\);
定理3.3 对任意向量\(x = (x_{1},x_{2},\ldots x_{n})^{T}\)，\(1 \leq p < + \infty\)，由\(\parallel x \parallel_{p} = (|x_{1}|^{p} + |x_{2}|^{p} + \ldots + |x_{n}|^{p})^{\frac{1}{p}}\)定义的\(\parallel x \parallel_{p}\)是\(R^{n}\)上的向量范数。
虚拟范数：也称拟范数，比如\(\parallel x \parallel_{0}\overset{def}{=}x\)的非零元素的个数，不一定满足齐次性\(\parallel \alpha x \parallel_{0} = |\alpha| \parallel x \parallel_{0}\)。它在稀疏向量和稀疏表示、压缩感知中起着关键的作用。
利用已知向量范数构造新的向量范数的方法可以推广到一般线性空间中，从而定义出抽象向量范数。定义抽象空间向量范数的方法：利用已知具体空间的向量范数来定义抽象空间的向量范数。
定义3.8定义了向量范数\(\parallel . \parallel\)的线性空间\(V^{n}\)就称为赋范空间。
这里的\(\parallel . \parallel\)表示泛指的任何一种范数。
定义3.9设\(\parallel x \parallel_{\alpha}\)与\(\parallel . \parallel_{\beta}\)是\(n\)维线性空间\(V^{n}\)上定义的任意两种范数，若存在两个与\(x\)无关的正常数\(c_{1},c_{2}\)，使得
\[c_{1} \parallel x \parallel_{\beta} \leq \parallel . \parallel_{\alpha} \leq c_{2} \parallel . \parallel_{\beta},\quad\forall x \in V^{n}\]
，则称\(\parallel x \parallel_{\alpha}\)与\(\parallel x \parallel_{\beta}\)是等价的。
定理3.10同一个有限维线性空间上不同的范数是等价的。
定理3.11在\(R^{n}\)中，\(\lim x^{(k)} = x^{*} \Leftrightarrow \parallel x^{(k)} - x^{*} \parallel \rightarrow 0\quad\)当\(k \rightarrow \infty\)时，其中\(\parallel . \parallel\)为向量的任一种范数。
矩阵范数
定义3.12设\(A\)为\(n \times n\)矩阵，\(\parallel . \parallel\)是以\(n\)阶方阵为变量的实值函数，且满足，条件：
非负性：\(\parallel A \parallel \geq 0,\) 且\(\parallel A \parallel = 0\)当且仅当\(A = 0\)
齐次性：\(\parallel \alpha A \parallel = |\alpha| \parallel A \parallel ,\alpha \in R\)
三角不等式：\(\parallel A + B \parallel \leq \parallel A \parallel + \parallel B \parallel\)
相容性：\(\parallel AB \parallel \leq \parallel A \parallel \parallel B \parallel\)
则称\(\parallel A \parallel\)为矩阵\(A\)的范数。
定义3.13设\(\parallel . \parallel\)是一种向量范数
\[\parallel A \parallel = \sup_{x \in R^{n},x \neq 0}\frac{\parallel Ax \parallel}{\parallel x \parallel} = \sup_{x \in R^{n}, \parallel x \parallel = 1} \parallel Ax \parallel\]
称之为由向量范数派生的矩阵算子范数。
常用的矩阵范数：
\(\parallel A \parallel_{1} = \max_{1 \leq j \leq n}\sum_{i = 1}^{n}|a_{ij}|\), \(A\)的每列绝对值之和的最大值，称\(A\)的列范数。
\(\parallel A \parallel_{\infty} = \max_{1 \leq i \leq n}\sum_{j = 1}^{n}|a_{ij}|\), \(A\)的每行绝对值之和的最大值，称\(A\)的行范数。
\(\parallel A \parallel_{2} = \sqrt{\lambda_{\max}(A^{T}A)}\)称\(A\)的\(2 -\)范数，其中\(\lambda_{\max}(A^{T}A)\)为\(A^{T}A\)的特征值的绝对值的最大值。
\(\parallel A \parallel_{F} = \sqrt{\sum_{i = 1}^{n}{\sum_{j = 1}^{n}|}a_{ij}|^{2}}\),向量\(\parallel . \parallel_{2}\)的推广，\(Frobenius\)范数。
几种矩阵范数的比较：
\(\parallel A \parallel_{1}\)和\(\parallel A \parallel_{\infty}\)容易计算，使用最广泛；
\(\parallel A \parallel_{2}\)计算复杂，但是对矩阵元素的变化比较敏感，性质较好，使用最广泛；
\(\parallel A \parallel_{F}\)较少使用；
定义3.16设\(A \in R^{n \times n}\)的特征值为\(\lambda_{1},\lambda_{2},\ldots,\lambda_{n}\),称
\[\rho(A) = \max\{|\lambda_{1}|,|\lambda_{2}|,\ldots,|\lambda_{n}|\}\]
为矩阵\(A\)的谱半径。
显然\(\parallel A \parallel_{2} = \sqrt{\lambda_{\max}(A^{T}A)} = \sqrt{\rho(A^{T}A)}\)
定理3.17设\(A\)为\(n\)阶方阵，则对任意算子范数\(\parallel . \parallel\)有
\[\rho(A) \leq \parallel A \parallel\]
即矩阵\(A\)的谱半径不超过矩阵的任何一种算子范数。
定理3.18若\(A\)对称，则有\(\parallel A \parallel_{2} = \rho(A)\).
对称矩阵的特征根是实数。
定理3.19设\(\parallel . \parallel\)设\(R^{n \times n}\)上的一种算子范数，\(A \in R^{n \times n}\)，若\(A\)满足\(\parallel A \parallel < 1\)，则\(I - A\)非奇异，且
\[\parallel (I - A)^{- 1} \parallel \leq \frac{1}{1 - \parallel A \parallel}\]
范数的一个应用—扰动分析与矩阵的条件数
以线性方程组\(Ax = b\)为例，这里\(A,b\)已知，\(x\)为未知量，这里的数据矩阵和向量\(b\)往往是观测或者是中间计算过程计算得到，因此这些数据不可避免都有误差。
为分析的方便，首先仅假设右端项\(b\)有扰动量\(\delta b\)，这时要解的方程组为
\[A(x + \delta x) = b + \delta b\]
这意味着
\[\delta x = A^{- 1}\delta b\]
两边取范数并利用矩阵范数的相容性，可得
\[\parallel \delta x \parallel \leq \parallel A^{- 1} \parallel \parallel \delta b \parallel\]
由\(Ax = b\)可得
\[\parallel b \parallel \leq \parallel A \parallel \parallel x \parallel\]
这样就有
\[\frac{\parallel \delta x \parallel}{\parallel x \parallel} \leq ( \parallel A \parallel \parallel A^{- 1} \parallel )\frac{\parallel \delta b \parallel}{\parallel b \parallel}\]
类似地考虑当系数\(A\)有扰动量\(\delta A\)时，线性系统为
\[(A + \delta A)(x + \delta x) = b\]
可以得到
\[\frac{\parallel \delta x \parallel}{\parallel x + \delta x \parallel} \leq ( \parallel A \parallel \parallel A^{- 1} \parallel )\frac{\parallel \delta A \parallel}{\parallel A \parallel}\]
因此，当原始数据\(A,b\)有扰动量的时候，其解的相对误差都与量\(\parallel A \parallel \parallel A^{- 1} \parallel\)成正比，因此定义：
定义3.21 称\(cond(A) = \parallel A \parallel \parallel A^{- 1} \parallel\)为矩阵\(A\)的条件数。
当\(cond(A) > > 1\)时，则方程组是“病态”的；
当\(cond(A)\)较小时，则方程组是“良态”的；
通常的条件数有：
\(cond(A)_{\infty} = \parallel A \parallel_{\infty} \parallel A^{- 1} \parallel_{\infty}\)
\(cond(A)_{2} = \parallel A \parallel_{2} \parallel A^{- 1} \parallel_{2} = \sqrt{\frac{\lambda_{\max}(A^{T}A)}{\lambda_{\min}(A^{T}A)}}\)
特别地，若\(A\)对称，则\(cond(A)_{2} = \frac{\max|\lambda|}{\min|\lambda|}\) 证明：如果\(A\)是正交矩阵，则\(cond(A)_{2} = 1\)
通过证明，有以下结论：
\(cond(A) \geq 1\)
\(cond(A) = cond(A^{- 1})\)
\(cond(\alpha A) = cond(A)\)
\(cond(AB) \leq cond(A)cond(B)\)
\(cond(A^{T}A)_{2} = cond(A)^{2}\)