二、内积空间与等积变换

内积空间

内积与欧几里得空间

定义1.1设$V$是实数域$R$上的线性空间，若$\alpha,\beta \in V$，存在一实数与之对应，记作$(\alpha,\beta)$，且满足如下条件：

$(\alpha,\beta) = (\beta,\alpha)$, $\forall\alpha,\beta \in V$;
$(k\alpha,\beta) = k(\alpha,\beta)$, $\forall k \in R,\forall\alpha,\beta \in V$;
$(\alpha + \beta,\gamma) = (\alpha,\gamma) + (\beta,\gamma)$, $\forall\alpha,\beta,\gamma \in V$;
$(\alpha,\alpha) \geq 0$,当且仅当$\alpha = 0$时等号成立。

则称$(\alpha,\beta)$ 为$\alpha$与$\beta$的内积，如此定义了内积的实线性空间$V$称为欧几里得（Euclid）空间，简称欧氏空间（或实内积空间）。

欧氏空间与实线性空间的差别在于欧氏空间比实线性空间多定义了内积，或者说欧氏空间是一个特殊的实线性空间。

定义1.5设$V$是实内积空间，对$\forall\alpha \in V$，定义$\alpha$的长度或模为$\parallel \alpha \parallel = \sqrt{(\alpha,\alpha)}$.

定理1.6 如上定义的长度$\parallel \alpha \parallel$满足

$\|\alpha \parallel \geq 0$,对$\forall\alpha \in V$，仅当$\alpha = 0$时等号成立；
$\parallel k\alpha \parallel = |k| \parallel \alpha \parallel$;
$|(\alpha,\beta)| \leq \|\alpha \parallel .\|\beta \parallel$，等号仅当$\alpha$与$\beta$线性相关时成立；
$\|\alpha + \beta \parallel \leq \|\alpha \parallel + \|\beta \parallel$.

Cauchy-Schwarz不等式：

\[\frac{|(\alpha,\beta)|}{\|\alpha \parallel .\|\beta \parallel} \leq 1\]

定义1.7 非零向量$\alpha,\beta$夹角$< \alpha,\beta >$规定为

\[< \alpha,\beta > = \arccos\frac{(\alpha,\beta)}{\|\alpha \parallel .\|\beta \parallel},\mspace{6mu} 0 \leq < \alpha,\beta > \leq \pi.\]

模式识别与机器学习中向量的相似比较

聚类和分类是模式识别和机器学习等统计数据分析中的重要技术。

常用符号$D(p \parallel q)$表示向量$p$到向量$q$的距离，也称为测度。所谓距离，即满足下列条件的非负实数(距离的三条公理)：

非负性和正定性：即对$\forall p,g,D(p \parallel g) \geq 0$, 而$D(p \parallel g) = 0$的充要条件是$p = g$;
对称性：即向量$p$到$q$的距离与$q$到$p$的距离相等。
三角不等式：两点之间的直线距离小于折线距离，即$\forall p,g,z,D(p \parallel z) \leq D(p \parallel g) + D(g \parallel z)$

定义了距离的线性空间就称为距离空间，或者测度空间。

向量间的相异度的测度不一定局限于距离函数。余弦函数也是一种相异度的有效测度，另外还有Tanimoto测度用于信息恢复和疾病分类。

度量矩阵

假定$e_{1},e_{2},\ldots,e_{n}$是$n$维欧氏空间$V^{n}$的基，则对于任意抽象的向量$x,y \in V^{n}$，

\[x = x_{1}e_{1} + x_{2}e_{2} + \ldots + x_{n}e_{n}\]

\[y = y_{1}e_{1} + y_{2}e_{2} + \ldots + y_{n}e_{n}\]

根据内积的性质可得

\[(x,y) = (\sum_{i = 1}^{n}x_{i}e_{i},\sum_{i = 1}^{n}y_{i}e_{i}) = \sum_{i,j}^{n}x_{i}y_{j}(e_{i},e_{j})\]

. 构造矩阵$A$

\[A = \begin{bmatrix} (e_{1},e_{1}) & (e_{1},e_{2}) & \ldots & (e_{1},e_{n}) \\ (e_{2},e_{1}) & (e_{2},e_{2}) & \ldots & (e_{2},e_{n}) \\ \vdots & \vdots & \ddots & \vdots \\ (e_{n},e_{1}) & (e_{n},e_{2}) & \ldots & (e_{n},e_{n}) \\ \end{bmatrix}\]

构造列向量：

\[X = (x_{1},x_{2},\ldots,x_{n})^{T},Y = (y_{1},y_{2},\ldots,y_{n})^{T}\]

于是得到内积的一般形式$(x,y) = X^{T}AY$

矩阵$A \in R^{n \times n}$叫作基$e_{1},e_{2},\ldots,e_{n}$的度量矩阵，又叫作Gram矩阵.

度量矩阵具有如下性质：

度量矩阵是对称正定矩阵
两组不同基的度量矩阵是不同的，但他们是相合的。

正交性

有了内积的定义后，我们就可以来定义向量正交的概念。

定义1.9设$x,y$为欧氏空间的两个向量，如果$(x,y) = 0$，则说$x$与$y$正交，记为$x\bot y$.

与自身正交的向量只能是零向量

定理1.10如果向量$x$与$y$正交，则有

\[\parallel x + y \parallel^{2} = \parallel x \parallel^{2} + \parallel y \parallel^{2}\]

向量正交与否，与该欧氏空间的内积如何定义有关。

定义1.12 设$x_{1},x_{2},\ldots,x_{n}$是欧氏空间的一组非零向量，且它们两两正交，即

\[(x_{i},x_{j}) = \left\{ \begin{matrix} d_{i} > 0 & i = j \\ 0 & i \neq j \\ \end{matrix} \right.\ \]

则称$x_{1},x_{2},\ldots,x_{n}$是正交向量系，若每个向量的长度都为1，则称$x_{1},x_{2},\ldots,x_{n}$是标准正交向量系。

若$x_{1},x_{2},\ldots,x_{n}$是正交向量系，则有

\[\parallel x_{1} + x_{2} + \ldots + x_{n} \parallel^{2} = \parallel x_{1} \parallel^{2} + \parallel x_{2} \parallel^{2} + \ldots + \parallel x_{n} \parallel^{2}\]

定理1.13如果$x_{1},x_{2},\ldots,x_{n}$是一组非零正交向量系，则它们必定线性无关。

施密特正交化过程实际上在$R^{m \times n}(m \geq n)$中完成了一个矩阵分解，矩阵的QR分解：

取$X_{m \times n} = (x_{1},x_{2},\ldots,x_{n}),Q_{m \times n} = (q_{1},q_{2},\ldots,q_{n})$

\[R_{n \times n} = \begin{bmatrix} r_{11} & r_{12} & \ldots & r_{1n} \\ 0 & r_{22} & \ldots & r_{2n} \\ \vdots & \ddots & \ddots & \vdots \\ 0 & \ldots & 0 & r_{nn} \\ \end{bmatrix}\]

就有$X_{m \times n} = Q_{m \times n}R_{n \times n}$

标准正交基

定义1.15 在欧氏空间$V^{n}$，由$n$个两两正交的非零向量组成的向量系构成的基底称为$V^{n}$的一组正交基，若该向量系的向量长度都为1，则称其为标准正交基。

定理1.16任何$n$维欧氏空间都有正交基和标准正交基。

定理1.18 设$x_{1},x_{2},\ldots,x_{n}$是$V^{n}$的一组标准正交基底，则对每个$v \in V^{n}$，都有

\[v = (v,x_{1})x_{1} + (v,x_{2})x_{2} + \ldots + (v,x_{n})x_{n}\]

并且$\parallel v \parallel^{2} = |(v,x_{1})|^{2} + |(v,x_{2})|^{2} + \ldots + |(v,x_{n})|^{2}$

复内积线性空间

在实线性空间上引进了内积运算就构成了欧氏空间；把内积运算推广到复线性空间上，这就是酉空间(复内积空间)。

定义1.19设$V$是复数域$C$上的线性空间，若对于$V$中的任意两个向量$x,y$都能对应一个复数$(x,y)$，并且满足以下条件:

$(x,y) = \overline{(y,x)}$;
$(x + y,z) = (x,z) + (y,z),\quad\forall z \in V$;
$(kx,y) = k(x,y),\forall k \in C$;
$(x,x) \geq 0$,当且仅当$x = 0$时，$(x,x) = 0$

则称该复数$(x,y)$是向量$x$与$y$的内积。

线性泛函与伴随变换

对于$R^{n}$中的两个向量$x,y$，$x = (x_{1},x_{2},\ldots,x_{n})^{T},y = (y_{1},y_{2},\ldots,y_{n})^{T}$,则$(x,y) = x_{1}y_{1} + x_{2}y_{2} + \ldots + x_{n}y_{n}$是向量$x,y$的一种内积。对内积可以这样解释，如果固定$y \in R^{n}$，则所有与向量$y$的内积就是$R^{n} \rightarrow R$的一个线性映射，这通常称为$R^{n}$上的线性泛函。

定理1.21 设$\varphi$是$V$上的线性泛函，则存在唯一的一个向量$v \in V$使得

\[\varphi(u) = (u,v),\quad u \in V\]

设$T$是从酉空间$C^{n} \rightarrow C^{n}$内的一个线性变换，$T^{*}$也是一个从$C^{n} \rightarrow C^{n}$内的线性变换，如果对任意两个向量$x,y \in C^{n}$恒有

\[(Tx,y) = (x,T^{*}y)\]

就称$T^{*}$为$T$的伴随变换。

定理1.22对于任一个线性变换$T(C^{n} \rightarrow C^{n})$，恒存在唯一的伴随变换$T^{*}$。

在同一标准正交基下，$T$的伴随变换$T^{*}$的矩阵表示就是$T$的矩阵表示的共轭转置。

定义2.8设$T$为从$C^{n} \rightarrow C^{n}$ 的线性变换，$T^{*}$是它的伴随矩阵，若

\[T = T^{*}\]

则称$T$为自伴变换

自伴变换的矩阵表示是Hermite矩阵.欧氏空间中的线性变换$T$若是自伴变换，则它的矩阵表示就是实对称矩阵。

正交变换的定义和性质

定义2.1 设$T$是一个欧氏空间$V$上的线性变换，如果对于任何向量$x,y \in V$，变换$T$恒能使下式成立：

\[(T(x),T(y)) = (x,y)\]

则称$T$是$V$上的正交变换。

定理2.2设$T$是欧氏空间$V$上的线性变换，则下面任何一个条件都是使$T$为正交变换的充要条件：

$T$使向量长度保持不变，即对$\forall x \in V$有$(T(x),T(x)) = (x,x)$;
任一组标准正交基经$T$变换后的像仍是一组标准正交基;
$T$在任一组标准正交基下的矩阵$A$满足$A^{T}A = AA^{T} = I$或$A^{T} = A^{- 1}$

这个定理表明$T$是正交变换，对$\forall x,y , (T(x),T(y)) = (x,y) \Longleftrightarrow (T(x),T(x)) = (x,x) \Longleftrightarrow \alpha_1,\alpha_2,\dots,\alpha_n \text{为一组标准正交基，则}T(\alpha_1),T(\alpha_2),\dots,T(\alpha_n)\text{也是一组标准正交基} \\ \Longleftrightarrow T\text{在一组标准正交基下的矩阵表示}A\text{是正交矩阵，即}A^TA = AA^T=I $.

正交矩阵是一特别重要的矩阵，它的重要性不仅反映在它保持内积不变，从而保持向量长度不变，而且他在矩阵约简中是一个重要的工具，同时它的逆矩阵特别好求，$A^{- 1} = A^{T}$.

酉变换与酉矩阵

定义2.3设$V$是一个酉空间，$T$是$V$上的一个线性变换，如果对于$\forall x,y \in V$，恒有$(T(x),T(y)) = (x,y),$则说$T$是一个酉变换。

酉变换与正交变换都保持内积不变，所以同属于等积变换。

定理2.4 设$T$是酉空间$V$上的线性变换，$T$为酉变换的充要条件是下述条件之一成立：

对$\forall x \in V,(T(x),T(x)) = (x,x)$
$V$ 的任一组标准正交基经$T$变换后的基像组仍为$V$的标准正交基；
$T$在任一组标准正交基下的矩阵表示$U$是酉矩阵，即$U$满足$U^{*}U = UU^{*} = I$，这里$U^{*}$表示矩阵$U$的共轭转置。

内积空间中的正交子空间

定义2.5设$V_{1}$与$V_{2}$是内积空间$V^{n}$的两个子空间，如果对$\forall x_{1} \in V_{1},x_{2} \in V_{2}$,都有$(x_{1},x_{2}) = 0$,则称子空间$V_{1},V_{2}$正交，记$V_{1}\bot V_{2}$.

定义2.7设$V_{1}$是内积空间$V$的一个子空间，$V$中所有与$V_{1}$正交的向量所组成的集合，记为$V_{1}^{\bot}$,即$V_{1}^{\bot} = \{\alpha \in V|\alpha\bot V_{1}\}$，则称$V_{1}^{\bot}$为$V_{1}$的正交补

定理2.8设$V_{1}$是内积空间$V^{n}$的任一子空间，则存在唯一的子空间$V_{1}^{\bot} \subset V^{n}$使得$V_{1} \oplus V_{1}^{\bot} = V^{n}$.

可惜流光

2-内积空间与等积变换