五、投影分析

许多问题的最优都可归结为：提取某个所希望的信号，而抑制其他所有干扰、杂波或噪声。投影是解决这类问题的一个极为重要的数学工具。

投影与正交投影

重力的分解就是所谓的正交分解

设\(M \subset H\)是一个子空间，\(x \in H\)，并且\(x \notin M\)，那么定义\(x\)到\(M\)中所有元素的距离中最小的那个值称为点\(x\)到子空间\(M\)的距离。也就是\(\hat{x} \in M\)使得欧氏距离\(\parallel x - \hat{x} \parallel_{2}\)最小的值就是点\(x\)到子空间\(M\)的距离。

事实上\(\hat{x} \in M\)就是\(x\)在\(M\)中的投影向量。类似的可以定义\(x\)在\(M\)的正交补\(M^{\bot}\)上的投影。

令\(M\)是线性空间\(H\)的一个子空间，已知\(x \in H\)，现希望求向量\(\hat{x} \in M\)使得

\[\parallel x - \hat{x} \parallel \leq \parallel x - y \parallel_{2}\quad\forall y \in M\]

子空间\(M\)中满足该不等式的向量\(\hat{x}\)称为向量\(x\)在子空间\(M\)上的投影向量，\(\parallel x - \hat{x} \parallel_{2}\)就是\(x\)到子空间\(M\)的距离，这就是向量\(x\)的最小二乘逼近。直观上看，向量\(\hat{x}\)就是子空间\(M\)中与\(x\)距离最近的向量。

定理5.1(投影定理1)设\(H\)是向量空间，而\(M\)是\(H\)内的\(n\)维子空间。若对于\(H\)中的向量\(x\)，在子空间\(M\)内有一向量\(\hat{x}\)，使得\(x - \hat{x}\)与\(M\)中的每一个向量\(y\)都满足正交条件，即

\[(x - \hat{x},y) = 0,\quad\forall y \in M\]

则不等式\(\parallel x - \hat{x} \parallel_{2} \leq \parallel x - y \parallel_{2}\)对于所有向量\(y \in M\)成立，并且等号仅当\(y = \hat{x}\)时成立。

投影定理说明一个重要事实，就是\(\hat{x} \in M\)是\(x \in H\)在\(M\)中的投影的充要条件是\(x - \hat{x}\)与\(M\)中所有向量都正交，并且向量\(x\)到有限维子空间\(M\)的投影\(\hat{x}\)是唯一的。

投影算子的意义和性质 设

\[R^{n} = W \oplus V\]

为空间\(R^{n}\)的一种分解，则任何\(n\)维向量\(x \in R^{n}\)都可以唯一地表示成

\[x = w + v,w \in W,v \in V\]

规定算子\(P\)

\[Px = w,x \in R^{n},w \in W\]

我们把从\(R^{n}\)到子空间\(W\)的这种变换（或映射）\(P\)称为 \(R^{n}\)沿子空间\(W\)上的投影。 并称\(P\)为一投影算子。

投影算子\(P\)把整个空间\(R^{n}\)变换成子空间\(W\)，也就是若\(x \in W\)，则\(Px = x\)，即算子\(P\)作用与子空间\(W\)中的向量时，结果不变。这就是说

\[PW = W\]

因此又称\(W\)为算子\(P\)的不变子空间。在一般情况下，称\(w\)为\(x\)在子空间\(W\)上的像，而称\(W\)为算子\(P\)的像空间。由于对任何\(x \in V\)，都有

\[pv = 0,\]

所以，称\(V\)为算子\(P\)的零空间，记作\(N(P)\).

算子\(P\)具有下列重要性质：

算子\(P\)具有线性性质，对任意的向量\(x,y \in R^{n}\),以及任意的实数\(\lambda\)和\(\mu\)，恒有

\[P(\lambda x + \mu y) = \lambda P(x) + \mu P(y)\]

所以又称\(P\)是线性算子。
算子\(P\)具有等幂性，即\(P^{2} = P\).

等幂矩阵的性质：

等幂矩阵的特征值只取1和0两个数值；
所有的等幂矩阵（单位矩阵除外）\(A\)都是奇异矩阵；
所有等幂矩阵的秩与迹相等，即\(rank(A) = tr(A)\)
所有对称的等幂矩阵（单位矩阵除外）都是半正定的；
所有的等幂矩阵\(A\)都是可对角化的，即存在非奇异矩阵\(U\)

\[U^{- 1}AU = \Sigma = \begin{bmatrix} I_{r} & 0 \\ 0 & 0 \\ \end{bmatrix},r = rank(A)\]

则令\(U = \lbrack u_{1},u_{2},\ldots,u_{n}\rbrack,U^{- 1} = \begin{bmatrix} v_{1}^{T} \\ \vdots \\ v_{n}^{T} \\ \end{bmatrix},A = U\begin{bmatrix} I_{r} & 0 \\ 0 & 0 \\ \end{bmatrix}U^{- 1} = \lbrack u_{1},u_{2},\ldots,u_{n}\rbrack\begin{bmatrix} I_{r} & 0 \\ 0 & 0 \\ \end{bmatrix}\begin{bmatrix} v_{1}^{T} \\ \vdots \\ v_{n}^{T} \\ \end{bmatrix}\)

于是投影矩阵可以写成

\[P = \Sigma_{i = 1}^{r}\lambda_{i}u_{i}v_{i}^{T} = \Sigma_{i = 1}^{r}u_{i}v_{i}^{T}\]

考察任意一个\(n \times 1\)向量\(x\)的投影\(y = Px\)，则

\[y = Px = \Sigma_{i = 1}^{r}u_{i}v_{i}^{T}x = \Sigma_{i = 1}^{r}(v_{i}^{T}x)u_{i}\]

这个表达式揭示了投影矩阵的本质：

向量\(x\)经过投影矩阵\(P\)的投影后，向量\(x\)与投影矩阵中具有特征值\(1\)的特征向量相关的部分\(x^{T}v_{i}(i = 1,2,\ldots,r)\)在投影结果\(Px\)中完整保留；
向量\(x\)与投影矩阵中具有特征值为\(0\)的特征向量部分\(x^{T}v_{i}(i = r + 1,r + 2,\ldots,n)\)被投影矩阵全部抵消，不出现在投影结果\(Px\)中。

定理5.2 设\(P\)为定义在\(R^{n}\)上的任一线性算子，其像在\(R^{n}\)内，则\(P\)为一投影算子的充要条件是\(P^{2} = P\)，即\(P\)为等幂算子。

正交投影变换

设\(W\)是\(n\)维欧氏空间\(R^{n}\)的一个子空间，\(W^{\bot}\)为其直交补空间，我们有正交分解

\[R^{n} = W \oplus W^{\bot}\]

由子空间\(W\)所确定的这种分解规定了从\(R^{n}\)沿\(W^{\bot}\)到\(W\)的投影变换，称之为正交投变换。由于分解为\(W\)所唯一确定，所以这种投影变换可以记成\(P_{W}\)，以示它与\(W\)的关系，正交补投影变换可以表示成\(P_{W^{\bot}}\).

从欧氏空间\(R^{n}\)到子空间\(W\)上的投影变换是不唯一的，而\(P_{W}\)则是唯一的。

定理5.3定义在欧氏空间\(R^{n}\)上的等幂变换\(P\)为正交投影变换的充要条件是：\(P\)为自伴变换。

投影变换的极值性质

定理5.4(投影定理2) 设\(V\)是内积空间，\(s \subset V\)是\(V\)的有限维子空间，则对\(\forall\alpha \in V\),\(\alpha\) 在\(s\)上的正交投影存在并且唯一。

定义5.5设\(V\)是内积空间，\(s\)是\(V\)的非空子空间，\(\alpha \in V\)是给定的向量，如果存在\(\alpha_{1} \in s\)满足如下等式

\[\parallel \alpha - \alpha_{1} \parallel = \inf_{\beta \in s} \parallel \alpha - \beta \parallel = d(\alpha,s)\]

则称\(\alpha_{1}\)为\(\alpha\)在\(s\)上的最佳逼近。

定理5.6 设\(s\)是内积空间\(V\)的一个子空间，\(\alpha \in V\)是给定的向量，则\(\alpha_{1} \in s\)为\(\alpha\)在\(s\)上的最佳逼近的充要条件是\(\alpha - \alpha_{1}\bot s\).

定理5.7设\(V\)是内积空间，\(s\)是\(V\)的一个\(m\)维子空间，则\(V\)中任一向量\(\alpha\)在\(s\)上都有唯一的最佳逼近，并且\(\alpha\)在\(s\)上的最佳逼近是\(\alpha\)在\(s\)上的正交投影。

下面讨论内积空间\(V\)中向量\(\alpha\)在\(m\)维子空间\(s\)上的最佳逼近的构造。

设\(\alpha_{1},\alpha_{2},\ldots,\alpha_{m}\)是\(s\)的一组基，则对\(\beta \in s\)有

\[\beta = x_{1}\alpha_{1} + \ldots + x_{m}\alpha_{m}\]

根据定理5.6知\(\beta\)是\(\alpha\)在\(s\)上的最佳逼近当且仅当\(\alpha - \beta\bot s\)，即

\[\alpha - \beta\bot\alpha_{i},i = 1,\ldots,m\]

从而得到\((\alpha - \beta,\alpha_{i}) = (\alpha,\alpha_{i}) - \Sigma_{j = 1}^{m}x_{j}(\alpha_{j},\alpha_{i}) = 0\)，于是得到方程组\(Ax = b\),其中

\[A = G(\alpha_{1},\ldots,\alpha_{m})^{T} = \begin{bmatrix} (\alpha_{1},\alpha_{1}) & (\alpha_{1},\alpha_{2}) & \ldots & (\alpha_{1},\alpha_{m}) \\ (\alpha_{2},\alpha_{1}) & (\alpha_{2},\alpha_{2}) & \ldots & (\alpha_{2},\alpha_{m}) \\ \vdots & \vdots & \cdots & \vdots \\ (\alpha_{m},\alpha_{1}) & (\alpha_{m},\alpha_{2}) & \ldots & (\alpha_{m},\alpha_{m}) \\ \end{bmatrix}\]

\[x = (x_{1},x_{2},\ldots,x_{m})^{T},b = ((\alpha,\alpha_{1}),(\alpha,\alpha_{2}),\ldots,(\alpha,\alpha_{m}))^{T}\]

由于\(\alpha_{1},\alpha_{2},\ldots,\alpha_{m}\)线性无关，所以\(A\)为非奇异矩阵，故方程组有唯一解\(x\)，从而得到\(\alpha\)在\(s\)上的唯一最佳逼近\(\beta = x_{1}\alpha_{1} + x_{2}\alpha_{2} + \ldots + x_{m}\alpha_{m}\)

特别的，当\(\alpha_{1},\alpha_{2},\ldots,\alpha_{m}\)是\(s\)上的一组标准正交基时，其Gram矩阵是单位矩阵，则\(\alpha\)在\(s\)上的唯一最佳逼近\(\beta = (\alpha,\alpha_{1})\alpha_{1} + (\alpha,\alpha_{2})\alpha_{2} + \ldots + (\alpha,\alpha_{m})\alpha_{m}\)

SVD分解构造几个重要空间的投影

设\(A\)是一个\(rank(A) = r\)的\(m \times n\)实矩阵，则\(A\)的奇异值分解为

\[A = U\Sigma V^{T}\]

也可以表示成

\[A = U\Sigma V^{T} = \lbrack U_{1}:U_{2}\rbrack\begin{bmatrix} \Sigma_{1}^{T} & 0 \\ 0 & 0 \\ \end{bmatrix}(\lbrack V_{1}:V_{2}\rbrack)^{T}\]

其中

\[U_{1} = \lbrack u_{1},u_{2},\ldots,u_{r}\rbrack,U_{2} = \lbrack u_{r + 1},\ldots,u_{m}\rbrack;\]

\[V_{1} = \lbrack v_{1},v_{2},\ldots,v_{r}\rbrack,V_{2} = \lbrack v_{r + 1},\ldots,v_{n}\rbrack;\]

\[\Sigma_{1} = \begin{bmatrix} \sigma_{1} & & 0 \\ & \ddots & \\ 0 & & \sigma_{r} \\ \end{bmatrix}_{r \times r}\]

由于\(A = U_{1}\Sigma_{1}V_{1}^{T}\)，令\(B = \Sigma_{1}V_{1}^{T} \in R^{r \times m}\)，也就是说\(A = U_{1}B\)完成了一个满秩分解，因此\(R(A) = R(U_{1})\)，故

\(u_{1},u_{2},\ldots,u_{r}\)构成了\(R(A)\)标准正交基底；则\(U_{1}U_{1}^{T}\)是\(A\)的像空间上的正交投影矩阵。
\(u_{r + 1},\ldots,u_{m}\)构成了\(N(A^{T})\)标准正交基底；\(U_{2}U_{2}^{T}\)是\(N(A^{T})\)上的正交投影矩阵。
\(v_{1},v_{2},\ldots,v_{r}\)构成了\(R(A^{T})\)标准正交基底；\(V_{1}V_{1}^{T}\)是\(R(A^{T})\)上的正交投影矩阵。
\(v_{r + 1},\ldots,v_{n}\)构成了\(N(A)\)标准正交基底；\(V_{2}V_{2}^{T}\)是\(N(A)\)上的正交投影矩阵。

从上面的结论可以得到：

\(R(A^{T}) = N(A)^{\bot}\)
\(R(A) = N(A^{T})^{\bot}\)
\(\dim R(A) + \dim N(A) = n;\)
\(R(A)\)与\(R(A^{T})\)同构。

基于SVD的子空间的旋转

正交强迫一致问题，\(Q\)是正交矩阵，矩阵乘积\(BQ\)并不改变\(B\)的列向量之间的线性无关性，所以列空间\(R(BQ) = R(B)\)，矩阵的Frobenius范数\(\parallel A - BQ \parallel_{F}\)起着度量正交强迫一致问题的解的质量的作用，矩阵范数平方和\(\parallel A - BQ \parallel_{F}^{2}\)可以写成迹函数的形式

\[\parallel A - BQ \parallel_{F}^{2} = tr(A^{T}A) + tr(B^{T}B) - 2tr(Q^{T}B^{T}A)\]

于是原问题就等价于使矩阵的迹\(tr(Q^{T}B^{T}A)\)最大化。

\(tr(Q^{T}B^{T}A)\)的最大化可以通过矩阵乘积\(B^{T}A\)的奇异值分解来实现，令矩阵\(B^{T}A\)的奇异值分解\(B^{T}A = U\Sigma V^{T}\)，其中\(\Sigma = diag(\sigma_{1},\sigma_{2},\ldots,\sigma_{n})\).若定义正交矩阵\(Z = V^{T}Q^{T}U\)，若将正交矩阵表示为\(Z = \lbrack z_{ij}\rbrack_{n \times n}\)，由于\(Z^{T}Z = I_{n}, \Rightarrow \Sigma_{j = 1}^{n}(z_{ij})^{2},z_{ii} \leq 1,i = 1,2,\ldots,n\), 则有

\[tr(Q^{T}B^{T}A) = tr(Q^{T}U\Sigma V^{T}) = tr(V^{T}Q^{T}U\Sigma) = tr(Z\Sigma)\Sigma_{i = 1}^{n}z_{ii}\sigma_{i} \leq \Sigma_{i = 1}^{n}\sigma_{i}\]

当且仅当\(Z = I\)即\(Q = UV^{T}\)时等号成立。换言之若选择\(Q = UV^{T}\)，则\(tr(Q^{T}B^{T}A)\)取最大值，从而使\(\parallel A - BQ \parallel_{F}\)取最小值。

相当于将矩阵\(A\)分解为\(BQ\)，这种矩阵分解称为极分解（polar decomposition）

当\(B = I\)时，正交强迫一致问题变为

\[Q = \min_{Q^{T}Q = I} \parallel A - Q \parallel_{F}\]

这一问题的数学描述是求与已知\(n \times n\)矩阵\(A\)最接近的正交矩阵，根据前面的分析，若\(A = U\Sigma V^{T}\)是奇异值分解，则\(Q = UV^{T}\)是与矩阵\(A\)最接近的正交矩阵。

子空间方法的应用（1）—信号子空间与噪声子空间

矩阵\(A \in C^{m \times n}\)，则列向量张成的空间称为列空间\(R(A) \in C^{m}\);

行向量张成的空间称为行空间\(R(A^{H}) \in C^{n}\);

线性方程组\(Ax = 0\)的所有解生成的子空间称为\(A\)的零空间，记为\(N(A)\).

令

\[X = A + W = \lbrack x_{1},x_{2},\ldots,x_{n}\rbrack \in C^{m \times n}\]

为观测数据矩阵。

其中，\(x_{i} \in C^{m \times 1}\)为观测数据向量，而\(W\)表示加性观测误差矩阵。

观测数据矩阵的列空间

\[Span(X) = Span\{ x_{1},x_{2},\ldots,x_{n}\}\]

称为观测数据空间，而观测误差矩阵的列空间

\[Span(W) = Span\{ w_{1},w_{2},\ldots,w_{n}\}\]

则称为噪声子空间。

定义观测数据矩阵的协方差矩阵

\[R_{x} = E\{ X^{H}X\} = E\{(A + W)^{H}(A + W)\}\]

假设误差矩阵\(W = \lbrack w_{1},w_{2},\ldots,w_{n}\rbrack\)与真实矩阵\(A\)统计不相关，则

\[R_{x} = E\{ X^{H}X\} = E\{ A^{H}A\} + E\{ W^{H}W\}\]

令

\[R = E\{ A^{H}A\}\]

和

\[E\{ W^{H}W\} = \sigma_{w}^{2}I\]

这实际上假设各观测噪声相互统计不相关，并且具有相同的方差\(\sigma_{w}^{2}\),于是有

\[R_{x} = R + \sigma_{w}^{2}I\]

令\(rank(A) = r\)，则\(R_{x}\)的特征值分解

\[R_{x} = U\Sigma U^{H} + \sigma_{w}^{2}I = U(\Sigma + \sigma_{w}^{2}I)U^{H} = U\Pi U^{H}\]

其中\(\Pi = \Sigma + \sigma_{w}^{2}I = diag(\sigma_{1}^{2} + \sigma_{w}^{2},\ldots,\sigma_{r}^{2} + \sigma_{w}^{2},\sigma_{w}^{2},\ldots,\sigma_{w}^{2})\)

显然，如果信噪比足够大，即\(\sigma_{r}^{2}\)比\(\sigma_{w}^{2}\)明显大，则含噪声的自协方差矩阵\(R_{x}\)的前\(r\)个大特征值

\[\lambda_{1} = \sigma_{1}^{2} + \sigma_{w}^{2},\ldots,\lambda_{r} = \sigma_{r}^{2} + \sigma_{w}^{2}\]

称为主特征值（principal eigenvalue）。

而剩余的\(n - r\)个小特征值称为次特征值。

于是，自协方差矩阵\(R_{x}\)的特征值分解可以改写为

\[R_{x} = \lbrack U_{s},U_{n}\rbrack\begin{bmatrix} \Sigma_{s} & 0 \\ 0 & \Sigma_{n} \\ \end{bmatrix}\begin{bmatrix} U_{s}^{H} \\ U_{n}^{H} \\ \end{bmatrix} = S\Sigma_{s}S^{H} + G\Sigma_{n}G^{H}\]

其中

\[S \triangleq \lbrack s_{1},\ldots,s_{r}\rbrack = \lbrack u_{1},u_{2},\ldots,u_{r}\rbrack\]

\[G \triangleq \lbrack g_{1},g_{2},\ldots,g_{n - r}\rbrack = \lbrack u_{r + 1},u_{r + 2},\ldots,u_{n}\rbrack\]

\[\Sigma_{s} = diag(\sigma_{1}^{2} + \sigma_{w}^{2},\ldots,\sigma_{r}^{2} + \sigma_{w}^{2})\]

\[\Sigma_{n} = diag(\sigma_{w}^{2},\ldots,\sigma_{w}^{2})\]

定义5.8令\(S\)是与观测数据矩阵的自协方差矩阵的\(r\)个主特征值\(\lambda_{1},\lambda_{2},\ldots,\lambda_{r}\)对应的特征向量矩阵，其列空间

\[Span(S) = Span\{ u_{1},u_{2},\ldots,u_{r}\}\]

称为观测数据空间\(Span(X)\)的信号子空间。而与另外\(n - r\)个特征值（即噪声方差）对应的特征向量矩阵\(G\)的列空间

\[Span(G) = Span\{ u_{r + 1},u_{r + 2},\ldots,u_{n}\}\]

称为观测数据空间的噪声子空间。

根据条件数的分析，观测数据矩阵\(X\)的奇异值分解比协方差矩阵\(R_{x} = E\{ XX^{H}\}\)的特征值分解具有更好的数值稳定性。

下面分析信号子空间和噪声子空间的几何意义。

由于空间的构造方法及列直交矩阵的特点知，信号子空间和噪声子空间正交，也就是

\[Span\{ s_{1},s_{2},\ldots,s_{r}\}\bot Span\{ g_{1},g_{2},\ldots,g_{n - r}\}\]

由于\(U\)是酉矩阵，所以有

\[UU^{H} = \lbrack S,G\rbrack\begin{bmatrix} S^{H} \\ G^{H} \\ \end{bmatrix} = SS^{H} + GG^{H} = I\]

即有

\[GG^{H} = I - SS^{H}\]

前面定理有讲过\(A\)为投影矩阵的充要条件是\(A^{2} = A\)(等幂性)；\(A\)为直交投影矩阵的充要条件是\(A^{2} = A,A^{H} = A\)（自伴矩阵+等幂性）。

这样由于\(S\)是信号空间的标准直交基底组成的矩阵，所以\(S^{H}S = I\)，这样由于

\[(SS^{H})^{2} = (SS^{H})(SS^{H}) = S(S^{H}S)S^{H} = SS^{H}\]

这样我们定义信号子空间上的直交投影矩阵

\[P_{s} \triangleq SS^{H}\]

因此对任意向量\(x\)，\(P_{s}x = SS^{H}x\)可视为向量\(x\)在信号子空间上的投影。

另一方面，由于\((I - P_{s})x\)则表示向量\(x\)在信号子空间的正交补上的投影，由于信号子空间与噪声子空间是正交空间，而\(G\)是噪声子空间的标准正交基底组成的矩阵，故在噪声子空间上的直交投影矩阵是

\[P_{N} = GG^{H} = I - SS^{H} = I - P_{s}\]

只使用信号子空间\(SS^{H}\)或者噪声子空间\(GG^{H}\)的信号分析法分别称为信号子空间方法或噪声子空间方法。

在模式识别中，往往不考虑加性噪声，而考虑目标信号的主要成分和次要成分，相对应的子空间方法分别称为主成分分析（principal component analysis,PCA）和次成分分析（minor component analysis,MCA）.

子空间应用具有以下几个特点：

无论信号子空间方法（或主成分分析），还是噪声子空间方法（或次成分分析），都只需要使用少数几个奇异向量或者特征向量。如果矩阵\(A_{m \times n}\)的大奇异值（或者\(AA^{H}\)的特征值）的个数明显比小的个数要少，那么使用维数比较小的信号子空间比噪声子空间更有效。反之，则使用噪声子空间更方便。
对于\(r \times r\)酉矩阵\(Q\)而言，由于\(SQQ^{H}S^{H} = SS^{H}\)，即子空间\((SQ)(SQ)^{H}\)与信号子空间投影矩阵\(SS^{H}\)等价，所以在应用信号子空间时，往往不需要准确知道主奇异向量或者主特征向量组成的矩阵\(S = \lbrack u_{1},u_{2},\ldots,u_{r}\rbrack\)本身，而只需要知道与子空间等价的矩阵\(SQ\)即可。

类似的，在运用噪声子空间方法时，也可以用与子空间等价的矩阵\(GQ\)代替次奇异向量矩阵或者次特征向量矩阵\(G = \lbrack u_{r + 1},u_{r + 2},\ldots,u_{n}\rbrack\).

重要的是，矩阵\(SQ\)(或者\(GQ\))比\(S\)（或者\(G\)）更加容易寻找和跟踪，因为前者具有更多的自由度。

信号子空间的投影矩阵\(SS^{H}\)和噪声子空间投影矩阵\(GG^{H}\)是可以通过\(GG^{H} = I - SS^{H}\)相互转换的。

子空间方法的应用（2）—多重信号分类

广泛应用于雷达、声呐、无线通信、语音信号处理等许多工程领域。

1.问题的提出

在雷达、语音处理和无线通信等问题中，通常使用\(m\)个传感器或者天线接受\(p\)个空间信号，其中\(m \geq p\)。\(m\)个传感器或者天线组成一个阵列，每个传感器或者天线称为阵元。

阵列的观测信号向量\(x(n) = \lbrack x_{1}(n),x_{2}(n),\ldots,x_{m}(n)\rbrack^{T}\)通常可以用下面的数学模型来表示:

\[x(n) = A(\omega)s(n) + e(n)\]

其中\(s(n) = \lbrack s_{1}(n),s_{2}(n),\ldots,s_{p}(n)\rbrack^{T}\)为空间信号向量，各个空间信号独立发射。矩阵

\[A(\omega) = \lbrack a(\omega_{1}),a(\omega_{2}),\ldots,a(\omega_{p})\rbrack_{m \times p}\]

称为阵列响应矩阵，在均匀等距离分布的直线阵列的情况下，阵列响应矩阵的向量\(a(\omega) = \lbrack 1,e^{j\omega},\ldots,e^{j(m - 1)\omega}\rbrack^{T}\).

\(e(n) = \lbrack e_{1}(n),e_{2}(n),\ldots,e_{m}(n)\rbrack^{T}\)表示\(m\)个阵列元上的加性噪声，它们通常为统计不相关的高斯白噪声，具有相同的方差\(\sigma^{2}\)。

现在的问题是，如何利用阵列观测向量，对\(p\)个空间信号分别进行定位？这个问题称为多重信号分类。多重信号分类的本质是估计每个空间信号入射阵列的方向\(\omega_{i},i = 1,2,\ldots,p\)，简称波达方向估计(DOA估计)

2.噪声子空间方法

阵列观测向量的协方差矩阵

\[R_{xx} = E\{ x(n)x^{H}(n)\} = A(\omega)PA^{H}(\omega) + \sigma^{2}I\]

其中，\(P = E\{ S(n)S^{H}(n)\}\)表示空间信号的协方差矩阵，它是未知的，但通常是非奇异矩阵。

令协方差矩阵\(R_{xx}\)的特征值分解为\(R_{xx} = U\Sigma U^{H}\)，并且\(U = \lbrack U_{s},U_{n}\rbrack\)，其实这里的\(U_{s}\)为对应信号子空间的正交基，\(U_{n}\)是对应的噪声子空间的正交基，则

\[\begin{matrix} R_{xx}U_{n} & = \lbrack U_{s},U_{n}\rbrack\begin{bmatrix} \Sigma_{1} & 0 \\ 0 & \sigma^{2}I \\ \end{bmatrix}\begin{bmatrix} U_{s}^{H} \\ U_{n}^{H} \\ \end{bmatrix}U_{n} \\ & = \lbrack U_{s},U_{n}\rbrack\begin{bmatrix} \Sigma_{1} & 0 \\ 0 & \sigma^{2}I \\ \end{bmatrix}\begin{bmatrix} U_{s}^{H}U_{n} \\ U_{n}^{H}U_{n} \\ \end{bmatrix} \\ & = \lbrack U_{s},U_{n}\rbrack\begin{bmatrix} \Sigma_{1} & 0 \\ 0 & \sigma^{2}I \\ \end{bmatrix}\begin{bmatrix} 0 \\ I \\ \end{bmatrix} \\ & = \sigma^{2}U_{n} \\ \end{matrix}\]

再利用\(R_{xx}U_{n} = E\{ x(n)x^{H}(n)\} U_{n} = A(\omega)PA^{H}(\omega)U_{n} + \sigma^{2}IU_{n}\)，得到

\[A(\omega)PA^{H}(\omega)U_{n} = 0\]

上式两边左乘\(U_{n}^{H}\),得

\[U_{n}^{H}A(\omega)PA^{H}(\omega)U_{n} = 0\]

由于在\(P\)非奇异的情况下，\(BPB^{H} = 0\)当且仅当\(B = 0\)，所以有

\[U_{n}^{H}A(\omega) = 0, \Rightarrow U_{n}^{H}a(\omega) = 0,\omega = w_{1},w_{2},\ldots,w_{p}\]

有\(U_{n}^{H}a(\omega) = 0\)，这说明\(a(\omega)\)正交于噪声子空间的正交基，因此\(a(\omega)\)属于信号子空间。

有\(U_{n}^{H}a(\omega) = 0\)，得到\(\parallel U_{n}^{H}a(\omega) \parallel_{2}^{2} = 0\)，即

\[a^{H}(\omega)U_{n}U_{n}^{H}a(\omega) = 0,\omega = w_{1},w_{2},\ldots,w_{p}\]

更进一步又可以改写为空间谱形式

\[P_{MUSIC}(\omega) = \frac{a^{H}(\omega)a(\omega)}{a^{H}(\omega)U_{n}U_{n}^{H}a(\omega)}\]

显然，空间谱的峰值出现在波达方向角\(\omega = w_{1},w_{2},\ldots,w_{p}\)上。

由前面的分析知道，我们可以通过随\(\omega\)的变化，求\(P_{MUSIC}(\omega)\)的峰值，从而确定到达角的估计值，通过寻找波峰来估计到达角的方法叫做\(MUSIC\)(Mutiple Signal Classification)方法。

由于使用噪声子空间\(U_{n}U_{n}^{H}\)搜索波达方向，因此MUSIC方法是一种噪声子空间方法。该方法广泛应用于雷达、无线通信、信号处理、模式识别等众多工程领域。

向量\(x\)到一些典型集合上的投影

设\(A \in R^{m \times n}\)为列满秩矩阵，则\(A\)的列空间\(R(A)\)上的直交投影矩阵就是

\[P_{R(A)} = A(A^{T}A)^{- 1}A^{T}\]

对\(\forall x \in R^{m},x\)在\(R(A)\)上的投影是\(P_{R(A)}(x) = A(A^{T}A)^{- 1}A^{T}x\)。
到超平面\(C = \{ x|a^{T}x = b\}\)其中(\(a \neq 0\))上的投影

\[P_{C}(x) = x + \frac{b - a^{T}x}{\parallel a \parallel_{2}^{2}}a\]

到仿射集\(C = \{ x|Ax = b\}\)（其中\(A \in R^{p \times n},rank(A) = p\)）上的投影

\[P_{C}(x) = x + A^{T}(AA^{T})^{- 1}(b - Ax)\]

若\(p \ll n\)或者\(AA^{T} = I\)，则投影\(P_{C}(x)\)是低成本的。
到非负象限\(C = R_{+}^{n}\)上的投影

\[P_{C}(x) = (x)^{+} \Leftrightarrow \lbrack(x)^{+}\rbrack = \max\{ x_{i},0\}\]

到半空间（halfspace）\(C = \{ x|a^{T}x = b\}\)（其中\(a \neq 0\)）上的投影

\[P_{C}(x) = \left\{ \begin{matrix} x + \frac{b - a^{T}x}{\parallel a \parallel_{2}^{2}}a & a^{T}x > b \\ x & a^{T}x \leq b \\ \end{matrix} \right.\ \]

到矩形集\(C = \lbrack a,b\rbrack\) (其中\(a_{i} \leq x_{i} \leq b_{i}\)上的投影)

\[P_{C}(x) = \left\{ \begin{matrix} a_{i} & x_{i} \leq a_{i} \\ x_{i} & a_{i} \leq x_{i} \leq b_{i} \\ b_{i} & x_{i} \geq b_{i} \\ \end{matrix} \right.\ \]

到欧氏球\(C = \{ x|\quad \parallel x \parallel_{2} \leq 1\}\)上的投影

\[P_{C}(x) = \left\{ \begin{matrix} \frac{1}{\parallel x \parallel_{2}}x & \parallel x \parallel_{2} > 1 \\ x & \parallel x \parallel_{2} \leq 1 \\ \end{matrix} \right.\ \]

到\(L_{1}\)范数球\(C = \{ x|\quad \parallel x \parallel_{1} \leq 1\}\)上的投影

\[P_{C}(x) = \left\{ \begin{matrix} x_{i} - \lambda & x_{i} > \lambda \\ 0 & - \lambda \leq x_{i} \leq \lambda \\ x_{i} + \lambda & x_{i} < - \lambda \\ \end{matrix} \right.\ \]

其中\(\lambda = 0\),若\(\parallel x \parallel_{1} \leq 1\);否则\(\lambda\)是下列方程的解

\[\Sigma_{i = 1}^{n}\max\{|x_{i}| - \lambda,0\} = 1\]

到二阶锥\(C = \{(x,t)| \parallel x \parallel_{2} \leq t,x \in R^{n}\}\)上的投影

\[P_{C}(x) = \left\{ \begin{matrix} (x,t) & \parallel x \parallel_{2} \leq t \\ \frac{t + \parallel x \parallel_{2}}{2 \parallel x \parallel_{2}}\begin{bmatrix} x \\ t \\ \end{bmatrix} & - t \leq \parallel x \parallel_{2} \leq t \\ (0,0) & \parallel x \parallel_{2} \leq - t,x \neq 0 \\ \end{matrix} \right.\ \]

到半正定锥\(C = S_{+}^{n}\)上的投影

\[P_{C}(X) = \Sigma_{i = 1}^{n}\max\{ 0,\lambda_{i}\} q_{i}q_{i}^{T}\]

式中，\(X = \Sigma_{i = 1}^{n}\lambda_{i}q_{i}q_{i}^{T}\)是正半定矩阵\(X\)的特征值分解。

可惜流光

5-投影分析