SVM中高斯核为什么可以映射到无穷多维

前言

通过简单形式解释为什么SVM中，高斯核可以把原始维度映射到无穷多维。

多项式核函数

简单情形多项式核比如：

$$k(x,y)=(x^{T}y{)}^2$$

首先考虑简单情形，原始维度只有2维，即$$x=\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]$$，$$y=\left[\begin{array}{c}{y}_1\\ y_2\end{array}\right]$$。

则有：$$k(x,y)=(x_1{y}_1+x_2{y}_2{)}^2=x_1^2{y}_1^2+2x_1{x}_2{y}_1{y}_2+x_2^2{y}_2^2={\left[\begin{array}{c}{x}_1^2\\ \sqrt{2}{x}_1{x}_2\\ x_2^2\end{array}\right]}^T\left[\begin{array}{c}{y}_1^2\\ \sqrt{2}{y}_1{y}_2\\ y_2^2\end{array}\right]$$.

可以看出，相当于找到一个映射$\mathrm{\Phi }(z)$，把原来的$$z=\left[\begin{array}{c}{z}_1\\ z_2\end{array}\right]$$映射到了$$\left[\begin{array}{c}{z}_1^2\\ \sqrt{2}{z}_1{z}_2\\ z_2^2\end{array}\right]$$。这就是相当于把原来${\mathbb{R}}^2$空间中的特征映射到了${\mathbb{R}}^3$中。

紧接着，把原始维度泛化到$n$维：

$$\begin{array}{}\text{(1)}& k(x,y)& =(x_1{y}_1+x_2{y}_2+\cdots +x_n{y}_n{)}^2\text{(2)}& & =\sum _{i=1}^n(x_i^2{y}_i^2)+2\cdot \sum _{i=1}^{n-1}\sum _{j=i+1}^n{x}_i{y}_i{x}_j{y}_j\text{(3)}& & ={\left[\begin{array}{c}{x}_1^2\\ \sqrt{2}{x}_1{x}_2\\ \sqrt{2}{x}_1{x}_3\\ \cdots \\ x_2^2\\ \sqrt{2}{x}_2{x}_3\\ \cdots \\ x_n^2\end{array}\right]}^T\left[\begin{array}{c}{y}_1^2\\ \sqrt{2}{y}_1{y}_2\\ \sqrt{2}{y}_1{y}_3\\ \cdots \\ y_2^2\\ \sqrt{2}{y}_2{y}_3\\ \cdots \\ y_n^2\end{array}\right]\end{array}$$.

即找到一个映射$\mathrm{\Phi }(\cdot )$将原来$n$维的特征映射到了$\frac{n(n+1)}{2}$维。

高斯核

现在再看简单版的高斯核[1]：

$$k(x,y)=\exp (-||x-y|{|}^2)$$

先考虑2维情况：

$$\begin{array}{}\text{(4)}& k(x,y)& =\exp (-||x-y|{|}^2)\text{(5)}& & =\exp (-(x_1^2+x_2^2+y_1^2+y_2^2-2x_1{y}_1-2x_2{y}_2))\text{(6)}& & =\exp (-(x_1^2+x_2^2))\cdot \exp (-(y_1^2+y_2^2))\cdot \exp (2(x_1{y}_1+x_2{y}_2))\text{(7)}& & =\exp (-||x|{|}^2)\cdot \exp (-||y|{|}^2)\cdot \exp (2x^{T}y)\text{(8)}& & =\exp (-||x|{|}^2)\cdot \exp (-||y|{|}^2)\cdot \sum _{n=0}^{\mathrm{\infty }}\frac{(2x^{T}y{)}^n}{n!}\text{(泰勒展开式: }{e}^x=\sum _{n=0}^{\mathrm{\infty }}\frac{x^n}{n!}\text{)}\end{array}$$

根据前面的多项式核可知后面的$\sum _{n=0}^{\mathrm{\infty }}\frac{(2x^{T}y{)}^n}{n!}$中的每一$n$阶项可以找到相应的映射${\varphi }_n$，

所以$$k(x,y)=(\exp (-||x|{|}^2)\cdot \left[\begin{array}{c}\frac{{\varphi }_0(x)}{\sqrt{0!}}\\ \frac{{\varphi }_1(x)}{\sqrt{1!}}\\ \frac{{\varphi }_2(x)}{\sqrt{2!}}\\ \cdots \\ \frac{{\varphi }_n(x)}{\sqrt{n!}}\\ \cdots \end{array}\right]{)}^T\cdot (\exp (-||y|{|}^2)\cdot \left[\begin{array}{c}\frac{{\varphi }_0(y)}{\sqrt{0!}}\\ \frac{{\varphi }_1(y)}{\sqrt{1!}}\\ \frac{{\varphi }_2(y)}{\sqrt{2!}}\\ \cdots \\ \frac{{\varphi }_n(y)}{\sqrt{n!}}\\ \cdots \end{array}\right])$$

可以看出可以找到映射$$\mathrm{\Phi }(x)=\exp (-||x|{|}^2)\cdot \left[\begin{array}{c}\frac{{\varphi }_0(x)}{\sqrt{0!}}\\ \frac{{\varphi }_1(x)}{\sqrt{1!}}\\ \frac{{\varphi }_2(x)}{\sqrt{2!}}\\ \cdots \\ \frac{{\varphi }_n(x)}{\sqrt{n!}}\\ \cdots \end{array}\right]$$，该映射相当于把原来2维的特征映射到了无穷维。

#参考

[1] https://zh.wikipedia.org/wiki/%E5%BE%84%E5%90%91%E5%9F%BA%E5%87%BD%E6%95%B0%E6%A0%B8

[2] https://murongxixi.github.io/2018/04/23/%E5%A4%9A%E9%A1%B9%E5%BC%8F%E6%A0%B8vsrbf%E6%A0%B8/

[3] https://www.quora.com/Why-does-the-RBF-radial-basis-function-kernel-map-into-infinite-dimensional-space-mentioned-many-times-in-machine-learning-lectures