本文共 1389 字，大约阅读时间需要 4 分钟。
补上笔记。这节课讲的就是大名鼎鼎的Kernel Method...
定义 K(x,y)
, x,y∈R满足：
1) 对称： K(x,y)=K(y,x)
2) 正定： n个观测 x1,x2,...,xn∈Rp
， Kn=⎡⎣⎢⎢K(x1,x1)⋮K(xn,x1)⋯⋱⋯K(x1,xn)⋮K(xn,xn)⎤⎦⎥⎥正定（或者非负定）。
K(x,y)
举例：
性质：
1. 封闭性
1) K(x,y)
正定， α>0 ，则 αK(x,y)正定。
2) K1(x,y)
正定， K2(x,y) 正定，则 K1(x,y)+K2(x,y) 正定， K1(x,y)⋅K2(x,y)正定。
3) { K(x,y)}
正定， Kn(x,y)→K(x,y) ，则 K(x,y)正定。
4) (1+(x,y))k
正定
5) exp(−∥x−y∥2σ2)
正定。
2. 归一性
K¯(x,y)=K(x,y)k(x,x)√k(y,y)√
正定， ⇒K¯(x,x)=1。
（走神一下：关于这个命名的吐槽猛击 ->、 ）
1. Hilbert空间：完备内积空间，可以视作欧氏空间的推广。 H={ x,y,z,...}
。
在这个空间中，我们定义：
2. 再生核Hilbert空间
给定 K(x,y)
正定，可以构造Hilbert空间H使得 K(⋅,y)∈H ， (K(⋅,y),K(⋅,z))=K(y,z) ；且构造一个 Φ(x):Rp→H ，使得 K(x,y)=(Φ(x),Φ(y))，即核函数可以写成内积形式。
这样对于 ∀f∈H
， (f,K(⋅,x))=f(x)。
1. 基本思想
将线性模型推广到非线性模型的方法（其中较为简单的一种）
xΦ(x)−→−−X~=Φ(x)
，从 Rp 到 Rq(H) 的一个映射。举例： Φ(x)=(x,x2)，这样就可以拓展为广义线性模型。
2. SVM
min12∥w∥2+C∑iξi
s.t.yi(wi+b)≥1−ξi,∀i
可以转化为：
min−g(λ,μ)=12∑i∑j(λiyi)(λjyj)(x′ixj)−∑iλi
s.t.∑iλiyi=0
0≤λi≤C
μi≥0
令 w=∑λixiyi
， b=yi−w′xi ，则 f(x)=sign(∑λiyi(x′xi)+b)非线性变换之后，
min12∥w∥2+C∑iξi
s.t.yi(wi+b)≥1−ξi,∀i
注意此时 w
的维数有变化（ p→q）。
---------------------
如果各位更关心SVM后面的直觉，还是去看看Andrew Ng的相关课程吧...这里推导太多，直觉反而丢了一些
转载地址：http://ccvqj.baihongyu.com/