本文共 1389 字,大约阅读时间需要 4 分钟。
补上笔记。这节课讲的就是大名鼎鼎的Kernel Method...
定义 K(x,y)
, x,y∈R满足:
1) 对称: K(x,y)=K(y,x)
2) 正定: n个观测 x1,x2,...,xn∈Rp
, Kn=⎡⎣⎢⎢K(x1,x1)⋮K(xn,x1)⋯⋱⋯K(x1,xn)⋮K(xn,xn)⎤⎦⎥⎥正定(或者非负定)。
K(x,y)
举例:
性质:
1. 封闭性
1) K(x,y)
正定, α>0 ,则 αK(x,y)正定。
2) K1(x,y)
正定, K2(x,y) 正定,则 K1(x,y)+K2(x,y) 正定, K1(x,y)⋅K2(x,y)正定。
3) { K(x,y)}
正定, Kn(x,y)→K(x,y) ,则 K(x,y)正定。
4) (1+(x,y))k
正定
5) exp(−∥x−y∥2σ2)
正定。
2. 归一性
K¯(x,y)=K(x,y)k(x,x)√k(y,y)√
正定, ⇒K¯(x,x)=1。
(走神一下:关于这个命名的吐槽猛击 ->、 )
1. Hilbert空间:完备内积空间,可以视作欧氏空间的推广。 H={ x,y,z,...}
。
在这个空间中,我们定义:
2. 再生核Hilbert空间
给定 K(x,y)
正定,可以构造Hilbert空间H使得 K(⋅,y)∈H , (K(⋅,y),K(⋅,z))=K(y,z) ;且构造一个 Φ(x):Rp→H ,使得 K(x,y)=(Φ(x),Φ(y)),即核函数可以写成内积形式。
这样对于 ∀f∈H
, (f,K(⋅,x))=f(x)。
1. 基本思想
将线性模型推广到非线性模型的方法(其中较为简单的一种)
xΦ(x)−→−−X~=Φ(x)
,从 Rp 到 Rq(H) 的一个映射。举例: Φ(x)=(x,x2),这样就可以拓展为广义线性模型。
2. SVM
min12∥w∥2+C∑iξi
s.t.yi(wi+b)≥1−ξi,∀i
可以转化为:
min−g(λ,μ)=12∑i∑j(λiyi)(λjyj)(x′ixj)−∑iλi
s.t.∑iλiyi=0
0≤λi≤C
μi≥0
令 w=∑λixiyi
, b=yi−w′xi ,则 f(x)=sign(∑λiyi(x′xi)+b)非线性变换之后,
min12∥w∥2+C∑iξi
s.t.yi(wi+b)≥1−ξi,∀i
注意此时 w
的维数有变化( p→q)。
---------------------
如果各位更关心SVM后面的直觉,还是去看看Andrew Ng的相关课程吧...这里推导太多,直觉反而丢了一些
转载地址:http://ccvqj.baihongyu.com/