复杂分类器的简介.ppt

复杂分类器的简介 复杂分类器 支撑向量机 （support vector machine） 神经网络（Neural Networks） 模糊逻辑 （Fuzzy Logic） 支撑向量机 （support vector machine） f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? 线性分类器 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) How would you classify this data? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) Any of these would be fine.. ..but which is best? 线性分类器 f x y +1 -1 f(x,w,b) = sign(w. x - b) 线性分类器的间隔（ margin）：到超平面最近的样本与此超平面之间的距离。 最大间隔 f x y +1 -1 f(x,w,b) = sign(w. x - b) 具有最大间隔的线性分类器叫做最大间隔线性分类器。 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM) 线性支持向量机 f x y +1 -1 f(x,w,b) = sign(w. x - b) 支持向量(Support Vectors) :是那些距离超平面最近的点。 具有最大间隔的线性分类器叫做最大间隔线性分类器。 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM) 线性支持向量机 最大间隔 Why… 最大间隔? +1 -1 f(x,w,b) = sign(w. x - b) 支持向量(Support Vectors) :是那些距离超平面最近的点。 具有最大间隔的线性分类器叫做最大间隔线性分类器。 其就是一种最简单的支持向量机(SVM) (称为线性支持向量机，即LSVM) 线性支持向量机 直观上感觉很好. 学习得到的线性分类器.其对未知样本的预测能力与分类器间隔有如下关系： 具体化分类超平面及其间隔 如何在数学上表示? …在m位空间中? Plus-Plane Minus-Plane Classifier Boundary zone “Predict Class = +1” “Predict Class = -1” zone Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } Classify as.. +1 if w . x + b = 1 -1 if w . x + b = -1 不可分情况 if -1 w . x + b 1 具体化分类超平面及其间隔 Plus-Plane Minus-Plane Classifier Boundary zone “Predict Class = +1” “Predict Class = -1” zone 计算间隔 Zone “Predict Class = +1” “Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin 我们怎样利用 w与b 计算margin? Plus-plane = { x : w . x + b = +1 } Minus-plane = { x : w . x + b = -1 } 注: 向量 w 与 Plus Plane 垂直. 为什么? 设 u 和 v 是 Plus Plane上的两个向量. 则 w . ( u – v ) 是多少? 所以 w 也垂直于Minus Plane 注: 向量 w 与 Plus Plane 垂直. 为什么? Zone “Predict Class = +1” “Predict Class = -1” zone wx+b=1 wx+b=0 wx+b=-1 M = Margin 我们怎样利用 w与b 计算margin? Plus-plane = { x : w . x +