第一讲分类与回归问题 文档资料.pptVIP

第一讲 分类与回归问题 第一部分 分类问题 第二部分 回归问题 第一部分 分类问题 ? 分类问题的描述 ? 分类问题的类型 ? 分类问题的求解方法 分类问题的描述 图 1 线性可分的两类问题 分类问题的描述 图 2 线性不可分的两类问题 分类问题的描述 图 3 三类问题（ 1 ） 分类问题的描述 图 4 三类问题（ 2 ） 分类问题的描述 分类问题 ：根据给定的训练集， 其中 要求寻找 上的决策函数 以便能用决策函数 “较好地” 推断任一模 式相对应的 值。 ? ? ) , ( , ), , ( 1 1 l l y x y x T ? ? n i x R ? ? C { 1 , 2 , , } i y m ?? У l i , , 2 , 1 ? ? C ( ) : f x ? C У ( ) f x x y 从数学的角度看分类问题 ? 已知： ? （ 1 ）函数的值域为有限个离散点 ? （ 2 ）函数在某些点上的函数值。 ? 求解：寻找一个函数能较好地预测其他点 上的函数值 注记 ? 如何选择可选的函数类？ 丰富与简单之间的权衡 ? 如何定义“较好地”？ 经验风险与置信风险的折中 ? 是连续函数吗？定义域 如果不是 空间呢？比如 ；值域 取不同的值会否影响解？ 比如 的连续化方法（值得研究） 比如首先求一个从 到 的连续函 数 , 然后再对其离散化，得到不连续的分类函 数： ( ) : f x ? C У C n R n Z У { 1 , 2 , 4 , , 2} m ? У ( ) : f x ? C У ( ? C C ) ? У ( У ) ( ) g x () ( () ) f x l a b e lg x ? 分类问题的类型 ? 从类的多少角度： 一类，二类，多类，可 列无穷类 ; 其中一类、二类是最基本的问题， 因为其他可以通过它们来处理。 ? 从类的线性可分角度： 线性可分，线性不 可分。 ? 从类之间序关系的角度 ：有序分类，无序 分类。 分类问题的求解方法 ? 寻找每个类固有的特征： 更适合于一类、 多类问题。如大部分的图像识别技术。 ? 寻找类之间的差异： 更适合于两类问题。 如支持向量机技术。 ? 一点想法： 从类的分布角度出发，可以考 虑从概率密度函数来选择分类函数，也可 以考虑从势函数和混沌吸引子来选择分类 函数。 第二部分 回归问题 ? 回归问题的描述 ? 回归问题的类型 ? 回归问题的求解方法 回归问题的描述 图 5 线性回归问题 回归问题的描述 图 6 非线性回归问题 回归问题的描述 回归问题 ：根据给定的训练集， 其中 要求寻找 上的决策函数 以便能用决策函数 “较好地” 推断任一模 式相对应的 值。 ? ? ) , ( , ), , ( 1 1 l l y x y x T ? ? , , 1 , 2 , , n i i x R y R i l ? ? ? ? ? У C C ( ) : f x ? C У ( ) f x x y 从数学的角度看分类问题 已知： （ 1 ）函数的值域为整个实数域； （ 2 ）函数在某些点上的函数值。 求解： 寻找一个函数能较好地预测其他点上的函 数值。 回归问题与分类问题的关系 ? 分类： 回归： ? 因此回归可以看成是分类问题的推广，可 以看成是类别数为不可数时的分类问题。 但我们不能以此简单地认为回归问题比分 类问题难，事实上由于回归问题的值域为 整个实数域，常常更好处理。 { 1 , 2 , , } m ? У R ? У 注记 ? 如何选择可选的函数类？ 丰富与简单之间的权衡 ? 如何定义“较好地”？ 经验风险与置信风险的折中 ? 定义域 如果不是 空间 呢？比如 的连续化