不确定性决策理论及方法.ppt

神经网络 不确定性决策理论与方法 1、不确定性决策概述 2、关联规则发现 3、聚类分析 4、连接分析 5、粗糙集分析 6、决策树 7、神经网络 8、支持向量机 支持向量机 20世纪90年代Vapnik提出了支持向量机(Support Vector Machines,SVM)，它被看作是高维空间函数表达的一般方法。使用SVM方法，人们可以在很高维的空间里构造好的分类规则。 支持向量机 经验风险最小化与结构风险最小化原则 经验风险最小化原则 考虑分类问题。样本集为U={x1,x2,...,xl}(m维空间中的l个向量)，每个向量对应一个类别，类别空间Y={+1,-1}。记p(x,y)表示对象x为y类的概率分布。分类的任务就是寻找分类器f：U→Y且使期望风险最小。f的期望风险为： 在有限样本的情况下，p(x,y)是未知的，因此期望风险无法计算。常使用经验风险代替，且当l→∞时两者相等。 支持向量机 如果 成立，则称经验风险最小化原则（Empirical Risk Minimization, ERM）具有一致性。 结构风险最小化原则 Vapnik在1971年证明经验风险最小值未必收敛于期望风险最小值，即ERM不成立。因此提出了结构风险最小化原则(Structural Risk Minimization, SRM)，为小样本统计理论奠定了基础。 支持向量机