第四章 线性和非线性分类器.pptVIP

* 判别函数：用于表达决策规则的函数称为判别函数。 * * 对同一批训练样本，采取不同种方法获得的判别函数和界面都不同，而事实上，同一种方法判决界面也可以有很多条（决策面平移不影响判决规则），选择不同的界面所得到的分类不确定区大小不同。 第一种两分法的不确定区最大； 第二种方法的不确定区为各决策面相交的中间区域，较第一种小，线性分类的可能性更大； 第三种方法为第二种的特例，特在用此种方法获得的所有的决策面交汇于一点，不确定区为零，线性分类的可能性最大。 * ）“感知器”：对一种分类学习机模型的称呼，属于有关机器学习的仿生学领域中的问题，由于无法实现非线性分类而下马。但“赏罚概念（The Reward-Punishment Concept）” 今天仍在模式识别中起着很大的作用。 * ST 是企业亏损满三年的股票，如果在规定期限不能扭亏，就有退市的风险还有，虽然不满三年，但财务状况恶劣的也可以是*ST，总之就是有退市风险的股票。 沪深证券交易所在1998年4月22日宣布，根据1998年实施的股票上市规则，将对财务状况或其它状况出现异常的上市公司的股票交易进行特别处理，由于“特别处理”的英文是Special treatment(缩写是“ST”)，因此这些股票就简称为ST股。 * Pdf文档“我国上市公司“ST预警判别模型”的实证研究” 选取不同的判别函数临界值得到的分类准确率不同，上表中-0.35临界值总体分类准确率最高。而实际中，要考虑各种分类错误的风险偏好来选择临界值，如将ST公司分为非ST公司的风险较高，则应选择0.3作为临界值。 梯度下降法—迭代法 设函数f(Y)是向量 的函数，则f(Y)的梯度定义为： 梯度的方向是函数 f(Y) 在Y点增长最快的方向，负梯度方向是减少最快的方向； 梯度的模是f(Y)在增长最快的方向上的增长率。 （增长率的最大值） 、梯度概念 例：对一个二维向量 ，令 ，则 在几何上表示一个曲面，这个曲面被 （常数）所截得的 等高线，在 平面上的投影是一条曲线L，不同的C值得到 不同的等高线。 由 、 平面所截的等 高线在平面 的投影为L1 、L2 。 L1上A 点的梯度方向与函数f(X) 在点A的法线方向一致，是函数f(X) 在点A增长最快的方向。 若从高度C1到达C2，显然， 若以同样的速率增长，沿梯度方 向肯定是最快到达的。 假设准则函数J的最小值对应着最优解 从起始值权向量W1开始，算出W1处目标函数的梯度矢量▽J(W1)，则下一步的W值为： W2 = W1-ρ1▽J(W1) 其中，W1为起始权向量,ρ1为正比例因子 J(W1) 为目标函数,▽J(W1)为W1处的目标函数的梯度矢量 在第k步的时候 Wk+1 = Wk-ρk▽J(Wk) 这就是梯度下降法的迭代公式。 这样一步步迭代就可以收敛于解矢量 ρk取值很重要 ρk太大，迭代太快，引起振荡，甚至发散。 ρk太小，迭代太慢。 感知器的原理结构： 感知器法—迭代法 假设： 分别表示两种类型 则感知器输出函数变为： f为一个阶跃函数，输出为: 感知器算法： 1.错误分类，修正wk 如wkTx≤0并且x∈ω1 wk+1= wk+ρkx 如wkTx≥0并且x∈ω2 wk+1= wk-ρkx 2.正确分类 ，wk不修正 如wkTx＞0并且x∈ω1 如wkTx＜0并且x∈ω2 wk+1= wk 注意此处的迭代公式不同 算法原理： 假设两类问题（ ωi ，ωj），将ωj 类的所有训练样本乘以-1，这样，对于所有训练样本，都有g(x)=WTX0。 在上述处理后的训练样本中，考虑错分的样本集合X0，定义感知器准则函数： 当分类发生错误时就有WTX 0，或－WTX 0, 所以J(W) 总是正值，错误分类愈少， J(