大数据智能算法及测评技术（二）.pdfVIP

⼤数据智能算法及测评技术（⼆） 3、分类算法及其测评 3.1 分类算法介绍 分类算法需要事先定义好类别，并对训练样本进⾏⼈⼯标记。分类算法通过有标记的训练样本，学习得到分类器，该分类器可对新样本⾃动 分类，分类的流程下图所⽰。分类算法是⼀种有监督的机器学习算法。 分类的算法种类繁多，⼤致可分为单⼀型分类算法和组合型分类算法。单⼀型分类算法有KNN（K近邻）、决策树、朴素贝叶斯、⽀持向量 机、⼈⼯神经⽹络等；组合型分类算法是组合单⼀型分类算法的集成学习算法，如Bagging和Boosting算法等。考虑到⼤数据应⽤，算法 需要便于实现并⾏化计算。 朴素贝叶斯分类算法对于样本数据稀疏时⾮常敏感，但仍然是应⽤最⼴的分类算法之⼀，被⼴泛应⽤于⽂本分类领域、⽤户⾏为分析等⼤数 据分析挖掘领域。尽管朴素贝叶斯是最简单的贝叶斯⽹络，但理解应⽤朴素贝叶斯分类算法及拉普拉斯平滑技巧需要具备基本的概率统计知 识。因为简单，仍然是应⽤最⼴泛的分类⽅法。 ⽀持向量机（Support Vector Machines，SVM）是建⽴在统计学习理论VC维 （VapNik-Chervonenkis Dimension）和结构风险最⼩ 化原理基础上的分类算法，在解决⾮线性和⾼维数据的分类问题中表现出很好的性能，并在很⼤程度上克服了“过拟合”和 “维数灾难”等 问题。⽀持向量机算法的⽬标是寻找⼀个满⾜分类要求的最优分类超平⾯，使得该超平⾯在保证分类精度的同时，能够使超平⾯两侧的间隔 最⼤化。 3.2 分类算法 正确性测评 以通过蜕变测试验证朴素贝叶斯算法为例。（说明：蜕变测试最适合的场合。） 1、针对算法的 蜕变关系 的识 别 （整个测试构造数据的基础） 通过与领域专家⼀起分析，针对朴素贝叶斯分类算法的特点可以构造如下五类蜕变关系： MR 1.1：全局仿射变换的⼀致性。如果对原始测试⽤例中的每个属性值x（i）做线性变换f（x（i））=ax（i）+b（a≠0）得到衍⽣测试 ⽤例，则分类结果不变。 MR 2.1：类标签的置换。如果对原始测试⽤例中的类标签作统⼀置换，⽐如原先属于类别0的全部置换为类别1，⽽把类别1全部置换为 0，则分类结果也应作相应置换。 MR 2.2：列置换。如果对原始测试⽤例中的任意两列属性做交换得到衍⽣测试⽤例，则分类结果不变。 MR 3：增加不提供信息属性。在原始测试⽤例基础上，增加⼀列属性，增加属性值全部相同，即与原始测试⽤例中属性信息⽆关，得到衍 ⽣测试⽤例，则分类结果不变。 MR 4：复制全部样本。如果把原始测试⽤例中的所有样本全部复制⼀份，增加到原始⽤例上得到衍⽣测试⽤例，则分类结果不变。 MR 5：移除某⼀类。对于原始测试⽤例，假设对于某⼀个测试样本ts得到结果ct=li。在衍⽣测试⽤例中移除S中标签不为li的某⼀类样本， 分类结果不变 2、测试结果与分析 1）构造⼀个基础测试⽤例数据集合 2）构造蜕变测试⽤例数据集合 3）执⾏测试⽤例 4）⽐对不同蜕变关系的测试⽤例执⾏结果 5）分析结果 3.3 分类算法性能测评 分类算法设计过程中，⼀般将数据分为两部分，⼀部分称为训练样本，另⼀部分称为测试样本。训练集中性能表现很好的分类器，有可能在 测试集中分类精度并不⾼，这种现象称为 “分类的过拟合”问题，其本质是分类器的泛化能⼒⽐较差。 1）分类 器性能评估 的⽅法 a、 留置法： 互不相交的 训练 集 和 测试集，分别使 ⽤。 b、 随机⼦抽样：每 次随机抽取训练 集 和 测试集，分别使 ⽤。 c、交叉验证 （Cross-validation）　交叉验证中，每个数据⽤于训练的次数相同，并且恰好测试⼀次。假设把数据分为相同⼤⼩的两个⼦ 集，⾸先选择其中⼀个⼦集作为训练集，另⼀个作为测试集，然后交换两个⼦集的⾓⾊，这种⽅法称为⼆折交叉验证。分类总误差通过对两 次运⾏的误差求和得到。K折交叉验证⽅法是⼆折交叉验证的推⼴，即把数据集分成独⽴并数量相同的K份。每次验证时选择其中的⼀份作 为测试集，其余的K-1份都作为训练=集，该过程重复K次，使得每份数据都⽤于测试恰好⼀次。同样，分类的总误差是所有K次误差之和。 d、 ⾃助法（Bootstrap）　前⾯介绍的三种评估⽅法都是假定训练数据采⽤不放回抽样，因此训练集和测试集都不包含重复记录。在⾃助 法中，训练数据采⽤有放回抽样，即已经选作训练的数据将放回原来的数据集中，使得所有数据等概率的被重新抽取。 2）分类 器性能评估指 标 a）准确性和F-Measure 1、准确性（Accuracy ）。准确性定义为测试集中正确分类的样本数占总测试样本的⽐例：