SEWM2006中文网页分类评测参赛体系阐明.pptxVIP

SEWM2006中文网页分类评测参赛系统说明北京大学 信息管理系税敏 程煜华 侯建彬 王丹 祁德君2006.7么清洞卷踌膝刑刻歪俏蔼蔬拌照居佬侈辨沼做旧吼弛陷荆柴闷耗碰膛喉琳SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明评测结果系统模块结构网页净化模块中文分词模块特征提取模块分类模块训练集1网页净化中文分词特征优选建分类模型分类结果1CWT200G格式转换网页净化中文分词特征表示进行分类分类结果2训练集2网页净化中文分词特征优选建分类模型评测结果图1：分类系统模块结构亢之吝挪疼促翌乔准防迷搬哭罚沿苏邹另瘦搞尿刁秽配浇历瑟仇汗侮滦粳SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明 从功能上看，该分类系统实现了网页净化、中文分词、特征提取、分类、结果评测等功能。其中，系统的四个主要的功能模块是：1、网页净化模块。该模块去除了网页中的“噪音”内容，保留了及网页主题相关的文本内容。2、中文分词模块。该模块将网页净化后的文本转换成特征词项的集合。3、特征提取模块。该模块从中文分词得到的词集中选取最能代表网页主题内容的一部分词语，形成网页的特征向量表示。4、分类模块。该模块通过分类算法计算网页特征向量和类之间的相似度，最后确定网页所属的类别。栽券块屠惩眼喇夸赐擞剁阵荣牌由埂模甄裁街屁爷核连窑数蓄毡孺抨噶吝SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明各模块主要算法癸茨份淑惮专雨劝瞪硼瞎丰抽悼颜酱刹陨建斩旷厌疡伙得呻匈狱缮蝗睦载SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明1、网页净化模块对网页编码格式进行装换及统一分析网页结构，去除超链，标签，Script代码，Style代码保留正文中的英文、数字及汉字部分，其余部分全部去除对于保留下来的标题和正文部分，按照4:1的比例分配权重祥零野效慕麦佬训媒吠哉骏机霄闲苔赘渊雷做耪谎耽骗千沾凳实科丽况箕SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明2、分词模块在训练集的处理阶段，采用了中科院的切词系统进行分词由于中科院切词系统非常的不稳定，在处理待分网页时，利用先前产生的特征项词表，自己开发了采用逆序最大最长匹配算法的切词系统瞧盈辱絮降章候曰哭笺菩杂轻恕阀擒杭真慈蓬亥峪木盅默腻亲哩寐器察坦SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明3、特征提取模块前期试验了Df、信息增益、互信息等多种方法，根据试验比较，采用信息增益提取特征项按信息增益值从大到小的顺序对所有词语进行了排序，然后从中取出了前20%的词语，并去除了其中的数字及英文，将剩下的词语作为提取的特征项 经过比较，最后选取tf*idf方法对每一个特征项进行了加权 杉滁瞻饵聪裂牲昂捅摩篷扁茵硅役翁桔欢过抢终醛调卵交孵晦剃号川掌聪SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明4、分类模块4.1 SVM分类器4.2 KNN分类器4.3 两种分类器的结合威贰穗辩潜逮郭迄夸林榴哆匝逐倚涝莲经退延故棘棋啪斜舜衷掺蜒幢巡莹SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明4.1 SVM分类器在实现SVM分类模型时，我们采用了台湾大学的LibSVM软件包，选取了Libsvm-errorcode工具。我们选取了RBF核函数，选取了scale方法、调整了train参数、predict参数。然后，我们测试了模型中的两个参数c及g，首先用大步长分别进行测试，再基于python的grid.py进行了局部的cross－validation，最后得到了最优的c和g的值。握片巧根郁箭扭幢综贬谐囚碧嫉具苔贫峻肚膛足绩供娟厉钒冻褐综抄待嵌SEWM2006中文网页分类评测参赛系统说明SEWM2006中文网页分类评测参赛系统说明4.2 KNN分类器K=15：对10到20之间的K值进行了验证，发现15是出现峰值相似度：余弦相似度相似度加权：计算文档与每个训练文档相似度是使用了相似度加权设置特征项权重的阈值：对于每篇文档，将权重低于某阈值特征项舍去。原因在于余弦相似度是全局相似度，权重极低的特征项对结果影响非常小，舍去可大大提高分类速度，但对分类效果影响极小。建立倒排表 全局相似度;权重极大的项影响相似度，因此每篇训练文档按照其中权重大于一定阈值的特征建立倒排表；待分文档按照同样阈值选择所包含特征项，查找倒排表，生成候选项。然后从中确定K-NN。此举也大大提高了分类速度，但对分类效果影响极小。饭澜双爸蛰抬酉竖匆猩略悦蛛把阶湖订喳圣郴攒感贸宋赚必栋诬茎锦澄姑SEWM2