sewm2006 中文网页分类评测清华大学参赛队报告.pptVIP

SEWM2006 中文网页分类评测 SEWM2006中文网页分类评测清华大学参赛队报告 清华大学计算机科学与技术系 智能技术与系统国家重点实验室 徐舒 xus05@ 内容提纲 CWT200G数据预处理 网页分类策略 未来工作及建议 参考文献 数据预处理－总体设计 zlib压缩存储 处理全部200G数据 保留原始网页的页面信息和链接关系 中间数据可用于对网页分类的进一步的研究 数据预处理－HTML解析（1） 网页分类需要注意的几个问题： 直接应用纯文本分类策略效果很差 通常包含具有丰富语义信息的Tag 通常含有大量噪声 可能包含多媒体信息而无确切的文本内容 提取HTML中如下标签和属性： Title METADATA (keywords,description,etc)， A (Surrounding text) 页面正文信息 实现方法： 基于Python的HTMLParser类，重载其中部分接口 数据预处理－HTML解析（2） 编码转换： 常用网页编码格式： GBK/GB18030/GB2312(简体) BIG-5(繁体) UTF8/UTF16(通用) 只处理BIG5,GBK和UTF-8三种编码 统一转码成为GBK编码（编码转换库Libiconv） 05年训练集中的编码数量统计： BIG5：53， UTF-8：6， GBK：15457 数据预处理－信息抽取和去噪（1） 在解析HTML的基础上进行 表征同一网页的不同形式 页面内部信息 标题 META信息 页面正文 页面链接文本 Web结构信息 链入文本聚合 过滤广告噪声（基于规则） 无链接文字(AnchorText) 链接文字周围没有非链接的文字 链接文字中出现了给定的过滤关键词，例如“下一页”,“图铃”等 缺乏可靠的抑制噪声的措施 不直接删除广告信息，而是给出标记，由后续程序进一步判断 数据预处理－信息抽取和去噪（2） 数据预处理－并行化 海量数据，无进程间通信，易于并行处理 申请使用清华大学计算机集群系统 128台rx2600服务器作为计算节点 ，256 安腾CPU RedHat Linux操作系统 每秒13300亿次的峰值浮点运算能力 实际使用：12节点，预处理用时：28小时 数据预处理－中间数据格式 .ID CWT200G-DFHR23224 .URL / .METADATA @title:北大未明 .ANCHORDATA 首页 联系我们 .LINKSIN @link: @anchortext:北大未明 @surroundingtext:点击进入北大为名网站 @Use:Y .LINKSOUT @link:/about.html @anchortext:关于我们 @surroundingtext: @Use:Y .CONTENT 欢迎来到北大未明网站 .CLASSID 内容提纲 CWT200G数据预处理 网页分类策略 未来工作及建议 参考文献 分类策略－综述 基于纯文本分类策略 向量空间模型 采用SVM（libSVM）作为试验中统一使用的分类器 特征的选择远比分类器本身重要 良好的泛化能力 由于训练后模型只需考虑支持向量，分类速度快 特征和权重 二元串(Bigram)作为特征 TF*IDF权重 CHI-square进行特征选择，70000维 分类策略－多特征融合 多个来源，独立表征网页的信息的融合 采用线性加权的方法融合 使用插值法贪婪搜索确定各个特征的权重 最终采用的融合策略（向量级特征融合）: content title Link text Anchor Text Surrounding Text description keywords 1 2.3 0.78 2.7 2.1 5 0.26 分类策略－链接分析（1） 网页间存在链接:主题存在一定关联 分类完成基础上，简单的标签传播算法进行refine（20G） Step1：给出20G目标网页集合中所有的网页分类标签，并给出分类的置信度。 Step2：对于那些进行了归一化之后分类置信度很低的网页，我们认为这些网页的分类结果是不可靠的， Step3：对于上述所有置信度很低的网页，观察指向该网页的所有网页的分类结果，如果这些网页均为分类置信度很高的网页，并且在分类结果上有很强的内聚性，则将当前页面的分类标签更换为指向其的那些网页的分类结果。 分类策略－链接分析（2） 8类上的传播效果 11类上的传播效果 内容提纲 CWT200G数据预处理 网页分类策略 未来工作及建议 参考文献 未来工作 更加有效的页面去噪方法（VIPS，摘要等） 更大规模的数据集上进行链接分析 改进标签传播的算法 一些感想和建议 8类的分类体系有些过于重叠：如娱乐和时尚 用户调查（User Study