一种辅以规则补充的双层文本分类模型-北京大学网络与信息系统研究所.PPT

SEWM2007中文网页分类 系统说明 刘金红、孙宏纲、施凡、李军杰、赵亭 解放军电子工程学院网络工程系 概 要 系统结构与工作流程 系统模块及主要算法 系统运行环境 总结和展望 一、系统的结构 系统整体结构图 系统工作流程图 二、系统模块及主要算法 网页预处理模块 中文分词模块 文本分类模块 网页预处理模块 网页净化模块 对训练集、CWT20G文件进行解压，得到两个网页文档集合：11类别训练集和待分类网页集，对网页进行净化主要包括以下几部分： （1）根据网页中超链接在某一块中的出现比率去除网页导航条信息； （2）利用关键词构造正则表达式来去除广告栏信息和版权信息； （3）去掉无用的HTML语法标签信息。 元数据抽取模块 抽取网页标题（titile）、关键词（keywords）和网页描述（description）等元数据；基于JTidy去除Html标签和抽取网页的主体文本（body）内容。 中文分词模块 基于逆向最长匹配的分词算法 穷尽式名词短语识别算法 主要思想是，在分词的基础上，进一步找出所有的名词和名词性短语； 目的是为了构建规则分类器。 去除停用词 根据实词词典和停用词词典，去除虚词和停用词，超高频词与超低频词在文本表示模块中去除。 文本分类模块 基于规则的分类器 由机器自动完成对分类析取规则集的学习。每一条规则由名词或名词短语构成； 析取规则包括DF和IG； 利用规则集合作为辅助分类器。 基于N-gram的分类器 N-gram算法中，N=2，gram为词。 特征选择基于IG（Information Gain）进行选择。 权重计算采用了改进的LTC方法。 三、系统运行环境 硬件平台： 数据预处理 Lenovo PC机 8台，配置信息如下： CPU：2.4G； 内存：512M； 硬盘：160G 网页分类 Lenovo PC机 1台，配置信息如下： CPU：2.4G； 内存：1G； 硬盘：80G 操作系统： Windows XP SP2； 编程语言与开发平台： Java 2 ，JBuilder 9 。 四、总结和展望 完善网页的预处理，提高有效文字抽取的精度； 深入研究规则学习算法和文档特征项，以进一步提高规则学习效率和规则的有效性。 汇报完毕！ 谢谢大家！ * * * *