sewm2007中文网页分类评测江西师范大学参赛队报告.pptVIP

SEWM2007中文网页分类评测江西师范大学参赛队报告 江西师范大学网络应用研究所 2007年3月11日 系统模块结构 内容提纲 CWT20G预处理 中文分词 分类器训练 测试集合的分类 预处理流程 网页数据的特点 包含语义丰富的标记 带来噪音(非文本内容及其大量的广告信息) 大量的链接信息 使用工具 采用Java开源项目：HTMLParser 提取的内容 Title、URL、Body、Link、A 另外，提取页面的位置信息，例如 人民网 时政 时政专题 中国共产党十六届六中全会 内容提纲 CWT20G预处理 中文分词 分类器训练 测试集合的分类 中文分词 采用中科院计算所ICTCLAS分词软件 由于网页中有部分超常的英文字符以及一些乱码，分词系统会报错并且停止 。 对这些异常文件采用北大天网提供的基于词典的分词程序。 词干化处理（Stemming） 去除中英文停用词 中文：哈工大的中文停词表，共494个词 英文： Rainbow的禁止词，共524个 内容提纲 CWT20G预处理 中文分词 分类器训练 测试集合的分类 特征选择 特征维数 Example1共有166031个词，根据文档频率过滤后，剩下74078个词 用卡方统计特征选择30,000个词和60,000个词 分类器 标准KNN分类器，K＝15 SVMlight算法， joachims二元分类器 内容提纲 CWT20G预处理 中文分词 分类器训练 测试集合的分类 权重计算公式： 采用LTC权重 对词出现在网页的不同位置，给予不同的权重 TITLE，BODY，URL，ANCHOR的权重之比为：5:1:0.5:0.5 网页的位置信息权重设置为4 分类结果 系统环境 硬件平台： HP ProLiant ML570 G3 机架式服务器； 2个双核的Xeon P2.8G，硬盘：274G 操作系统： RedHat AS4_64 编程语言： Java 未来的工作 使用系统的网页去噪技术 考虑链接信息对网页类别的影响 链入信息与链出信息应该区分对待 不同位置词的权重设置应该更合理 江西师范大学网络应用研究所 * 训练集 HTML格式处理 划分为Train Set和Test Set，优选特征维数和模型参数。 特征表示 生成分类模型 CWT100g HTML格式处理 中文分词 特征表示 进行分类 结果 中文分词 分类训练模块 分类模块 HTML格式处理模块 中文分词模块 原始数据 解压缩得到的网页文件 解析后的文件 信息过滤与提取 结果数据存储 ZLib HTMLParser 江西师范大学网络应用研究所