SEWM中文网页分类评测江西师范大学参赛队报告.pptVIP

SEWM2007中文网页分类评测江西师范大学参赛队报告 江西师范大学网络应用研究所 2007年3月11日 系统模块结构 内容提纲 CWT20G预处理 中文分词 分类器训练 测试集合的分类 预处理流程 网页数据的特点 包含语义丰富的标记 带来噪音(非文本内容及其大量的广告信息) 大量的链接信息 使用工具 采用Java开源项目：HTMLParser 提取的内容 Title、URL、Body、Link、A 另外，提取页面的位置信息，例如 人民网 时政 时政专题 中国共产党十六届六中全会 内容提纲 CWT20G预处理 中文分词 分类器训练 测试集合的分类 中文分词 采用中科院计算所ICTCLAS分词软件 由于网页中有部分超常的英文字符以及一些乱码，分词系统会报错并且停止 。 对这些异常文件采用北大天网提供的基于词典的分词程序。 词干化处理（Stemming） 去除中英文停用词 中文：哈工大的中文停词表，共494个词 英文： Rainbow的禁止词，共524个 内容提纲 CWT20G预处理 中文分词 分类器训练 测试集合的分类 特征选择 特征维数 Example1共有166031个词，根据文档频率过滤后，剩下74078个词 用卡方统计特征选择30,000个词和60,000个词 分类器 标准KNN分类器，K＝15 SVMlight算法， joachims二元分类器 内容提纲