SEWM分类任务系统说明.pptVIP

SEWM2006分类任务系统说明 瑶湖分类队: 王明文(指导老师) 余俊英 张华伟 陶红亮 曹瑛 甘丽新 江西师范大学网络应用研究所 2006年7月23日 分类系统模块结构 系统模块列表 HTML格式处理 中文分词模块 分类器训练模块 分类模块 HTML格式处理 采用Java开源项目：HTMLParser 保存了一些主要的内容：网页编号、类别号、URL、Title、Body、Link信息及其锚文本。 遇到的问题： 字符集合编码类型很多,我们跳过BIG5、shift JIS、EUC-KR等类型的字符，只保留了GB2312、GBK、UTF-8这三种类型。 字符集的标定有少量错误，我们发现一些标为GBK的网页是乱码；标为UTF-8 的网页，经过重新编码后仍为乱码。 中文分词 采用中科院计算所ICTCLAS分词软件 存在的问题： 由于网页中有部分超常的英文字符以及一些乱码，分词系统会报错并且停止 。 针对这个问题，我们对这些异常文件另外处理，采用北大天网提供的分词程序。 特征选择 对于训练集example1,共有166241个词，根据词频，滤掉了那些词频小于2或者大于8000的词，剩下74258个。 对于example2,也采用相同的操作，剩下12648个词。 对两个训练集合，都采用卡方统计进行特征选择，取了CHI较大的前8000个特征词。 分类模型 kNN：标准kNN算法 K值取为20 SVM：SVMlight算法 MLSC：基于潜在语义结构的多类分类器 关于系统的其他说明 权重计算公式： 采用LTC权重 对词出现在网页的不同位置，给予不同的权重 TITLE，BODY，URL，ANCHOR的权重之比为：5:1:1:0.5 特征维数选取在8000维 由于我们取定的中文特征数目比较小，因此有不少测试文档表示为空，针对这种情况，我们的做法是：将它分给文档数最多的那个类别，相似度定为0。 系统运行环境 硬件平台： Lenovo PC机； CPU：2.7G； 内存：1.5G； 硬盘：300G 操作系统： RedHat 9.0 编程语言： Java 未来展望 考虑链接信息对类别的影响 链入信息与链出信息应该区分对待 不同位置词的权重设置应该更合理 希望CWT20g训练集合能够更加规范 网页的内容的合理性 网页的类别标签合理性 江西师范大学网络应用研究所 * 江西师范大学网络应用研究所