sewm06中文网页分类评测.pptVIP

SEWM06 中文网页分类评测 龚笔宏,gbh@net.pku.edu.cn 北京大学网络与分布式系统实验室 2006-07 主要内容 网页分类评测的目的及背景 评测的前期准备 评测的结果及分析 总结及讨论 1.中文网页分类评测 在各种web 应用中，中文网页分类技术都是一个基本的技术储备 存在的问题：缺乏一个标准的评测工具、评测数据集 历史 2003年第一届全国搜索引擎及Web挖掘大会 2005年第三届全国搜索引擎及Web挖掘大会 1.中文网页分类评测 2006年评测的目的： 2005年评测结束后，参与人员提出了许多建设性建议。因此本次评测给出了2个数据集。 为这个领域的研究人员提供一个交流的机会 希望在国内外各个研究小组的共同参与下建立并完善以中文为主的分类训练集，以进一步促进中文Web分类技术的发展。 评测网页分类的核心技术, 考察分类结果的准确性以及全面性。 2.评测的前期准备 训练集说明: 训练集1:2002年秋天 北京大学网络与分布式实验室天网小组通过动员不同专业的几十个学生，人工选取形成了一个全新的大规模中文网页样本集。它包括11678个训练网页实例和3630个测试网页实例。 训练集2:分类体系是根据常见的新闻类别而设定，从新闻网站上抓取得到对应类别的新闻网页作为训练集页面。它包括960个训练网页和240个测试网页，分布在8个类别中 2.评测的前期准备 2套测试网页的选取流程 选取原则 不是纯英文网页 不限编码格式 网页平均分布于各类别中,每个类别100个测试页面 不限网页文字多少 选取流程 从CWT200G均匀抽取6000个页面 手工分类 平均网页长度26.8k/30.3k 2.评测的前期准备 评测流程 参赛队申请获得所需数据（包括CWT200G ,以及分类器训练集数据） 各参加评测单位建立分类系统，给出CWT200G中所有网页的类别号 提交结果 根据前文所人工选取的测试集，检查每份结果的分类质量 最终提交了有效结果集的共有5个单位，15/12份结果 2.评测的前期准备 评测指标：主要有精度presicion,召回率recall,宏观F1值 P值 其中 是经分类系统输出分类结果为第i类的文档个数, 是在中分类正确的文档个数。 R值 其中 为所有测试文档中，属于第i类的文档个数； 是经分类系统输出分类结果为第i类且结果正确的文档个数 F1值 3.评测的结果及分析 测试集1上的评测结果 11个类别上各组结果的表现(f1) 测试集2上的评测结果 2个数据集上的数据对比 4.总结及讨论 本次评测的不足之处 选择的尽可能是特征明显的测试页面 工作人员的主观因素占了很大比重 2套测试页面并不是完全一致。 评测指标的局限性 4.2007年我们做什么么？ 谢谢! 15 6 1 4 3 1 训练集1 12 总计结果数 4 tsinghua 清华 1 sjtu 上海交大 4 scut 华南理工 2 jxsf 江西师范 1 Pku 北京大学信息管理系 训练集2 队名 队伍 已提交结果的队伍： 0.462061 0.418182 0.516228 jxsf14 0.356973 0.260909 0.565002 jxsf12 0.471915 0.422727 0.534057 jxsf13 0.591161 0.541818 0.650393 tsinhuga1 0.59218 0.541818 0.652865 tsinhuga4 0.6126 0.571818 0.659646 tsinghua6 0.609623 0.573636 0.650427 pku7 0.617346 0.575455 0.665815 tsinghua3 0.638428 0.590909 0.694258 scut9 0.653835 0.625455 0.684912 scut8 0.678236 0.640909 0.720179 tsinghua5 0.68434 0.646364 0.727056 tsinghua2 0.089615 0.096364 0.08375 scut11 0.175959 0.17 0.182351 scut10 sjtu0 0.644443 Macro_p 0.456364 Macro_r 0.534336 Macro_f1 精度： 平均精度为0.6434 0.727~0.5162 召回率 平均值为0.5281 0.6463~0.2609 f1值 平均值为0.5771 0.68434~0.356 0.323454 0.27625 0.390114 scut9 0.632419 0.5975 0.671