SEWM07中文網页分类评测.pptVIP

SEWM07中文网页分类评测 龚笔宏,gbh@net.pku.edu.cn 北京大学网络与分布式系统实验室 2007-03 主要内容 SEWM’07网页分类评测 评测的结果及分析 总结及讨论 1.SEWM’07 CCT评测 目的： SEWM’05,06 CCT测试集的做法 随机挑选大约3,000个页面 剔除文字少、内容含糊、无明确类别归属的网页 每类平均100个测试页面 在原有的评测上加大难度 对测试页面选择的，完全随机，页面质量参次不齐. 存在类别为空的情况。 1.SEWM’07 CCT评测 数据集准备： 在CWT20G中随机选择1000个页面 人工对其进行分类 测试集特性： “娱乐与休闲”占了28%的测试页面,其次为 “计算机”，“商业与经济” 无类别的页面 约20%，主要是: 空页面 论坛登陆页面 论坛出错页面 平均网页大小 24.9k 5.49k~631k. SEWM’05 26.8k/30.3k 1.SEWM’07 CCT评测 1.SEWM’07 CCT评测 评测指标：主要有精度presicion,召回率recall,宏观F1值 –增加“其他”类 P值 其中 是经分类系统输出分类结果为第i类的文档个数, 是在中分类正确的文档个数。 R值 其中 为所有测试文档中，属于第i类的文档个数； 是经分类系统输出分类结果为第i类且结果正确的文档个数 F1值 2.评测的结果及分析 2.评测的结果及分析 今年的评测： 分类平均质量不如往年,可能的原因 测试页面噪音多，文字少，分类难度加大 “无类别页面“的处理 3.总结及讨论 测试页面的选取 不加挑选，以符合真实情况 对主页型页面的分类确定 对”无类别“页面的确定 谢谢! 4 21-24 江西师范 1 12 合肥电子工程学院 9 3~11 华南理工 1 25 海南大学 2 19~20 山东大学 1 1 北京工业大学 25 6 1 训练集 总计结果数 13-18 大连理工 2 北京大学信息管理系 编号 队伍 已提交结果的队伍： 0.40 0.31082 0.31082 0.325741 0.329478 0.338667 0.340304 0.340644 0.342648 0.351583 0.395004 0.403651 0.407514 Macro-f1 均值 江西师范24 江西师范23 山东大学19 合肥电院12 山东大学20 北大信管2 海南大学25 江西师范22 江西师范21 华南理工9 华南理工8 华南理工7 Macro-r Macro-p Macro-f1 Macro-r Macro-p 0.413515 0.416535 0.423271 0.432961 0.447174 0.444847 0.445505 0.446438 0.450302 0.454942 0.460393 0.481461 0.49781 0.389 0.293407 0.293407 0.322129 0.389588 0.337198 0.339644 0.356718 0.33268 0.340877 0.36689 0.375137 0.378148 0.417 0.33043 0.33043 0.329436 0.285437 0.340149 0.340966 0.325956 0.353232 0.362983 0.427786 0.436856 0.441826 0.445796 0.385593 华南理工6 0.437146 0.39778 华南理工4 0.380715 0.476537 北京工业大学1 0.39198 0.483513 大连理工15 0.484044 0.415524 华南理工5 0.505057 0.397464 华南理工11 0.477729 0.417354 大连理工13 0.486525 0.412453 大连理工16 0.512254 0.401717 华南理工10 0.488057 0.426036 华南理工3 0.507963 0.42097 大连理工17 0.483066 0.479867 大连理工14 0.5133 0.483227 大连理工18 Macro-f1 Macro-r Macro-p Macro-f1 Macro-r Macro-p 0.42 0.326214 0.329698 0.332176 0.339076 0.339076 0.334967 0.339294 0.345499 0.371611 0.421333 0.430914 0.440346 0.440896 0.444561 0.451107 0.454402 0.485288 0.486006 0.487023 0.487