SEWM2008中文Web检索评测.ppt

SEWM2008中文Web检索评测 闫宏飞 School of EECS, Peking University 4/13/2008 内容 评测任务介绍 Task1：主题网页发现和网页内信息块发现 Task2：非网页数字资源分类 Task3：垃圾邮件过滤 /antispam/ 见华南理工大学，陈彬报告 测试集构建 Task1评测结果 总结 Task1：主题网页发现和网页内信息块发现 包括两个子任务 Task1.1：主题型网页发现 Task1.2：网页内容信息块发现 Task2：非网页数字资源分类 Task2背景 对非网页资源的访问需求首次超过网页信息查找和邮件，成为拉动网民使用互联网的第一因素。[2007.12，CNNIC报告] 非网页资源 通过互联网传播共享 以文件目录为主要存储组织结构 内容独立、构成完整、主题明确。具有一定质量和公共访问需求的数字化实体 Task2研究意义 网络资源现状 数量越来越多 发布和管理是无序的 命名、传播、组织都具有较大随意性 对随意性强的非网页资源的自动组织可应用于数字图书馆、网络教学资源库藏、专题内容管理系统等领域 首要任务：自动分类——给定资源实体的属性，预测其主题类别。 Task2可行性探讨 本次评测提出： 利用资源中包含的文件、子目录的名字、大小、内部目录结构等信息，合理形成特征，找到适当的分类方法，预测资源的内容类别 理由： 1）这些属性比资源文件本身更容易获取 2）是各种资源共有的属性 3）避免了对内容分析的复杂和限制 4）名字提供了多种浓缩信息（内容类别、关联、时间、版本等） 探讨：通过这些“低成本”特征，利用已知的自动学习技术，解决非网页资源这种带有自身结构，具有复杂数据类型的实体分类。 Task2评测主旨 如何从给定资源属性中确立适用于分类的特征 什么样的分类方法适合解决数字资源分类问题 CDAL16th数据集介绍 CDAL16th 互联网上搜集近1.7万数字资源 人工标注主题类别。类别体系是层次分类式 是CWT数据集系列的一种。 评测使用： 1个训练数据集cwt_cdal_train(9346) 1个用于评测结果的数据集cwt_cdal_test(6223) 类别的样本分布不均匀，剔除样本稀少的类别，共选用26个中等层次的类别及其中资源。 Task2评测指标 总体正确率 Macro-F1 参赛队所使用的方法(1/3) SDU： 特征选择： 文件格式（理由：一种文件格式往往只存在于特定类） 一定格式文件的平均大小（理由：相同格式的文件在不同类资源中大小不相近） 资源大小 上下文环境（通过资源名、文件名、子目录名作关键词，提交搜索引擎返回相关网页。对网页内容分析，提取高频词） 分类方法： KNN SVM 使用了资源上下文环境中提取出的高频词 参赛队所使用的方法(2/3) PKU： 特征选择： 前缀：资源名、文件名、子目录名切分出的片段； 名字浓缩了用户想要表述的信息，处于书写习惯会有分割信号将其彼此隔开； 资源名承载了用户命名的行为，同类资源有趋同模式。典型例子：如divx格式的电影名多是点号分割、软件类资源中win、tar等高频词汇片段 组成片段之间语序和位置关系不强，近似相互独立 后缀：文件格式 文件名后缀（ 理由：后缀对类别有一定提示作用 ） 参赛队所使用的方法(3/3) PKU 分类方法： Naive Bayes+Simple Good-Turing平滑（理由：特征满足条件独立假设；分类方法的理论基础简洁而坚实。且好的平滑方法能够处理统计方法中经常遭遇的稀疏问题） 名字切分依据：字符类型变化+出现标点符号+大小写转换。 训练中尝试了使用所有特征的60%、80%和100%对分类效果的影响，最后选用100%特征（名字切分所得片段）训练模型参数 Task2评测结果 Task2资源类别 Task2评判 对本次竞赛所使用的数据集而言： 宏观F1 ：SDU2（使用了SVM方法+文件平均大小+资源大小+网页扩展信息）最高，其次是SDU3（SVM）、PKU1（Naive Bayes）、SDU1（KNN） 总体正确率（AC） ：SDU3（使用了网页扩展信息中提取的上下文高频词）最高、其次是SDU2；SDU1与PKU1接近。 祝贺SDU-邵海敏、王川川！ 结果分析(1/3) 正确率的影响因素 网页文本对数字资源实体的扩展 资源实体的样本分布不均匀——互联网上热点资源（影视、歌曲等）的样本数目远大于其他类别，这些资源在互联网上对应的相关文本描述又非常丰富，所以针对性地从网上搜集扩展信息，有助于提高资源的分类正确率。但是受限于类别。 对于大量存在的非热点资源，甚至多数是用户自行组织制作的有价值资源，网上并不能找到有关描述。而这部分资源可能更有保存价值（副本少易消失的