面向信息检索需要的网络数据清理的研究.pdfVIP

面向信息检索需要的网络数据清理研究 刘奕群张敏马少平 清华大学计算机系智能技术与系统国家重点实验室，北京100084 摘要： Web数据中的质量参差不齐、可信度不高以及冗余现象造成了网络信息检索工具 存储和运算资源的极大浪费，并直接影响着检索性能的提高．现有的网络数据清理方式并非专 门针对网络信息检索的需要，因而存在着较大不足。本文根据对检索用户的查询行为分析，提 出了～种利用查询无关特征分析和先验知识学习的方法计算页面成为检索结果页面的概率，从 而进行网络数据清理的算法．基于文本信息检索会议标准测试平台的实验结果证明，此算法可 以在保留近95％检索结果页面的基础上清理占语料库页面总数45％以上的低质量页面，这意 味着使用更少的存储和运算资源获取更高的检索性能将成为可能． 关键词： 网络信息检索；数据清理：机器学习。 WebData forEffective Cleansing InformationRetrieval Liu MinMa YiqunZhang Shaoping State Labof and Key IntelligentTechnologySystems，TsinghuaUniversity,Beijing，100084 Abstract：The web existenceoflow affectstheeffectivenessand ofweb qualitypages search． efficiency Inthis definetheweb as estimationa paper,we pagequality learningproblem．First，several featuresare whichcan search from query-independent investigatedseparatetargetpage ordinaryones．Bayes estimationbasedOnthesefeaturesisthenusedtotrainamodelto scores toweb assignimportance pages．In TRECbased Setreduces45％low aswellasretains experiments．the top-scored qualitypages 95％high ones．Itshowsthe to better with quality less and resourcefor possibilitygain performancestoragecomputing 基金资助： ，教育部科学技术研究重大项目(104236) 35 Information Keywords：Web