信息检索与搜索引擎技术万维网数据质量评估读书报告.docxVIP

XXXX大学读书报告课程名称：信息检索与搜索引擎技术课题名称：万维网数据质量评估读书报告学院：信息工程与自动化学院专业年级：学号：学生姓名：指导教师：日期：目 录万维网数据质量评估困境……………………………………………………1 数据质量评估的解决思路……………………………………………………12.1 宏观粒度网络数据质量评估技术………………………………………12.2 微观粒度网络数据质量评估技术………………………………………22.3 冗余页面识别技术………………………………………………………22.4 网络数据质量评估方式总述……………………………………………2面向搜索引擎需求的网络数据质量定义……………………………………2 3.1 基于万维网链接结构分析的网页质量定义……………………………23.2 基于搜索引擎用户信息需求分析的网页质量定义……………………3基于万维网链接结构分析的网页质量评估…………………………………34.1 PageRank在真实万维网环境中的困境…………………………………34.2 用户访问数据与用户浏览关系图………………………………………34.3 基于用户浏览关系图的页面质量评估…………………………………3基于搜索引擎用户信息需求分析的网页质量评估…………………………3 5.1 网页查询无关特征………………………………………………………35.2 查询页面与普通页面的差异分析………………………………………45.3 查询目标页面与普通页面的长度特征差异……………………………45.4 查询页面与普通页面的PageRank特征差异…………………………45.5 基于用户信息需求分析的网页质量评估方法…………………………45.6 基于用户信息需求分析的网页质量评估效果…………………………4基于用户信息需求分析的网页质量评估方法的介绍………………………5万维网数据质量评估困境 根据对用户查询量的计算分析，发现搜索引擎索引数据的数量已经远远超过了用户能够利用的规模，急需扩大索引规模对用户实际体验不一定差生正面的效果。相反，在保持一定数据规模的前提下提升数据质量，保证用户所需要的页面能够被索引到才是搜索引擎当前需要关注的和核心问题。万维网数据质量评估困境自2003年开始，提高索引规模成为当时各个商用搜索引擎竞争的焦点。但在2005年的万维网会议上的报告却表明，尽管搜索引擎的索引量节节攀升，却没有任何一家搜索引擎可以覆盖互联网上所有有用资源。此后，经过索引规模竞争之后的搜索引擎更加务实的面对网络数据资源，索引数据的质量而不是数量成为网络信息检索研究更加关注的课题。造成搜索引擎的关注重点从数量到质量转变的核心原因是其面对的巨大的存储和网络服务压力，面对这样繁杂的数据环境和海量的用户需求，搜索引擎不得不从简单的提高索引数量转而更加关注质量问题，以使其有限的存储和计算资源得到更加合理的使用。网络数据质量评估问题的核心，是清除索引中冗余、低质量、不可信和过时的数据，而保持真正满足用户需求的数据能够得到检索算法的关注。数据质量评估的解决思路面对网络数据中的冗余、低质量、不可信和过时现象，产业界和研究领域的主要解决思路集中在两个方面，即使网页数据清理的方式清除无用数据；或者使用网络数据质量苹果的方式挑选有用数据。两者都需要借助于机器学习和网页分类技术，无论采用哪种技术进行质量评估任务，都需要建立适当规模的训练集合。围绕高质量数据定位的数据质量评估工作按照其评价对象的粒度不同可以分为两类，即Web页面质量评估（宏观粒度）和页面内部元素质量评估（微观粒度）。2.1 宏观粒度网络数据质量评估技术Web环境中的噪音信息可以分为不同粒度：全局噪音是指页面级别的噪音信息；二局部噪音则是之页面内部的噪音信息。处理全局噪音是页面级别数据质量评估的任务，而清除局部噪音则是页面内部元素级别数据质量评估的工作，两者是相互补充的关系。当前网页质量评估的主要工作集中在分析超链接关系上，超链接结构关系是网络数据区别于普通文本数据的最大差别之一，因此，网页质量评估算法依靠超级链接算法的内容推荐与主题相关特性，而搜索引擎当前的运营机制却无法保证上述特性的成立。相反，搜索引擎的兴起和广泛应用反而导致了超链接结构数据质量的下降。搜索引擎及其运营机制，在高质量的网络信息与真实的物质财富之间形成了直接的联系，而这种联系的公平性则是由搜索引擎的运行算法和运营机制决定的。如果在网页质量评估的过程中不仅采用链接结构分析的方法，而且充分采集高质量网页各方面的内容和非内容特征，则会更加