SEWM2.009中文Web检索评测.pptVIP

* Table 4.1 Typical system parameters in 2007. The seek time is the time needed to position the disk head in a new position. The transfer time per byte is the rate of transfer from disk to memory when the head is in the right position. When building an information retrieval system, many decision are based on the characteristics of the computer hardware on which the system runs. SSD固态硬盘存储技术是一种介于传统硬盘和内存之间的存储技术，具有抗震，节能，高速，稳定等特点，被称为存储产品的明之星。 It has been shown to be stable [1]; that is, it reliably identifies a difference between two systems when one exists. * 关于查询词条内容的分布，虽然查询内容在搜索引擎中是很重要的一部分，但是我们也没有想出有什么比较好的办法构造模型trace什么样的查询属于什么内容领域。 查询词条内容的分布，这个与语义相关，简单的可以大类分，如：娱乐，任务，商业，学术。。。 可以利用目录导航词条信息来辅助判断查询分类吗, http://123./？ * 当检索词的长度大于10的时候，其数量相对较少 查询长度主要是指用户提交的查询中包含几个词语或者字，这是用到了天网的切词工具产生的数据。经分析共有147,537,659个词，平均每个query长度147,537,659/44,430,803=3.32 * * * * 用户有时候会用名称来查询特定的网页。在这种情况下，一个有效的检索系统将在第一个或前几个返回结果中给出那个网页。 这项任务是两个子任务的组合：HP查询和NP查询。这两种情况下，查询结果只有一个并且用户的查询需求常常是页面的名称。不同的是HP查询的目标是一个通常是一个网站的主页，而指定页面查询所找到的可以不是一个主页，而是满足用户需求的特定页面。 评判规则为：判断参与者返回文档的URL是否为最初选定文档的URL。当然，如果页面有两个不同的URL，那么这两个都将被认为是正确的答案。通过第一个正确答案的位置对系统进行比较。以第一个正确答案出现位置的倒数平均值(MRR)为评估准则。 江西师范大学，罗文兵，jxnulwb@126.com，jxnulwb@ 大连理工大学，苏绥，susui@, susui@ * [Ben, et al.,2006] C. Ben, A. James, and S. Ramesh, Minimal test collections for retrieval evaluation, in Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval. Seattle, Washington, USA: ACM, 2006. The main advantage of EMAP over standard MAP is that it takes advantage of information provided by nonrelevance. * * SEWM2009中文Web检索评测 闫宏飞 School of EECS, Peking University 5/24/2009 * fgfh 内容 评测任务介绍 测试集构建 评测结果 总结 * fgfh * Dataset * fgfh * Hardware assumptions in 2007 symbol statistic value s average seek time 5 ms = 5 x 10?3 s b transfer time per byte 0.02 μs = 2 x 10?8 s processor’s clock rate 10 ?9 s p low level operation 0.01 μs = 10?8 s (e.g., compare swap a word)