SEWM2005 中文Web.pptVIP

3个人，2周。首先理解题目，达成一致，总计形成TD1- 70，HP/NP 1-285 Trick: 1) 利用sohu的分类目录，2) CWT100g建立索引，3) 工具辅助，利用url特征和anchor-text, 找HP/NP。找的时候记录答案。 由于各参赛单位使用的检索方法不同，提交的结果也不同，因此在相关文档池中能够包含大多数相关文档。 R-Precision，计算检索出第R篇相关文当时的精确率 SEWM2005评测工作总结 李静静　2005-9-23 1.工作形式 通过招募人员的方式，完成了本次评测工作。评估主要包括两个阶段：初步评估和检查。完成后对招募人员给予了一定补助或证书。第一阶段工作通过发布招募广告招募人员来完成，第二阶段工作招募天网组内的成员来完成。 2.工作内容 SEWM2005中文Web检索评测共有TD主题75个，每个主题通过pooling给出了500个左右的URL，初步评估人员需要对这些URL对应的网页做出相关判断，来构造答案集。检查人员主要来检查第一阶段评估人员的评测结果，以保证答案集的质量。 3.组织人员 负责人： 李静静 参与人员：秦琦 郭化楠同学也参与了本次评测工作的宣传和策划。 由于计算机系的机房和计算中心的机房都没有空闲时间，所以我们借用了天网组的机器。机器数量不够，我们又借用了实验室3台公用笔记本。事先通知天网组同学在自己的机器上装好opera浏览器，并添加用户sewm，密码设为sewm2005。 4.工作安排 初步评估工作 宣传:9月8日在未名bbs多个版面发布了招募广告，进行了宣传。 工作时间：9月13日13：00开始，18：00左右结束。 工作地点：理科1号楼天网组实验室1217、1220。 检查工作 工作人员：发动天网组内的人员报名参加，招募8人。 工作时间：9月14日、15日两天。 5.招募情况 招募广告受到了校内外很多同学的关注，体现了众多同学对天网的关注和兴趣。有52名同学报名参加评测，根据需要招募了19人参与评估。 天网组内的8人报名参加检查工作。 6.9月13日评估情况 各评估人员13:00集合后，我们首先进行了简单的培训，仔细讲解了相关判断的准则和评测工具的使用。刚开始人评估人员对相关判断准则不是特别清楚，问题比较多，组织人员需要耐心给评估人员讲解。 由于各评估人员的工作进度以及网页打开速度的快慢不同，所以评估人员结束的时间不一样。大部分都在18：00左右结束了评测，只有两名同学评估到20：00点。 整个过程中我们组织人员一直在场，实时检查评估人员的评测结果，并回答评估人员的问题。评估人员的态度比较认真。某个评测人员评测完成后，组织人员都检查一遍评测结果，提出一些问题，让评估人员再次评估，提高评估的质量。 7.检查工作 初步评估结束后，天网组内的8名同学参与了检查。八名中有5名参加过去年的评估工作，2名参与了组织工作，对相关判断的规则都比较熟悉，可以作出相对较为准确的判断。检查人员基本上都在规定的日期内完成了检查工作。 DLUT(大连理工大学) Fraction of Pages Indexed(%):85% no，yes，yes System Characteristic Number of CPUs:5 Total RAMs:2G Size of on-disk File Structure(GB):3GB Year of Hardware Purchase:2003 Estimated Current Hardware Cost(RMB):25000 Indexing Time(elapsed minutes):432000 Average top 20 Query time(seconds): 0.02375 SCUT 双Itanium 2 CPU 的机器，CPU为1.5g，内存为2g，机器运行操作系统为Redhat as3.0 BUAA SUBMISSION FILE: BUAASEI_NP_RUN1.TXT TASK: NP-HP JUDGING PRECEDENCE: first SYSTEM CHARACTERISTICS Number of CPUs :1 Total RAM (GB) :1 Size of on-disk file structures (GB): 240 Year of hardware purchase : 2005 Estimated current hardware cost