信息检索与搜索引擎技术实验向量空间模型..docVIP

昆明理工大学信息工程与自动化学院学生实验报告 （ 2014—2015学年第 1学期） 课程名称：信息检索与搜索引擎技术 开课实验室：信自楼445 2014 年12月 23日 年级、专业、班 计科111 学号 201110405138 姓名 成绩 实验项目名称 向量空间模型 指导教师 李卫疆 教师评语 该同学是否了解实验原理： A.了解□ B.基本了解□ C.不了解□ 该同学的实验能力： A.强 □ B.中等 □ C.差 □ 该同学的实验是否达到要求： A.达到□ B.基本达到□ C.未达到□ 实验报告是否规范： A.规范□ B.基本规范□ C.不规范□ 实验过程是否详细记录： A.详细□ B.一般 □ C.没有 □ 教师签名： 年 月 日 上机目的及内容： 给定文档语料: d1: 北京安立文高新技术公司 d2: 新一代的网络访问技术 d3: 北京卫星网络有限公司 d4: 是最先进的总线技术。。。 d5: 北京升平卫星技术有限公司的新技术有。。。 设计一个针对这些文档的信息检索系统。具体要求是： 给出系统的有效词汇集合（说明取舍原因）。 写出d1和d2在VSM中的表示（使用tf*idf，写出各项的数字表达式，具体数值不必实际计算出来）。 画出系统的倒排文件示意图。 按照向量夹角的余弦计算公式，给出针对查询“技术的公司”的前3个反馈结果。 实验原理 给定文档语料: ? d1: 北京安立文高新技术公司 ? d2: 新一代的网络访问技术 ? d3: 北京卫星网络有限公司 ? d4: 是最先进的总线技术。。。 ? d5: 北京升平卫星技术有限公司的新技术有。。。 设计一个针对这些文档的信息检索系统。具体要求是： 给出系统的有效词汇集合（说明取舍原因）。 北京、安、立、文、高新、技术、公司、新、网络、访问、卫星、有限、先进、总线、升、平 的、是、最、有，这些词作为停用词不能加入系统的有效集合 一、代，去除后并不影响原来句子语义的表达也不能算作系统的有效集合。 写出d1和d2在VSM中的表示（使用tf*idf，写出各项的数字表达式，具体数值不必实际计算出来）。 得到的矩阵 Term d1 d2 d3 d4 d5 Term出现次数 北京 1 0 1 0 1 3 安 1 0 0 0 0 1 立 1 0 0 0 0 1 文 1 0 0 0 0 1 高新 1 0 0 0 0 1 技术 1 1 0 0 1 3 公司 1 0 1 0 1 3 新 0 1 0 0 1 2 网络 0 1 1 0 0 2 访问 0 1 0 0 0 1 卫星 0 0 1 0 1 2 有限 0 0 1 0 1 2 先进 0 0 0 1 0 1 总线 0 0 0 1 0 1 升 0 0 0 0 1 1 平 0 0 0 0 1 1 说明： TF：表示词项在该文档或者查询词中出现的频度。即该词项出现次数除以该文档的长度（所有词的个数） ：表示词项k在Di中的出现次数 ：表示该文档的长度所有词的个数 IDF：表示词项在文档集合中的重要程度。一个词项出现的文档数越多，说明该词项的区分度越差，其在文档集合中的重要性就越低。 N：表示集合中的文档数； ：表示出现词项k的文档数。 d1中各词项的数字表达式 北京的 安 “立”的 “文”的 “高新”的 “技术”的 的 d2中各词项的数字表达式 “新”的 的 的 的 按照向量夹角的余弦计算公式，给出针对查询“技术的公司”的前3个反馈结果。 该部分由代码实现 实验方法、步骤 建立Java项目 建立DocumentStruct.java类文件并编辑 建立TextVector.java类文件并编辑如图图所示 图 图 建立TF.java类文件并编辑如图图7所示 图 建立图所示 图 建立CaculateSim.java类文件并编辑如图所示 图 建立MainApp图所示 图 完成后的项目文件夹如图所示 图 运行结果如图所示 DocumentStruct.java代码 packageacm.model; public class DocumentStruct { publicDocumentStruct(){ this.documentID = 0; this.documentSimValue = 0; this.documentContent = None