信息检索与搜索引擎技术实验向量空间模型.docxVIP

昆明理工大学信息工程与自动化学院学生实验报告 （2014—2015学年第1学期） 课程名称：信息检索与搜索引擎技术 开课实验室：信自楼445 2014年12月23日 年级、专业、班 计科 111 学号 5138 姓名 成绩 实验项目名称 向量空间模型 指导教师 李卫疆 教 师 评 语 该同学是否了解实验原理： A. 了解口 B.基本了解口 C.不了解口 该同学的实验能力： A.强口 B.中等 口 C.差 口 该同学的实验是否达到要求：A.达到口 B.基本达到口 C.未达到口 实验报告是否规范： A.规范口 B.基本规范口 C.不规范口 实验过程是否详细记录： A.详细口 B.一般 口 C.没有口 教师签名： 年 月 日 一、 上机目的及内容： 给定文档语料： dl:北京安立文高新技术公司 d2:新一代的网络访问技术 d3:北京卫星网络有限公司 d4:是最先进的总线技术°。。 do:北京升平卫星技术有限公司的新技术有。。。 设计一个针对这些文档的信息检索系统。具体要求是： 1） 给出系统的有效词汇集合（说明取舍原因）。 2） 写出dl和d2在VSM中的表示（使用tf*idf,写出各项的数字表达式，具体数值不必实 际计算出来）。 3） 画出系统的倒排文件示意图。 4） 按照向量夹角的余弦计算公式，给出针对查询“技术的公司”的前3个反馈结果。 二、 实验原理 给定文档语料： -dl:北京安立文高新技术公司 -d2:新一代的网络访问技术 -d3:北京卫星网络有限公司 -d4:是最先进的总线技术。。。 Term dl d2 d3 d4 d5 Term出现 北京升平 卫星技术 有限公司 的新技术 有°。。 设计 一个针对 这些文档的信息检索系统。具体要求是： 1） 给出系统的有效词汇集合（说明取舍原因）。 北京、安、立、文、高新、技术、公司、新、网络、访问、卫星、有限、先进、总线、 升、平 的、是、最、有，这些词作为停用词不能加入系统的有效集合 一、代，去除后并不影响原来句子语义的表达也不能算作系统的有效集合。 2） 写出dl和d2在VSM中的表示（使用tf*idf,写出各项的数字表达式，具体数值不必实际 计算出来）。 得到的矩阵: TF x : 说明： TF：表 示词项在 该文档或 者查询词 中出现的 T ,A 1 0 1 次数 3 1 x 1G* 安 V 1 0坟 0 0 0 1 立L 世 0 0 0 0 1 文 「 1 0 0 0 0 1 高新 1 0 0 0 0 1 技术 1 1 0 0 1 3 公司 1 0 1 0 1 3 新 0 1 0 0 1 2 网络 0 1 1 0 0 2 访问 0 1 0 0 0 1 卫星 0 0 1 0 1 2 有限 0 0 1 0 1 2 先进 0 0 0 1 0 1 总线 0 0 0 1 0 1 升 0 0 0 0 1 1 平 0 0 0 0 1 1 频度。即该 词项出现次数除以该文档的长度（所有词的个数） 。业：表示词项k在D：中的出现次数。 =］。为：表示该文档的长度（所有词的个数） IDF：表示词项在文档集合中的重要程度。一个词项出现的文档数越多，说明该词项的 区分度越差，其在文档集合中的重要性就越低。 N：表示集合中的文档数； 喝表示出现词项k的文档数。 dl中各词项的数字表达式 “北京”的TF x IDE = % x logT 5 “安”的TF x IDF = - x log j T 5 “立”的TF X IDF = 3 x log j TOC \o 1-5 \h \z I 5 “文”的TF x IDF = 7 x logy T 5 “高新”的TF X IDF = 7 x log 7 T 5 “技术”的TF x IDF = - x Log- 5 “公司”的TF x IDF = ： x logT f J d2中各词项的数字表达式： j s “新”的TF x IDF =孑 * r 5 “网络”的TF x IDF = 3 x j 5 “访问”的TF x IDF = 3 x log j r s “技术”的TF x IDF = % x logT f J 画出系统的倒排文件示意图。  4）按照向量夹角的余弦计算公式，给出针对查询“技术的公司”的前3个反 馈结果。 该部分由代码实现。 三、实验方法、步骤 1- 建立Java项目， 建立类文件并编辑 建立类文件并编辑，如图4-1,图4-2所示 254 5 6 7 8 g 254 5 6 7 8 ge。? 2 m 4 5 6 7819 } ?? 2 3 4 5 J ￡ 1111111111222222222 ? ftauthor 图4~1 V public class Text Vector ( ,拘R画我?宝KT 5■所有步虞供松偷 x Op