《2信息组织(检索二)》-公开课件.ppt

2、7 信息检索（二） 1、信息检索模型（原理） 2、信息检索方法 1、信息检索模型（information retrieval model） 实现信息检索，就是要实现用户查询和文档集文档相似性匹配。检索系统采用的查询和文档集内部表示、相似匹配的方式决定所采用的检索策略和模式，从而引出各种不同的信息检索模型（information retrieval model）。 一个信息检索模型是将文档表示、查询以及它们之间的关系进行建模的框架，它由一个三元组表示： F [ D, Q, R ( q i d j ) ] 其中，D是文档的表示，Q是查询的表示。 R (q i d j ) 是一个排序函数，该函数输出一个与查询表示 q i ∈ Q 和 d j ∈ D 的有关实数。这样就在文档之间根据查询 q I 定义了一个顺序。 按照相似匹配度模式的不同可以分为:全文（full-text）检索 内容(content-based)检索 全文检索——以从文本中找出与查询表示的字符串完全一致的部分为目的，检索结果为包含查询字符串的文本及其位置。 内容检索——不必像全文检索那样进行完全一致的匹配，而是着眼于找出与查询语义相似的文本。 2、内容检索模型 提取一组描述文本内容的词汇，称为索引项（term），用索引项的出现次数等来表示文本和查询请求。 计算文本和查询请求间的相似度并依据大小排序输出检索结果。 内容检索的模型有： 向量空间模型（vector space model） 概率模型 (probabilistic model) 网络模型 (network model) 向量空间模型： 向量空间模型是Gerard Stalton等人在SMART系统中采用的模型，在信息检索领域为人们所熟知的一种传统的检索模型。 向量空间模型的最大特点是用多维向量表示文档和查询，通过计算向量间的相似度实现文档的相似检索。 涉及向量、矩阵、向量空间等线性代数知识。 设矩阵D为索引项-文本矩阵。其中各列是表示文本信息的文本向量，各行是表示索引项信息的索引项向量（其中索引项是经过权重处理的元素） d11 d12 … d1n D = [ d1 d2 …dn] = d21 d22 … d2n dm1 dm2 … dmn 查询语句与文本相同也用索引项权重为元素的向量表示。查询向量 q 表示如下： q1 q = q2 q3 qm 检索时，找出与给定的查询语句相似的文本，这是通过计算查询向量 q 与各个文本向量 d J 间的相似度实现的。 向量间相似度的计算方法有多种，文本检索中最常使用的是计算余弦和内积的相似度。 计算两个向量夹角的余弦函数： 其它信息检索数学模型 概率模型 网络检索模型 推理网络模型 信念网络模型 遗传算法 ( Holland, 1975 ): 交叉、变异、选择 粗糙集( Pawlak, 1980s ): 模糊性和不确定性 3、其他信息检索的相关技术 1）信息过滤：从大量的信息中提取有用的信息，去除无用的信息。 当新的文档加入到系统中时，只提取符合用户需求的信息，去除不符合的信息。在信息过滤系统中，把检索需求称为用户描述，把不断产生的新信息成为信息流。过滤系统根据用户描述文件选择用户感兴趣的信息，删除用户不需要的信息。  信息流