文本信息檢索相关处理技术.pptVIP

文本信息检索相关处理技术 武港山 Tel : Office: 蒙民伟楼608B Email : gswu@ 2017-4-10 Wu Gangshan: Modern Information Retrieval 2 信息检索系统的体系结构 文本 数据库 数据库 管理 建索引 索引 提问处理 搜索 排序 排序后 的文档 用户 反馈 文档处理 用户界面 检出的文档 用户 需求 文档 提问 逻辑视图 倒排文档 查询语言和 查询处理 索引和检索 文本处理 具体 应用 系统 (clir,QA,Web) 查询语言及查询处理 武港山 Tel : Office: 蒙民伟楼608B Email : gswu@ 2017-4-10 Wu Gangshan: Modern Information Retrieval 4 内容提要 查询语言 基于关键词的查询 基于模式匹配的查询 结构查询 查询协议 查询处理 用户相关反馈 查询扩展 1、基于关键词的查询 2017-4-10 Wu Gangshan: Modern Information Retrieval 6 1. 基于关键词的查询 单词查询 最基本的查询方式. 需要分词处理 上下文查询 短语查询 查询一个词的序列 临近词查询 给定一个查询序列，并指定词或短语间的最大允许距离。 布尔查询 自然语言查询 2017-4-10 Wu Gangshan: Modern Information Retrieval 7 -短语查询 根据指定的短语查询文档 (ordered list of contiguous words) “information theory” 有时需要考虑停用词处理技术 “buy camera” matches: “buy a camera” “buying the cameras” etc. 2017-4-10 Wu Gangshan: Modern Information Retrieval 8 基于倒排索引实现短语检索 条件：必须是记录关键词位置的倒排索引机制。 处理顺序： 查询包含短语中每个词的文档 计算文档交集 最后在结果文档中进行词序检测 最好从生僻词开始进行词序检测 2017-4-10 Wu Gangshan: Modern Information Retrieval 9 短语查询的伪码 Find set of documents D in which all keywords (k1…km) in phrase occur (using AND query processing). Intitialize empty set, R, of retrieved documents. For each document, d, in D: Get array, Pi ,of positions of occurrences for each ki in d Find shortest array Ps of the Pi’s For each position p of keyword ks in Ps For each keyword ki except ks Use binary search to find a position (p – s + i) in the array Pi If correct position for every keyword found, add d to R Return R 2017-4-10 Wu Gangshan: Modern Information Retrieval 10 -临近词查询 给定一串词并规定检索文档中词间的最大距离。 举例: “dogs” and “race” within 4 words match “…dogs will begin the race…” 也可以结合词根处理和停用词处理。 2017-4-10 Wu Gangshan: Modern Information Retrieval 11 基于倒排索引实现临近词查询 检索的方法和短语检索相似： 不同之处在于词间距离的约束比短语要松，但还有最大距离限制。 在进行位置检测时，是要查找待检测文档中，关键词间的最近距离是否满足检索一定范围内的