搜索引擎索引简介.pptx

搜索引擎索引简介付宁什么是索引？起源：文献系统计算机领域：数据库索引搜索引擎领域：网页索引 数据索引+并行计算+计算机网络 分布式索引数据库索引结构：线性表索引、散列索引、树形索引数据分派：划分、安排、二次分派并行查询：分发、汇总其他、、、分布式索引处理框架搜索引擎工作原理 web抓取网页网络爬虫用户接口页面存储库输入分析器排序器索引器搜索器索引库索引建立过程 关键词：过滤网页内容提取与分析关键词：标记文档索引关键词：倒排排序索引组织结构正排索引网页1网页2Word1Word1Word2Word2。。。。。。。。。索引组织结构倒排索引Word1Word2网页1网页1网页2网页2。。。。。。。。。倒排索引文件结构倒排索引文件主文件地址对照文件字或词逻辑记录指针集合词14词22。。。。。。逻辑记录号在主文件中的地址（指针）1429。。。。。。文档文件1文件2。。。倒排索引文件结构索引合并归并算法普通归并 O(M+N)跳跃比较O(M+N/k) O(M+2*N)Skip List O(M+N/k) O(M+N+N/k)bitmap O(M+N)索引压缩前提：增序差分存储（Delta编码）固定长度压缩方法 数值范围 头两个bit压缩大小0-63?????? 00???????? 1byte64-16k???? 01???????? 2byte16k-4M???? 10???????? 3byte4M-1G????? 11???????? 4byte存储前1 50 53 58 100 2000 2005 2007 2009 存储后1 49 3 5 42 1900 5 2 2索引压缩Elias- γ 方法按log2(x)分解为两部分，中间加0数字编码1021 0 0 31 0 115111 0 111 1023111111111 0引查询Document at a time数字x:y表示文档编号(x)和词计数(y)索引查询Term at a time数字x:y表示文档编号(x)和词计数(y)分布式索引MapReduce框架Map:任务分解Reduce：结果汇总R树简介一种空间索引结构B树在k维上的扩展用MBR(Minimal Bounding Rectangle)来近似表达空间对象R树实例R树MBR实例R树节点叶子节点：(L, tuple-identifier,...) L=(L0,L1,..)非叶子节点：(L, child-pointer,...)叶子节点信息R树查找迭代R树查找示意图R树插入分裂R树插入分裂插入新矩形R21后，节点向上分裂R树删除重插 谢谢！后缀数组、签名文件等不同表现形式，内存中，磁盘中，