搜索引擎技术之数据结构教材.pdf

搜索应用技术 冲出宇宙 2008.1 1 11 预备知识 如果只是给一个普通项目提供搜索支持，你不需要多少预备知识，可以跳过 本节。如果你想把搜索作好，建议你看本节。本节假定读者已经具备计算机专业 本科水平。 本预备知识包含了搜索引擎一般需要使用的而普通课本上面又没有详细描 述的数据结构和压缩算法。 1.1 数据结构 11..11 数数据据结结构构 1.1.1 Hash 11..11..11 HHaasshh函数 定义：Hash 函数把任意范围的key映射到一个相对较小的整数范围内。比如， md5 hash 算法就是把任意字节数组映射到128位的整数上。 Hash 函数在很多领域都有应用，比如，模式匹配、密码学。它们都额外的定 义了Hash 函数的其他特点，如密码学要求Hash 函数接近于单向函数。我们这里 只讨论Hash 函数在Hash table 结构里面的应用。 常用Hash函数介绍 11..11..11..11常常用用HHaasshh函函数数介介绍绍 Hash函数一般会分为2种，即Hash table用的hash和密码学上面应用的Hash。 这里分开介绍。 .1Hashtable Hash 11..11..11..11..11HHaasshhttaabbllee的HHaasshh函数 应用在 Hash table 上的Hash 函数的一个主要特点是输出一般为32 或者64 位。常见的算法有很多种，有关这些Hash 算法的实现代码，可以参考笔者博客 上的文章：Hash 算法实现。 .2 Hash 11..11..11..11..22密码学上的HHaasshh函数 密码学上的Hash 函数第一重要的是其伪单向性。故一般其计算都特别复杂， 结果位数也很长。我们常见的Hash 函数有如下几个：  Adler-32：定义在rfc1950里面，是一种乘法Hash算法，结果是32位整 数；  CRC32：循环冗余码，结果是32位整数；  MD 系列：md3, md4, md5 等，结果都是 128位整数；考虑到md5 冲突 的易构造性，建议不要用它做重要消息签名； 1 搜索应用技术 冲出宇宙 2008.1  RipedMd 系列：有128/160/256/320 位4种规范，但RipedMd-256/320 没 有被认真设计，其安全度和128/160这2种规范一样；  SHA 系列：有160/256/384/512 位4种规范；  Tiger：192位，专门为64位机器优化；  WhirlPool：512位。 这里，需要注意的是，美国的国家标准推荐使用如下几个Hash 算法：RipedMd 系列，SHA 系列，Tiger 和 WhirlPool。具体的说明大家可以去看密码学相关书 籍（推荐《密码学基础（英文版）》和《现代密码学理论与研究》）或者学习著名 的开源库Crypto++或者参考笔者的博客：Hash 散列算法详细解析。 Hashtable 处理碰撞的技术 HHaasshhttaabbllee 处处理理碰碰撞撞的的技技术术 11..11..11..22  Openaddressing（closed hashing）：探测方式。通过选择不同的位置来存 放数据。  线形探测：计算公式为next_pos=(cur_pos +m) mod N；其中m 为常 数，N为Hash table 数组长度；  平方探测：常用计算公式为next_pos =(cur_pos +cur_pos^2) mod N；  二次Hash：常用计算公式为 next_pos = (cur_pos + Hash2(key)) mod N；Hash2 表示第二个Hash 函数。  Chaining：链表方式。即把冲突的key串在一起。