(完整)LocalitySensitiveHashing总结,文档.docxVIP

Locality Sensitive Hashing 总结 一、 概述 最近 搜索 （ Nearest Neighbor Search Problem ， NNS ）是： 定距离空 X 中的 点集 P = { p1, p2 ? pn } ，以及 q∈ X ，如何高效的找到 P 中距离近 q 最近的那个点。 里 的距离空 X ，我 一般只关注 Rd 空 。当 d 小的 候， 文献 H. Edelsbrunner. Algorithms in Combinatorial Geometry. 1987 提出了一个有效的解决 法。 但是，当空 的 度 d 大的 候， 无 是理 上 是 践中， 没有令人 意的解决方法， 性 找方法的效率也非常 低。 种由于 度 d 太大，而 来的求解困 的 称 “ 度灾 ” 。 除了最近 之外， 研究人 近似最近 也比 感 趣，  即，在 P 中找到点 p， 使得 所有的 p’都 足 。此 ，可以直 理解 ， p 是 P 中距离 q 的差不多最小的点。但 是即使是ε -NNS ，情况也不比 NNS 好到哪里去。 了解决 度灾 ， Indyk 提出了局部敏感哈希算法， 用于 理高 海量数据，尤其是用于数据 的相似度 算。 在 用中， 如果是低 少量数据， 可以直接采用 性 找的方法。当数据量大，并且 度高 ， LSH 是一个不 的 。 LSH  从 1998  年开始， 了多个版本。 比 典的是 明空 上的  LSH 、p-stable LSH 。 P-stable LSH  是 明空  LSH  的改 版本，它使得数据无需 化  01 串，可以直接在欧氏 空 上 理。下文分 介 两种  LSH  方案。 二、 原始 LSH LSH  算法的思想是， 利用  hash 函数，将原始数据点映射到一个新的空 中，  并且使得， 在原空 中距离相近的点，会以很大的概率 生 hash 碰撞。当 行最近 找 ，只需要 算 点的 hash ，然后提取所有与 点 生 hash 碰撞的数据点。 些数据点可以在 一个 大的概率下保 是与 点相似的。 一来， 我 只需要在 些相似的点中 找那 个最近 ， 无需遍 整个数据 。 因此， LSH 算法能 帮助我 从整个数据 中找到一个子 集， 个子集种的数据点会以很大的概率与 点相接近。 LSH 算法中采用的 hash 函数并 不同于 的用于密 学中的 hash函数。在密 学中，我 期望尽量避免 hash 碰撞。而在 LSH 算法中的 hash 函数，我 却希望最大化碰撞概率。 那么什么 的函数才算是局部敏感哈希函数呢？从上述描述来看，可以看出  LSH  函数 有如下性 ： 距离较远的点，产生哈希碰撞的概率较小 距离较近的点，产生哈希碰撞的概率较高。 从 LSH 函数的性质，我们可以这么定义 LSH 函数： 在距离空间 X（ d）中，d 为距离， 函数簇 H 是从 X 到 U 到映射， 对任意 X 中的点 p,q， 都满足： 1）如果  d(x,y)  ≤ d1， 则  h(x) = h(y)  的概率至少为  p1； 2）如果  d(x,y)  ≥ d2， 则  h(x) = h(y)  的概率至多为  p2； 满足上述条件的函数称之为是 （ d1, d2 , p1 , p2）-sensitive 的。《 Mining of Massive Datasets 》 一书中，给出了寻找这样的函数的方法。一般来说，我们只需要几个常用的： 下面我们介绍一些满足不同距离度量方式下的 locality-sensitive 的 hash functions ： 1. Jaccard distance Jaccard distance： (1 - Jaccard similarity) ，而 Jaccard similarity = (A intersection B) / (A union B) ， Jaccard similarity 通常用来判断两个集合的相似性。 Jaccard distance 对应的 LSH hash function 为： minhash，其是 (d1,d2,1-d1,1-d2)-sensitive 的。 2. Hamming distance Hamming distance ： 两个具有相同长度的向量中对应位置处值不同的次数。 Hamming distance 对应的 (d1,d2,1-d1/d,1-d2/d)-sensitive  LSH hash function 的。  为：  H(V) =