基于字符串相似性大规模数据集挖掘方法研究.pdfVIP

MiningofMassiveDatasets

kovec,Rajaraman,andUllman

StanfordUniversity

再次讨论杰卡德相似度和集合的距离。

然而，现在用字符串（符号列表）表示集

合：

1.对全集进行排序。

2.通过其元素按排序顺序组成的字符串来表示一个集

合。

We’llagaintalkaboutJaccardsimilarityand

distanceofsets.

However,nowrepresentsetsbystrings(listsof

symbols):

1.Ordertheuniversalset.

2.Representasetbythestringofitselementsin

sortedorder.

如果全集是kͲshingle，则存在一个自然的

字典序。

将每个shingle看作一个单独的符号。

然后2Ͳ的shinglingabcad，即集合{ab,bc,

ca,ad}，由长度为4的列表[ab,ad,bc,ca]表示。

IftheuniversalsetiskͲshing,thereisa

naturallexicographicorder.

Thinkofeachshingleasasinglesymbol.

Thenthe2Ͳshinglingofabcad,whichisthe

set{ab,bc,ca,ad},isrepresentedbythelist

[ab,ad,bc,ca]oflength4.

如果我们把一个文档视为一组单词的集合，

我们可以按字典顺序对这些单词进行排序。

更好：按列表中靠前的词排序Ͳ频率Ͳ优先。

为什么？根据文档列表中靠前的

词建立索引。

▪文档分布在的桶中。

Ifwetreatadocumentasasetofwords,

wecouldorderthewordslexicographically.

ter:OrderwordslowestͲfrequencyͲfirst.

Why?Weshallindexdocumentsbasedon

theearlywordsintheirlists.

▪Documentsspreadovermorebuckets.

假设两个集合的杰卡德距离为J，并由字

符串s1和s2表示。设s1和s2的最长公

共子序列长度为C，且s1和s2的（/

删除）编辑距离为E。那么：

▪1ͲJ=杰卡德相似度=C/(C+

E).J=E/(C+E).

成立的是这些字符串

不会重复一个符号，并

且符号以相同的顺序出现。

SupposetwosetshaveJaccarddistanceJand

arerepresentedbystringssands.Letthe

12

LCSofs1ands2havelengthCandt