数据流中不同元素计数方法研究.pdfVIP

问题：数据流由从大小为n的集合中选择的元

素组成。迄今为止看到的不同元素的数量。

明显的方法：所看到的元素集。

Howmanydifferentwordsarefoundamong

theWebpagesbeingcrawledatasite?

Unusuallyloworhighnumberscouldindicate

artificialpages(spam?).

Howmanyuniqueusersvisitedthis

month?

Howmanydifferentpageslinktoeachofthe

pageswehavecrawled.

在某个抓取的网页中发现了多少个不同

的单词？

异常低或高的数字可能表示人工页面（邮

件？）。

本月有多少唯一用户过？

有多少个不同的网页到我们抓取的每个

网页。

RealProblem:whatifwedonothavespaceto

storethecompleteset?

Estimatethecountinanunbiasedway.

Acceptthatthecountmaybeinerror,butlimit

theprobabilitythattheerrorislarge.

真正的问题：如果我们没有空间来完

整的集合？

以公正的方式估计计数。

接受计数可能有错误，但限制错误较大的可能

性。

Pickahashfunctionhthatmapseachofthen

elementstoatleastlognbits.

2

Foreachstreamelementa,letr(a)bethe

numberoftrailing0’sinh(a).

RecordR=theumr(a)seen.

R

Estimate=2.

选择一个哈希函数h，将n个元素中的每

一个映射到至少log2n位。

对于每个流元素a，令r(a)为h(a)中尾随

0的数量。

记录R=看到的最大r(a)。

R

估计=2。

Theprobabilitythatagivenh(a)endsinat

leasti0’sis2Ͳi.

Iftherearemdifferentelements,the

probabilitythatͲim

Riis1–(1Ͳ2).

Prob.allh(a)’sProb.agivenh(a)

endinfewerthanendsinfewerthan

i0’s.