数据流唯一查询比例抽样分析.pdfVIP

Supposewouldliketoexamineits

streamofsearchqueriesforthepastmonthto

findoutwhatfractionofthemwereunique–

askedonlyonce.

Buttosavetime,weareonlygoingtosample

1/10thofthestream.

Thefractionofuniquequeriesinthesample

willnotbethefractionforthestreamasa

whole.

▪Infact,wecan’tevenadjustthesample’sfractionto

givethecorrectanswer.

样本的长度是整个数据流长度的10%。

假设一个查询是唯一的。

▪它有10%的机会出现在样本中。

假设一个查询在数据流中恰好出现两次。

▪它有18%的机会在样本中恰好出现一次。

依此类推⋯⋯数据流中唯一查询所占的比例

大得无法预测。

Thelengthofthesampleis10%ofthelengthof

thewholestream.

Supposeaqueryisunique.

▪Ithasa10%chanceofbeinginthesample.

Supposeaqueryoccursexactlytwiceinthe

stream.

▪Ithasan18%chanceofappearingexactlyoncein

thesample.

Andsoon…Thefractionofuniquequeriesin

thestreamisunpredictablylarge.

我们的错误：我们根据数据流中的位置进

行抽样，而不是根据数据流元素的值。

将哈希搜索查询分配到10个桶0、1、...、9。

对哈希到桶0的=所有搜索查询进行采样。

▪一个查询的所有实例要么全部被选中，要么全部不被选中。

▪因此，样本中唯一查询所占的比例与整个数据

流中的比例相同。

Ourmistake:wesampledbasedonthe

positioninthestream,ratherthanthevalue

ofthestreamelement.

Hashsearchqueriesto10buckets0,1,…,9.

Sample=allsearchqueriesthathashto

bucket0.

▪Allornoneoftheinstancesofaqueryareselected.

▪Thereforethefractionofuniquequeriesinthe

sampleisthesameasforthestreamasawhole.

问题：如果总样本量是有限的？

解决方案：哈希到大量桶。

调整样本可接受的桶集合，使样本大

小保持在界限内。

Problem:Whatifthetotalsamplesizeis

limited?

Solution:Hashtoalargenumberofbuckets.

Adjustthesetofbucketsacceptedforthe

sample,soyoursamplesizestayswithin

bounds.

假设我们从10%开始搜索Ͳ查询样本，但希望限

制其大小。

哈希到比如说100个桶，0，1，...，99。

▪将哈希到0到9号桶的元素作为样本。

如