课堂作业review.pptVIP

课堂作业review Zhao Dongsheng 2008.12.22 课堂作业review 第2周 Web Crawler 第4周 Noises Detection Elimination 第6周 Information Retrieval Models 第8周 Text Clustering 第10周 Collaborative Filtering 第2周作业 对于大规模的Web Crawler系统，回答以下问题：a)系统设计一般要考虑具备哪些特性，各用一句话来说明？ (1)可伸缩性 Scalable,支持并行、分布式,以适应 Web 规模的不断变化。 (2)快速 Fast,解决各种性能瓶颈,提供良好的响应能力。 (3)友好性 Polite,遵循 Web 站点或页面的访问规则。 (4)健壮 Robust,具备预测并防止某些恶意站点的陷阱、处理错误以及系统崩溃后的恢复能力。 (5)持续搜集 Continuous,在有限资源的条件下,Crawl 系统能够与变化的 Web 进行同步。 第2周作业 b)系统的性能瓶颈在哪里？对应的人们可以用什么样的技术来改进呢？ I/O是系统的瓶颈，具体表现在： 对于 DNS 解析: 1)并发的地址解析 client 2)缓存服务器(DNS Caching Server)? 3)预取 client 对于获取网页: 1)多线程方法 2)异步非阻塞 socket 和事件处理 第2周作业 对于去重: 1)将 URL 用 fingerprint (如 MD5)来记录,减少内存开销, 2)利用访问的时空局部性使用 Cache 提高性能, 3)海量数据的高效率查找表如 B-tree、Bloom filter 等 第2周作业 使用B-Tree做isUrlVisited操作的查找表时。可以对URL串作fingerprint,这节省了存储开销,但破坏了数据局部性,使得缓存命中率下降。请设计一种更有效的使用fingerprint方法,来改善这一状况。 对url可以分段做fingerprint。例如:一部分URL的主机名,经过MD5等计算所得的fingerprint;另一部分是整个URL串做MD5计算所的的fingerprint 第4周作业 课件ppt里Page43中，定义inner node的重要度与它底下的presentation style的熵正比，Page45和Page46中，定义leaf node的重要度与它里面的feature的熵成反比。这种区别是什么原因？请解释。 第4周作业 内部节点重要度(?) M表示page的数目 Pi表示第i个presentation style 的比例 第4周作业 叶节点重要度其中 第4周作业 在使用shingling作文档特征，提取sketch时，采用了随机排列采样最小值的方法。请证明Page66页的定理，证明这样的采样方法得到的sketch可以用来正确估计jaccard相似度。 第4周作业 1、同时在集合 A、B 中出现的元素个数为 C11,只在 A(B)中出现的记做C01(C10),则 |Intersect(A,B)|/|Union(A,B)| = C11/(C11+C10+C01)2、 采用随机排列采样最小值的方法时,由于是完全随机的排列,因此MIN pai(A) = MIN pai(B)的情况有 C11 所以 P(MIN pai(A) = MIN pai(B)) = C11/(C11+C10+C01)? 第6周作业 Bob(上次那个 Bob)跑来感谢你,上一次建 ccer 网页库的 inverted index,查询效果很好。谈话间,Bob 问:听说现在 Language Model 很popular,你建的 inverted index 可以用来支持 LM 吗?你觉得呢 第6周作业 P(w|d) = ?Pmle(w|Md) + (1 – ?)Pmle(w|Mc)? 需要知道一个查询词的 DF,CF 信息 每篇文档中查询词的个数 查询词在文档中的 TF 第8周作业 估计 PPT 的 P37 的 K-Means 算法的时间复杂度。 第8周作业 估计 PPT 的 P37 的 K-Means 算法的时间复杂度。 计算向量之间距离的时间复杂度是 O(M)? Reassignment step需要 KN 次距离计算,所以时间复杂度 O(MKN)? Recomputation step时间复杂度为O(MN)? 如果是 I 次迭代,则时间复杂度为O(MKNI)? 第8周作业 请解释 PPT 的 P46 页上 HAC 算法的sim(j,l,m)的含义。 第8周作业 第8周作业 请解释 PPT 的 P46 页上 HAC