面向分布式环境的MinTopK算法设计-计算机软件与理论专业毕业论文.docxVIP

万方数据 万方数据 南开大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所 取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包 含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所 涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本 学位论文原创性声明的法律责任由本人承担。 学位论文作者签名： 20 年 月 日 非公开学位论文标注说明 (本页表中填写内容须打印) 根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申 请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本 说明为空白。 论文题目 申请密级 □限制(≤2 年) □秘密(≤10 年) □机密(≤20 年) 保密期限 20 年 月 日至 20 年 月 日 审批表编号 批准日期 20 年 月 日 南开大学学位评定委员会办公室盖章(有效) 注：限制★2 年(可少于 2 年);秘密★10 年(可少于 10 年);机密★20 年(可少于 20 年) 摘要 摘要 摘 要 随着互联网行业的快速发展，如何快速高效处理大规模实时数据成为当前 研究重点。可持续 Top-K 查询算法主要是用于流数据的应用上，基于某种函数 关系实时选取得分最高的 K 项。这种算法在一些实时应用中被广泛使用的算法， 例如，网络监控、金融分析和实时推荐。MinTopK 算法是 Di Yang 在 2011 年提 出来的可持续 Top-K 查询算法，是解决以前的算法存在需要重计算的问题。由 于重计算操作会需要大量计算资源。MinTopK 算法，定义了最小 Top-K 候选集 合，保证后续的查询窗口计算所需要的子集。MinTopK 算法维持最小 Top-K 候 选集合，消除需要重计算，比以往的算法有着更好的 CPU 和内存利用。MinTopK 算法是单机串行的算法。由于单机的网络、CPU 等资源的限制，无法满足当前 大数据量的计算要求。分布式计算方法是一种常见有效的解决方式。 本文研究的是如何将 MinTopK 算法用于分布式计算，解决流数据的数据量 大和计算复杂度高的问题。本文将连续的流数据转化为离散的流数据来处理， 设计了并行化的 MinTopK 算法的基本模型，同时满足于 MapReduce 架构和 Spark 系统等分布式处理工具的编程模型。从算法的时间复杂度，空间复杂度 和通信开销三个方面来，说明本文设计的算法具有无锁的、高效的、空间低和 通信量小的特点。 通过实验数据分析，并行化的 MinTopK 算法相对于原来的算法是具有良好 的加速比和扩展性，能够在 slide 的时间内处理好数据，避免累计时间造成的用 户体验不好的问题。通过实验说明 Super-Top-K 链表的平均长度是 2K 的，可以 将 Super-Top-K 链表与 Top-K 候选数据集整合操作在一个计算节点上完成。 关键词： Top-K 查询；MinTopK；并行化；DAG I Abst Abstract Abstract Now, fast and efficient processing real-time data has become the focus of current research. Continuous top-k queries, which report a certain number (k) of top preferred objects from data streams, are widely used in some real-time applications, such as network monitoring, financial analysis and real-time recommendation. The MinTopK algorithm was proposed by Di Yang in 2011. It solves the problem that the previous top-k query algorithm demands recomputation. Recomputation requires a lot of computing resourse. The MinTopK algorithm proposed the data structure called the minimum Top-K candidate set, which ensure the subset of the futurn query window need. The minimum Top-K candidate set is used to avoid r