2.基数估计算法.doc

PAGE \* MERGEFORMAT6 本文受2015年度广东省高等教育教学改革项目“基于敏捷开发的软件项目实践课程迭代式教学模式设计与实践”,广东省水利科技创新项目成果（No:2014-16），国家自然科学基金项目（编号；四川省科技计划项目（编号：2015JY002）资助。 刘绍记(1991-),男, 硕士,主要研究方向为空间信息技术与应用 ( HYPERLINK mailto:ether1991@ ether1991@)； 曹阳(通讯作者)(1975-),女, 博士，副教授，主要研究方向为空间信息理论与技术 ( HYPERLINK mailto:503581960@) 503581960@)； 崔梦天(1972-)，女，博士后，教授，主要从事可信软件和优化算法的研究，Email:  HYPERLINK mailto:happyzg3@163.com happyzg3@163.com。 1 基数估计算法参数的分析与优化 刘绍记1 曹阳1 崔梦天2 （华南师范大学计算机学院 广州 510000）1 （西南民族大学计算机科学与技术学院 成都610041）2 摘 要 基数估计算法(Cardinality Estimation Algorithm)是基于概率统计理论的估算给定数据集中不重复元素基数的算法。算法中的Hash函数和相关参数设置是影响算法性能的两个关键因素。本文针对这两个问题展开研究，提出了一种基数估计的优化算法，它可以根据数据规模和数据类型动态调整Hash函数和分桶参数，以提高算法精度和稳定性。实验结果表明，改进的基数估计算法在经过训练之后，相比传统估计算法，其估计精度和稳定性均有所提高。 关键词 基数估计, Hash函数, 训练 中图法分类号 TP301.6 文献标识码 A Analyze and Optimize Parameter of the Cardinality Estimation Algorithm LIU Shao-ji1 CAO Yang1 Cui Mengtian2 (School of Computer , South China Normal University, Guangzhou 510000)1 (School of Computer Science and Technology, Southwest University for Nationalities, Chengdu,610041, China)2 Abstract Cardinality Estimation Algorithm is an algorithm based on statistics, which can estimate the cardinality of the given data set. In this algorithm, hash function and some parameters are the key factors to the performance of the algorithm. Based on the related research, we propose an algorithm which selects hash function and parameters based on the scale and type of data. The experimental results show that both accuracy and stabilization of this algorithm has significant improvement than the traditional estimation algorithm. Key words Cardinality Estimation，Hash function，Training 1.引 言 基数估计算法是基于概率统计理论的用于估算给定多重集“势”的算法[1,2]。目前，大规模数据的基数的实时计算问题在电商、搜索、P2P、数据库等方面应用广泛，相关高效算法已成为研究热点。 现阶段对基数估计算法的研究主要基于Philippe Flajolet 1985年提出的PCSA算法[3]。在此基础上，2003年他引入分桶数的概念，提出了Super-LogLog算法[4]，该算法在提高算法估计精度的同时降低了时空消耗。2007年，在Super-LogLog算法基础上，他用调和平均取代算数平均，并根据数据规模对估计值进行修正，提出了在可处理数据量、估计精度、时空复杂性等方面都有极大提升的Hyper-LogLog算法[5]。基于上述算法的理论研究，研究人