CN107346270-CN201610292792-基于实时计算的基数估计的方法和系统.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107346270 A (43)申请公布日 2017.11.14 (21)申请号 201610292792.3 (22)申请日 2016.05.05 (71)申请人 北京京东尚科信息技术有限公司 地址 100195 北京市海淀区杏石口路65号 西杉创意园四区11C楼东段1-4层西段 1-4层 申请人 北京京东世纪贸易有限公司 (72)发明人 王向长　邵先凯　李威　张鹏　 (74)专利代理机构 中原信达知识产权代理有限 责任公司 11219 代理人 张一军　姜劲 (51)Int.Cl. G06F 11/14(2006.01) G06F 17/30(2006.01) 权利要求书2页 说明书7页 附图3页 (54)发明名称 基于实时计算的基数估计的方法和系统 (57)摘要 本发明提供一种基于实时计算的基数估计 的方法和系统，能够基于概率和统计理论进行高 效的基数估计计算，从而满足大数据场景的实时 基数计算需求。该方法包括在Storm系统中的执 行下列步骤：实时获取日志消息；解析所述日志 消息以获取指标信息，所述指标信息包括各指标 的名称及对应的指标值；利用HLL基数估计算法 对各指标进行基数估计；输出各指标的基数。 A 0 7 2 6 4 3 7 0 1 N C CN 107346270 A 权　利　要　求　书 1/2页 1.一种基于实时计算的基数估计的方法，其特征在于，包括，在Storm系统中的执行下 列步骤： 实时获取日志消息； 解析所述日志消息以获取指标信息，所述指标信息包括各指标的名称及对应的指标 值； 利用HLL基数估计算法对各指标进行基数估计； 输出各指标的基数。 2.根据权利要求1所述的方法，其特征在于，所述方法还包括：解析所述日志消息之后， 对获取的指标信息进行校验，以删除异常指标信息。 3.根据权利要求1所述的方法，其特征在于，利用HLL基数估计算法对各指标进行基数 估计还包括： 将所述指标信息随机分配至基数估计计算层的多个线程，各线程根据分配到的指标信 息，为各指标创建HLL对象，利用HLL基数估计算法中的Offer方法将各指标的指标值加入到 对应的HLL对象中，然后定时将HLL对象发送到基数集合合并层；以及 所述基数集合合并层接收HLL对象，并按各HLL对象的指标名称创建各指标的总HLL对 象，然后利用HLL算法中的Merge方法将HLL对象按照指标名称合并到各自对应的总HLL对象 中，以及定时利用HLL算法中的Cardinality方法对各指标的总HLL对象进行计数，以获得各 指标的基数。 4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述HLL对象及所述总 HLL对象均保存在位于其所在服务器内存中的LRUmap中。 5.根据权利要求3所述的方法，其特征在于，所述方法还包括：定时将总HLL对象保存至 外部的数据库。 6.根据权利要求1所述的方法，其特征在于，所述方法还包括：定时将各指标的基数保 存到外部的数据库。 7.根据权利要求3-6任一项所述的方法，其特征在于，所述方法中的定时是指：记录上 次操作的时间，若当前时刻与上次操作的时间差小于预设阈值，则不进行相应操作，若当前 时刻与上次操作的时间差大于预设阈值，则进行相应操作。 8.一种基于实时计算的基数估计的系统，其特征在于，包括： 存储器和处理器，其中， 所述存储器存储指令；