CN107193909-CN201710333639-数据处理方法及系统.pdfVIP

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 107193909 A (43)申请公布日 2017.09.22 (21)申请号 201710333639.5 (22)申请日 2017.05.08 (71)申请人 杭州东方通信软件技术有限公司 地址 310013 浙江省杭州市西湖区文三路 398号 (72)发明人 孙勇　王华　 (74)专利代理机构 北京亿腾知识产权代理事务 所 11309 代理人 陈霁 (51)Int.Cl. G06F 17/30(2006.01) 权利要求书2页 说明书6页 附图2页 (54)发明名称 数据处理方法及系统 (57)摘要 本发明涉及一种数据处理方法及系统。包 括：采集分发模块，用于接收文件，所述文件根据 信令以及数据生成；分布式流计算模块，用于根 据接收的所述文件进行实时计算，得到基础指标 值；一级缓存模块，用于存储所述基础指标值，所 述一级缓存模块采用分布式内存数据库实现，且 数据缓存时长不大于48小时；分布式数据汇聚模 块，用于根据所述基础指标值计算得到性能指标 值；二级缓存模块，用于存储所述性能指标值，所 述二级缓存模块采用分布式内存数据库实现，且 数据缓存时长不大于72小时。实现了现海量数据 的采集、实时数据计算和汇聚、历史海量数据存 A 储以及实时/历史数据的快速查询。 9 0 9 3 9 1 7 0 1 N C CN 107193909 A 权　利　要　求　书 1/2页 1.一种数据处理系统，其特征在于，包括： 采集分发模块，用于接收文件，所述文件根据信令以及数据生成； 分布式流计算模块，用于根据接收的所述文件进行实时计算，得到基础指标值； 一级缓存模块，用于存储所述基础指标值，所述一级缓存模块采用分布式内存数据库 实现，且数据缓存时长不大于48小时； 分布式数据汇聚模块，用于根据所述基础指标值计算得到性能指标值； 二级缓存模块，用于存储所述性能指标值，所述二级缓存模块采用分布式内存数据库 实现，且数据缓存时长不大于72小时。 2.根据权利要求1所述的方法，其特征在于，所述分布式流计算模块通过Storm集群实 现；所述一级缓存模块通过Redis集群实现；所述二级缓存模块通过Redis集群实现。 3.根据权利要求1或2所述的系统，其特征在于，还包括： 历史数据存储模块，用于根据要计算的数据的粒度和维度，按照所述粒度和维度保存 所述性能指标值；所述历史数据存储模块采用分布式、面向列的数据库实现，且数据缓存时 长大于所述二级缓存模块的数据缓存时长。 4.根据权利要求3所述的系统，其特征在于，所述历史数据存储模块通过HBase集群实 现。 5.根据权利要求1-4任意一项所述的系统，其特征在于，还包括： 查询服务模块，用于为应用程序提供所述性能指标值的查询服务。 6.根据权利要求5所述的系统，其特征在于，所述查询服务模块通过所述二级缓存模块 获取所述性能指标值； 或者，当所述查询服务模块访问所述二级缓存模块失败的情况下，所述查询服务模块 通过所述历史数据存储模块获取所述性能指标值。 7.根据权利要求1所述的方法，其特征在于，所述性能指标包括关键业绩指标KPI和/或 关键质量指标KQI。 8.一种数据处理方法，其特征在于，包括： 接收文件，所述文件根据信令以及数据生成； 通过分布式流计算的方式，对所述文件进行实时计算，得到基础指标值； 采用分布式内存数据库的形式，对所述基础