企业自定义数据分析需求的实现 .docVIP

企业自定义数据分析需求的实现 互联网电子商务领域，尤其涉及到快速实现业务部门数据分析需求的处理方法以及系统。 　　背景技术 　　随着计算机通讯技术的发展，苏宁易购各业务系统产生的业务数据的规模也越来越大，对如此庞大的数据进行快速分析传统的框架和技术已显得力不从心，并且随着数据挖掘技术的发展，对其海量数据的分析往往都是随机维度的自由组合，对此类需求传统的做法都是一个固化离线统计分析，消耗大量的人力、物力，并且都不能实时分析。针对以上问题，我们设计出了一套可以快速响应苏宁各业务部门数据需求分析的工具，不仅支持多维度的自由组合、个性化的设置，而且还能快速统计出用户随机指定的相关维度、指标数据。高效实现了用户的个性化需求，达到创新! 　　创新的内容(技术创新和业务价值) 　　主要创新在于：首先我们将数据进行分类，如苏宁的业务数据可以归类为时序化和非时序化，汇总类和明细类数据等，然后采用不同的架构技术方案进行处理。如针对时序化的数据，我们基于Druid做了相关的设计和封装，可以将能预汇总的数据存储于此。时序化的明细数据我们基于ElasticSerach技术作了封装，可以将历史数据通过Spark直接初始化到ElasticSerach，增量数据可以开启ElasticSerach服务获取Kafka实时增量数据信息。针对一些特殊场景如精确去重计算，涉及多表关