基于Spark与NoSQL的实时数据处理实践.pptxVIP

  • 1
  • 0
  • 约3.87千字
  • 约 29页
  • 2026-04-08 发布于境外
  • 举报

基于Spark与NoSQL的实时数据处理实践技术创新变革未来

概要关于我(们)数据、流程和架构业务诉求技术和架构挑战和方案未来展望

数据流程和架构主要数据来源AppAnalyticAddTrackingGameAnalytic

数据流程和架构数据内容设备信息业务信息上下文信息设备ID设备软件信息设备硬件信息业务事件会话信息行为状态网络位置传感器

数据流程和架构数据体量2.5/6.5亿+日/月活跃智能设备活跃设备370亿每天处理事件事件(日志)数17T+每天新增日志量存储大小

数据存储离线数据处理DataCollectorJenkinsSparkCore/SQLYARNAlluxioHDFSGreenPlum数据流向Kafka实时数据处理JenkinsSparkStreamingYARNHDFS数据流程和架构数据收集数据接入智能App数据采集MySQLHDFSAlluxioHBaseScyllaDB…MCDataCloudDataATM数据应用OpCenter SDMK

概要关于我(们)数据、流程和架构业务诉求技术和架构挑战和方案未来展望

业务诉求新的数据处理、服务诉求数据修正时序数据事件数据时间修正(离线计算:数据到达延迟)面向实体或者指标的时序数据需求(离线计算:时间断面)面向实体,实时数据处理位置数据丰富实时处理面向实体,多维度、多值、多版本的查询实时查

您可能关注的文档

文档评论(0)

1亿VIP精品文档

相关文档