- 1
- 0
- 约3.87千字
- 约 29页
- 2026-04-08 发布于境外
- 举报
基于Spark与NoSQL的实时数据处理实践技术创新变革未来
概要关于我(们)数据、流程和架构业务诉求技术和架构挑战和方案未来展望
数据流程和架构主要数据来源AppAnalyticAddTrackingGameAnalytic
数据流程和架构数据内容设备信息业务信息上下文信息设备ID设备软件信息设备硬件信息业务事件会话信息行为状态网络位置传感器
数据流程和架构数据体量2.5/6.5亿+日/月活跃智能设备活跃设备370亿每天处理事件事件(日志)数17T+每天新增日志量存储大小
数据存储离线数据处理DataCollectorJenkinsSparkCore/SQLYARNAlluxioHDFSGreenPlum数据流向Kafka实时数据处理JenkinsSparkStreamingYARNHDFS数据流程和架构数据收集数据接入智能App数据采集MySQLHDFSAlluxioHBaseScyllaDB…MCDataCloudDataATM数据应用OpCenter SDMK
概要关于我(们)数据、流程和架构业务诉求技术和架构挑战和方案未来展望
业务诉求新的数据处理、服务诉求数据修正时序数据事件数据时间修正(离线计算:数据到达延迟)面向实体或者指标的时序数据需求(离线计算:时间断面)面向实体,实时数据处理位置数据丰富实时处理面向实体,多维度、多值、多版本的查询实时查
您可能关注的文档
- 事业单位的支出.ppt
- 诚实守信主题班会.ppt
- 电拖第十八次课.pptx
- 变化率与导数及计算.ppt
- 英语诗歌简介EnglishPoetry.ppt
- 团队业绩提升之行销系统搭建.ppt
- 分娩镇痛与产程管理.ppt
- 质量月板报素材.pptx
- 福州五一广场介绍.ppt
- 甘胆酸临床意义.ppt
- 全文可编辑培训课件-机构研究报告-德国数字音乐用户分析报告:deezer -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国退休用户分析报告-外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:candy -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国新闻日报用户分析报告:koelner stadt anzeiger-外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国新闻日报用户分析报告:westdeutsche allgemeine zeitung leserinnen -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国移动运营商用户(联通)分析报告:alditalk -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国移动运营商用户(联通,电信)分析报告:alditalk -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国数字音乐用户分析报告:apple music itunes -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:beko -外文培训课件.pptx
- 全文可编辑培训课件-机构研究报告-德国洗衣机用户分析报告:miele -外文培训课件.pptx
最近下载
- 高原地区卒中中心建设专家共识PPT课件.pptx VIP
- 针对网络游戏作弊行为隐蔽且序列化问题,提出图神经网络与行为序列检测融合的反作弊算法并开发在线检测系统_游戏开发_2026年.docx VIP
- 体育课时间安排对学生身体素质提升的影响研究教学研究课题报告.docx
- 兽医免疫学-实验六 胶体金免疫层析技术.ppt VIP
- 《生产建设项目水土保持监测规程(试行)》.pdf VIP
- 2025国省双考公安专业知识 公安基础知识 讲义+笔记.pdf VIP
- 建筑施工高处作业安全技术规范.docx VIP
- 软件工程师招聘要求.doc.pdf VIP
- 二年级四宫格、六宫格数独练习(优.选).doc VIP
- 23MR404 城市道路 路缘石.docx VIP
原创力文档

文档评论(0)