数据平台实时化实践.PDFVIP

数据平台实时化实践 苏宁大数据中 心 — 王富平 流式处理技术 流式计算的成熟 ▸ 流式技术完成普及：以storm为代表的流式计算框架在业界 普及开来，得到了广泛实践 ▸ 批流处理范式统一：谷歌dataflow提出了批流统一模型， spark－streaming与flink等平台践行这一理念 流式应用场景 在线应用场景爆发 ▸ 大数据实时分析：仪表盘、实时监控 ▸ 在线学习：用户实时意图、在线排序模型 数据平台 数聚平台做什么？ ▸ AI ？ ▸ OLAP ？ ▸ 实时多维分析平台，提供面向业务的可视 化解决方案 背景介绍 群雄割据，各自为政 ▸ 管理困难：指标散落在各中心，指标管理困难，数据口径难统一 ▸ 重复建设：各中心重复建设，资源浪费 合久必分 走向平台化 ▸ 统一管理、资源共享 ▸ 聚焦分析、提升能力 需求 需求长什么样？ ▸ 分析部门：指标实时计算 ▸ 财务部门：支持复杂的业务指标计 算 ▸ 业务部门：可视化方案、多维分析 指标 （XX产品结构实际进销差率 - 其他产品结构进销差额 / 其 他产品结构付款金额）* 变动比例 （销售占比平均值-销售占 比实际值）* 产品总付款金额 线下门店 线下门店客流分析 实现门店监控视频的智能分析 ，以获取准确的客流人数、 客流成分组成、商品热区、顾客滞留分析等丰富的 商业数据信息 ，进而为商业智能系统提供数据保障 智能门店监控 ：客流统 计 方案 ： 1. 采用置顶数字摄像头 2. 检测进入区域的人体 3. 跟踪并确认有效客流 智能门店监控 ：人脸分 析 1. 利用特征点跟踪有效估计人脸姿态 ，利用正面人脸进行 去重分析。 2. CNN网络分析年龄及性别。 智能门店监控 ：顾客行 为分析 1. 对于置顶或偏置摄像头 ，都能够有效获取商品热力图。 2. 对顾客进行去重和滞留分析 ，能够最大限度抑制销售员 影响。 3. 进一步分析顾客与销售员行为。 数聚架构图 数据模型 数据模型 ▸ 物理表：数据仓库的事实表 ▸ 逻辑表：基于物理表生成的视图表， 由三部分组成：时间字段、维度字 段、指标字段 指标模型 指标模型 ▸ 一级指标：基于逻辑表直接计算得 出 ▸ 二级指标(衍生指标)：依赖其他指标 计算得出 实时指标 保障指标实时产出？ ▸ druid：利用druid进行实时分析 变态实时需求：数据量大，刷新频率高，并发量大 ▸ 维度固定：大区－城市－门店 ▸ spark－streaming硬算后直接入hbase、 redis等kv数据库 DRUID性能测试 DRUID架构的历史节点是分TIER的，其中四台是HOT TIER,存放比较热 （经常访问）的数 据，3台为DEFAULT TIER，存放历史数据和不经常访问的数据，压测期间已调整由4台为 7台参与热数据计算。 离线数据：TRAFFIC-TEST 数据量 90亿条，容量为1.61TB,共有43个维度和20个指标 值。 TPS 响应时间 场景名称 并发数 笔 秒 ( / ) (秒) 、查询最近一天南京的每一个小时的 、 等流量指标信息 1 PV UV 20 13.5 1.47 、查询鹰眼系统最近一天的流量排名前 的城市 2 10 5 1.7 3 、查询鹰眼系统某一小时内上海市的通过手机 浏览网页的 、 、 3