议题3：电信场景下spark一站式分析平台ppt课件.pptx

2014-08电信场景下Spark一站式分析平台夏命榛 目录电信大数据场景与关键技术1.2.数字足迹案例3.平台和关键技术Page Page Page ~msec~sec~sec探针实时上报实时KPI计算/CEP仪表盘~msec过滤事件产生~hour~min15min生成详单数据模型详单查询探针周期上报挑战：1、HDFS的入库性能2、高性能实时流处理HDFS15分钟报表统计报表查询15分钟KPI报表（优化后）15分钟KPI报表（现状）1小时KPI报表（现状）天级KPI报表（现状）实时KPI事件产生…15sec1 min>2 hourPage 场景一：业务KPI统计分析场景二：用户流量使用的关联分析区域人数分布热力图直观的显示居住区、CBD、旅游点、软件园等区域各时段人数变化情况。OD图与算法（区域间人口流动）与地图的结合，使用者可自由指定感兴趣的区域 ，查询指定功能区域间人口流动情况，如高档住宅区及CBD间的人口流动情况，为城市规划，广告屏和店面选址等应用提供宏观参考数据。区域流量分布热力图直观的显示出区域内用户对视频流量的使用，确定价值客户挖掘区域范围，同时也为后继的网规网优、路网规划、广告推广等提供宏观参考数据。用户相似度计算分析和对应的数据套餐推荐：结合用户上网的流量使用信息，挖掘出相似性用户，把用户使用套餐多的选择推荐给其他相关类似用户，期望扩大运营商的销售收入。（基于个性化的协同推荐算法）Page 电信网络的数据按人、按网络、按负载领域类别项目数据源特征属性M域企业管理ERP/供应链/财务/人力资源信息等人交易型（点操作）、符合3NF规范构筑数据模型、结构化存储100TB级容量、响应速度10~100毫秒以人为核心的数据B域用户数据定购业务信息交易型（点操作）、符合3NF规范构筑数据模型、结构化存储TB-PB级容量、响应速度要求 10~100 毫秒用户终端信息（型号、机型、模式、操作系统等）用户信息（用户消费习惯、开户信息、 ARPU Group）业务数据业务基本信息交易型（点\批操作）、部分符合3NF规范构筑数据模型、结构化/非结构化存储（如阅读基地等）PB级容量、响应速度要求 1~10 毫秒业务定购关系业务使用记录（计费、排行、定价等）O域网络数据话单/清单/信令数据机器结构化数据、以文本或表格形式存储，具备嵌套特征100TB－PB级容量、响应速度100毫秒工单数据人交易型（点\批操作）、符合3NF规范构筑数据模型、结构化GB级容量、响应速度秒级以网络控制信息为核心的数据统计数据机器结构化数据、以表格形式存储100TB－PB级容量、响应速度100毫秒性能数据故障/告警数据结构化数据、以文本或表格形式存储，具备日志特征TB级容量、响应速度10~100毫秒位置信息网络接入信令结构化数据、以文本或表格形式存储，具备日志、时空特征PB级容量、响应速度要求 1~10 毫秒基站信息地图/轨迹信息人/机器以人为核心的数据管道中流的数据互联网数据以http协议数据为主，如网页/点击/URL/视频等非结构化数据、以文本形式存储，具备日志特征PB~10PB级容量、响应速度要求 1~10毫秒 物联网数据传感器数据/空间位置信息/时间序列机器结构化数据、以文本形式存储，具备日志、时空特征100PB级容量、响应速度要求 1~10毫秒以物为核心的数据电信行业数据源及数据特征一览目录2.数字足迹案例1.电信大数据场景与关键技术3.平台和关键技术Page 电信大数据电信网络核心数据资产：ID、网络交互、移动位置。实现用户、网络、社会的数字化映射，实现闭环优化和能力开放。基于位置的应用是目前探索较少的领域。第三方应用行业应用用户网络社会企业应用电商音乐能力开放游戏阅读2自营业务视频动漫…闭环优化1大数据分析物联网数据运营数据运营PCRFIPRNCxGSNVASBSS, CRM, HLR, OCSM2MNetwork OSController探针数据网络互联网数据探针Page CustomerTelco NetworkInternet数字足迹根据用户的移动位置记录，分析用户的时空行为特征，支撑Location Insight ServiceDemo数据用户数：18个RNC，125万用户每天位置记录数：12亿每天数据量：80GB应用道路规划精准营销位置聚合时空分析区域数据分析全网用户，广覆盖，全时段，连续性好位置采集匿名化数据采集道路人BSCRNCGSMUMTSLTEPage 数据处理APIad-hoc queryad-hoc queryTrajectory AnalysisCube buildingData MiningMOLAPStream/GeoFencingSparkHDFSPoint modelLocation computeHDFSMD-