东软大数据技术典型应用案例.pptVIP

* * * * * * 典型应用五： 电网企业客户服务大数据分析 业务场景-1 业务场景-2 逻辑架构 技术架构 案例总结 通过大数据分析技术，评估预测用电客户发起投诉的可能性，并推荐合适的应对措施。 通过大数据分析技术，识别用电客户对停电事件的敏感度，预判用电客户行为，指导客服人员主动提供有针对性的客户服务。 通过大数据分析技术，发现客户关注热点，跟踪变化趋势，为客服中心主动服务提供条件。 * * * * * * * * * * * * * * * * * * * * * * * * * * 此处填写密级标识 此处填写密级标识 此处填写密级标识 此处填写密级标识 此处填写密级标识 大数据技术典型应用案例 东软集团 技术战略与发展部 2015年7月 Copyright ? 2015 Neusoft Corporation 典型应用一： 实时监测数据统一采集管理平台 数据应用需求 1、随着传感器、通信技术的发展以及智能电子设备的广泛使用，企业生产现场产生的实时信息量大幅度增长； 2、对现存的自动化孤岛进行整合需要统一的实时数据采集管理平台； 3、需要接入的智能设备、控制器、自动化系统种类庞杂，过去针对某几种特定设备、仅限于满足具体项目需求的前置系统难以复用，迫切需要能够广泛适应多种系统接入的实时数据采集平台； 4、不管是电网运行管理还是电厂生产运营，要求有全方位的实时数据去支撑企业实时决策、敏捷制造； 5、企业只有将自动化系统和管理信息系统进行融合，才能充分发挥信息化的作用； 数据特点分析 关键架构决策点 技术架构 数据采集 用电信息采集 物联网类 银行联网类 第三方系统 采集Agent 采集Agent 采集Agent 采集Agent 电能表通讯规约 电力负荷管理数据通讯规约 网省集抄规约、东软集抄规约 ModBus Plus ModNet DNP 3.0 IEC101/104规约 非标协议自编程Socket 集成应用 安全生产监控系统 输变电状态监测系统 用电信息采集系统 实时信息监控系统 管网监控运维系统 召测 召测 召测结果 采集 持续计算 消息队列（流数据） Bolt Bolt Bolt Bolt Bolt Bolt Bolt 格式转换 数据处理 数据库 NoSQL 关系型数据库 量测模型 业务模型 采集数据 海量日志 业务处理 加密 数据解密 服务监控 数据入库 数据分析 数据过滤 Bolt 数据预警 Bolt 数据加密 案例总结 Storm-0.9.0.1 ZeroMQ or netty?：Storm新版节点间通信采用netty实现，不稳定，经常出现连接中断，更换成ZeroMQ后正常 消息去重：从业务上去重【如：消息上增加业务标识】 Kafka-2.8.0 消息确认机制选择（不确认、Leader确认、Leader和Follower确认），不确认性能最高 同步写文件策略选择（批量写：消息数量和时间间隔） Redis-2.8.6 通过批量key获取数据性能最好 ZooKeeper-3.4.5 单独独立部署：Zookeeper和Storm均涉及大量IO，存在资源争抢问题 Hadoop-2.3.0-CDH5.0 搭建专门的dns服务器 时钟同步 密钥文件在共享存储中集中管理 IO（磁盘、网络）：千兆网络以上 Hbase-0.96.1 禁止自动文件拆分 典型应用二： 中国移动X省大数据平台建设方案 数据应用需求 业务人员可根据日常工作需求快速创建分析报表，提供灵活的过滤、筛选、分组及钻取能力，适用于个性化主题分析的快速创建。用户通过指标筛选后进行分析，针对指标按不同维度下钻，包括：时间维度、空间维度、区域维度等 普通用户可以通过（类）SQL接口自行数据报表开发 高级用户也可以直接使用MR、scala等语言，进行复杂的专题分析设计与应用 以网络业务体系为基础的指标导航 数据特点分析 目前每日数据量接近4T，2015年将达到7T。当前已建立完成覆盖近30万频道和27亿网页（含WAP）的URL地址库，形成2463个互联网分类标签和27万关键词库。通过与主流市场和APP厂商合作，能够解析覆盖用户产生流量95%以上的手机应用。 分类 数据源 数据描述 网络 话务网管 GSM、TD网络性能和动态资源数据。 数据网管 WLAN网络性能和动态资源数据。 网优平台 邻区数据 综合资源 静态资源数据 业务 CRM\BOSS\ VGOP\ESOP\经分 语音、GPRS、WLAN话单数据；小区级月收入汇总；用户基础信息月汇总 用户 Gn监测 用户上网Gn话单数据 A+Abis信令 用户A接口话单数据 上网日志 用户上网日志 位置 位置系统 轨迹 管理 管理信息系统