9安徽省电力公司基于大数据用电信息采集系统设计和实现__肖坚红.pptVIP

基于大数据技术的 用电信息采集系统设计与实现 汇报单位：国网安徽省电力公司 2017年5月 提纲 一、项目背景 安徽省公司用电信息采集系统经过5年的建设，实现了“全采集”、“全覆盖”、“全费控”功能，目前接入智能电能表2700万多只、40多万终端和340万采集器，已经实现采集96点负荷（三相电压、三相电流、有功功率、无功功率等）、日冻结电能示值、需量和电压合格率等数据，采集系统每天需要处理记录数达到5亿以上，新增的数据量达到70-90G，存量数据超过100T。 采集系统建设及应用情况 一、项目背景 采集系统业务不仅支撑营销部自动化抄表核算、实时费控、有序用电、计量在线监测、用电特征分析、采集管理、台区线损计算等业务，还支持运检部、安质部、运监中心、发策部等系统正常运行，为配用电网低电压分析、配变运行监测、配网抢修、供电可靠性、公司线损管理系统等业务提供数据支撑。 采集系统建设及应用情况 一、项目背景 IEO用电信息采集系统应用存在的问题 查询速度慢 统计时间长 数据质量差 数据维度少 缺少智能化 不支持实时分析 一、项目背景 一、项目背景 一、项目背景 提纲 二、业务规划 简要分析描述项目的主要技术创新点。 3、跨界思维：打破固有模式，通过业务融合提升数据价值 2、业务思维：定量思维，数据替代经验，一切数据皆有价值 4、实验思维：试验选择最优方案，快速迭代持续优化 5、合作思维：通过合作共同推进电力业务的发展与创新 1、技术思维：高效数据处理、高效数据服务、性能线性扩展 二、业务规划 简要分析描述项目的主要技术创新点。 3、支持海量数据快速存储、高效计算和有效归集 2、实现关键业务实时监测和智能分析 4、具备数据挖掘、机器学习等智能分析功能 5、与业务深度融合，提高工作效率，提升辅助决策水平 1、以“高内聚、松耦合”方式获取所需数据 二、业务规划 二、业务规划 二、业务规划 二、业务规划 提纲 为了保证电力系统能安全、可靠运行，需要在标准原则基础上制定其未来IT 架构，其技术架构的设计同样需要考虑完善的指导原则。 开放性 大数据平台的设计应选择开放式的技术，不能绑定某一厂家的特定产品，需要满足系统间灵活的信息交互的需要。 服务性 可扩展性 充分考虑可扩展性，遵循“强内聚、低耦合”，满足更大规模的业务和不断发展的技术需求。 大数据平台面向营销部或者网省公司提供基础支撑平台，为共性服务型平台，各部门基于大数据平台研发、运行各类大数据典型业务应用。 先进成熟性 大数据平台的设计应具有产品和技术先进性，产品和技术选型能够适应未来一段时间业务需求及技术发展变化的需要。同时，尽可能兼顾产品和技术的成熟性，增强信息基础设施的整体稳定性。 三、平台设计 三、平台设计 业务应用分析 气象要素数据 状态监测数据 ...... 地理信息数据 节假日数据 PMS数据 人口经济数据 MDS数据 营销数据 用电信息采集 数据 ...... 95598数据 计算、存储、分析组件支撑 电力营 销大数 据平台 运维管理 专用数据池 公用数据池 深入贯彻“IT服务化”的理念及国产化的思路，以大数据开源软件框架为核心，传统数据处理组件为补充，形成优势互补的混合体系架构。电力营销计量大数据平台从数据采集、数据集成、数据存储、实时计算、海量数据处理和分析挖掘等多个层面为营销业务应用提供必要的组件支撑。 集群监控及配置 安全防护及管理 停电事件分析 配网运行分析 客户用电行为 分析 客户价值挖掘 检定效率与现场作业行为 窃电行为分析 计量装置在线监测与智能诊断 。。。 三、平台设计 传统解决方案 大数据平台方案 主要面向结构化数据处理，不适合处理非结构化或半结构化数据 海量数据处理成本高昂，对于硬件要求较高，例如依赖大规模并行处理系统(MPP)等 存在单点风险 线性扩展能力有限，MPP节点一般上限100+ 处理数据量受限（PB），数据量大时响应时间明显延长 固定数据结构和模型 数据处理容易保持一致性，适合事务复杂的业务系统 可以混合处理任意格式数据 基于工业标准成本低廉的X86平台和开源Linux系统，降低成本，充分利旧 分布式容错，无单点隐患 极高的线性扩展能力，一般都在1000+ 可处理大量数量（TB到1E），通过横向扩展，实现秒级响应 灵活的数据结构和数据模型 数据处理无法保证一致性，需要单独开发验证程序，适合追求分析效率的分析系统 VS. 大数据不是RDBMS的替代方案，两者相辅相成才是最佳的解决方案！ 三、平台设计 三、平台设计 简要分析描述项目的主要技术创新点。 2、设计配电网停上电事件实时分析与推送 1、流处理子系统由Flume、Kafka、Storm和Redi