电力大数据关键技术及应用研究精简版.pptVIP

电力大数据关键技术及应用研究精简版 南瑞埃森哲 2 大数据关键技术研究 基于大数据的短期符合预测 基于大数据的供电可靠性分析 基于大数据的低电压分析 基于大数据的重过载分析 基于大数据的变电设备故障预测 基于大数据的二次设备风险评估 基于大数据的红外图像分析及故障识别 基于大数据的输电线路在线监测 基于大数据的客户管理全面监测 基于大数据的智能用电应用 基于大数据的客户全面感知分析 基于电网可靠性的配网投资策略研究 大规模数据上多维索引和即时查询 独特的并发控制机制 完善的多数据兼容和应用平滑迁移工具 独特的运行时优化 支持Oracle SQL的自动化映射 平台功能 3 核心技术创新点 提高原有存储过程型应用向云平台的迁移效率，降低实现成本 动态选择SQL在Hadoop环境下的最优并行方案 根据集群资源状态，自适应调配存储粒度，进一步提升应用的并发水平 突破Hadoop只支持K-V查询的技术局限，大幅提升了大数据查询效率 实现大文件读取与随机改写效率的综合调优，有效提高了存储过程复杂 分析语句的运行性能 基于查询重写的SQL到Hadoop映射技术 I/O敏感代价模型驱动的并行方案优选技术 集群资源感知的自适应分区技术 基于混合多维索引的大数据查询技术 基于组合存储的并行读写优化技术 提供Hadoop环境中的DML语言支持能力，提高存储过程中Update、 Insert、Delete等语句的运行效率 优化多任务并发状态下的计算和IO资源利用率，有效提升分析计算任务 的综合执行效率 为准实时的多数据源之间的数据一致性保障提供技术支撑 根据数据更新规模，动态调整ETL任务并发度，实现资源的集约化利用 基于改进多版本机制的DML增强技术 基于装箱模型的并发计算任务工作流的智能规划技术 基于交叉Hash校验的数据一致性保障技术 负载敏感的数据ETL并发度按需调节技术 开源Hadoop平台无法直接应用于智能电网的复杂业务需求，需要结合业务实际，进行大量实用化研发和优化完善工作。 4 性能验证采用浙江公司用采业务真实数据，主要涉及29张数据表，共189.91亿条记录，选取了三个计算和四个查询任务场景，对比大数据平台和Oracle关系数据库处理性能情况。 三个计算任务涉及表和记录数： 1)公变数据完整率之今日电量计算（2.47亿） 2）低压数据完整率计算（116.1亿） 3)低压用户电量计算（143.7亿） 上报公变数据主表 333390 公变用户计量点 228991 停电统计表上报公变电量数据 153193115 公变终端测量点 250975 终端资产 2600453 统计公变数据完整率明细公变任务表 112821 系统单位代码 1320 数据完整率明细临时表 9071 统计终端用户表 838885 低压任务表 1903834 低压测量点表统计低压数据完整率 4134600916 低压表记表低压用户表系统单位代码 1320 上报低压数据主表上报低压电量数据表 7374570544 停电统计表终端资产 2600453 上报低压电量数据表 7374570544 上报低压数据主表低压测量点表低压用户表低压表记表终端资产 2600453 统计低压日电量 6906656585 低压测量点表低压历史数据异常 615803 低压数据异常表 854964 性能验证 5 1)采集覆盖情况明细 2）采集数据质量检查 3)批量抄表数据查询 4)台区线损分析明细 四个查询任务涉及表和记录数：1.57亿 条 台区线损统计P码 2645 单位级别关系 1351 G_TG 634564 单位级别关系 1351 用户 280480 低压数据终端资产 2550507 上报任务数据主表 910439 上报数据完整率明细P码 2645 用户数 280357 用户明细表 225288 终端资产 2547680 上报任务数据主表 910106 用户明细表 224140 单位级别关系 1351 终端资产 2315773 P码 2630 用户数 269803 单位代码 13