输变电设备状态大数据分析应用探讨李一然.docVIP

输变电设备状态大数据分析应用探讨李一然 目录 TOC \o 1-9 \h \z \u 目录 1 正文 1 文1：输变电设备状态大数据分析应用探讨李一然 1 1国内外大数据发展现状 2 2大数据理论 2 3输变电设备状态分析具体电网业务的大数据分析方法 3 3.1数据整合 3 3.2数据存储 4 3.3数据计算 4 3.4数据分析 5 3.5可视化服务 5 4总结和展望 5 文2：输变电设备状态预测技术 6 1 输变电设备的状态预测技术 6 2 主要的状态监测技术 7 3 结束语 8 原创性声明（模板） 8 正文 输变电设备状态大数据分析应用探讨李一然 文1：输变电设备状态大数据分析应用探讨李一然 近年来，电网建设进入了高速发展阶段，电网海量数据急剧增加，仅仅依靠传统的数据库查询检索机制和统计学方法很难获得有效信息，迫切需要能自动地、智能地将待处理的数据转化为有价值信息的技术，即对输变电设备安全、可靠、稳定运行的智能水平提出了更高的要求，而大数据分析为此提供了相应的实现手段。大数据相关技术是国外率先研究，国内大数据研究多是采用传统的IT技术、软硬件工具和数学分析方法，对各种信息进行感知、获取、管理、处理和分析以及结果可视化展示。 1国内外大数据发展现状 2012年，美国提出“大数据研究和发展倡议”，积极推进大数据核心技术研究和应用。同年，美国麻省理工大学、加州大学圣巴巴拉分校、波特兰州立大学、布朗大学、华盛顿大学和斯坦福大学等6所大学建立了以大数据存储、管理、处理、分析和可视化为目标的大数据科学技术中心。同时，英国牛津大学也成立了首个综合运用大数据的医药卫生科研中心，通过收集、存储和分析医疗信息，探索新药物的研发方向和新治疗手段，为科学家更好地理解人类疾病及其治疗方法提供决策支持。 2012年，中国计算机学会和中国通信学会都成立了大数据专家委员会，专门研究大数据分析及应用，旨在推动我国大数据发展。2013年，中国电机工程学会信息化专委会发布了《中国电力大数据发展白皮书》，将大数据引入到智能电网领域。同时，中国电力科学研究院等国内电力科研机构开展了大数据技术在智能电网中应用的关键技术研究，并从电力系统的单个环节论述了大数据技术的应用。 2大数据理论 大数据的定义不是一成不变的，而是呈现多样化发展的状态。广泛通用的定义是2011年国际数据中心IDC定义的大数据:“大数据技术描述了一个技术和体系的新时代，被设计于从大规模多样化的数据中通过高速捕获、发现和分析技术提取数据的价值” 这个定义刻画了大数据的4个显著特征，即体量(Volume)、多样性(Variety)、价值(Value)和速度(Velocity) ①Volume:数据体量大，一般在TB级及以上; ②Variety:数据多源异构多样，包括传统的关系数据库存储类型的结构化数据和以文本、图像、视频、音频、e-mail、网页等形式存在的未加工、半结构化或非结构化数据; ③Value:数据价值低，隐藏在海量数据中的有用信息所占比例较小。通过各种分析手段提取有用信息，提高数据质量及其价值; ④Velocity:处理速度快，对海量数据实现近乎实时的分析处理。 大数据价值链可分为数据生成、数据获取、数据存储、数据分析等四个阶段。 大数据应用流程可以分为数据采集、数据仓库、数据应用服务和数据可视化四个步骤。 3输变电设备状态分析具体电网业务的大数据分析方法 从输变电设备状态分析及应用的具体电网业务角度出发，将大数据分析应用分为数据整合、数据存储、数据计算、数据分析、可视化服务五部分内容。 3.1数据整合 采用消息队列、数据导入工具、数据抽取工具、数据复制工具等多种技术手段，实现结构化、非结构化、海量历史/准实时、电网空间等数据接入。 数据源主要包含生产管理系统、状态监测系统、电网GIS平台、气象信息系统、雷电监测系统等结构化数据和试验报告、现场图片、音/视频文档、设备出厂检验报告、运行报告、故障分析报告、检测报告、日志文件等半结构化及非结构化数据。 3.2数据存储 对各类接入数据按照统一数据规范进行标准化格式存储，依据应用需求存储在分布式文件系统、分布式数据仓库、非关系型数据库、关系型数据库，实现各类数据的集中存储与统一管理，满足大量、多样化数据的低成本存储需求。 数据存储管理包括基础数据管理、数据质量管理、数据流转监测、数据权限管理和数据运维辅助管理。 基础数据管理:提供对大数据元数据资源的统一管理，保证数据资源的标准化应用，为质量监测、流转监测提供基础数据。 数据质量管理:提供业务明细数据、指标数据等多数据模型的数据质量分析和校核规则，持续提升数据质量。 数据流转监测:实现从数据接入环节、