应用在变电运检管理平台的数据库技术研究.docxVIP

应用在变电运检管理平台的数据库技术研究 随着电网规模快速发展和运检要求不断提升，变电设备运检工作量大幅提升。如何通过智能化手段，解决运检工作量、质量与运检人员数量、人员结构间日益突出的矛盾，成为亟需解决的问题。自2021年以来，围绕运检工作开发的生产信息系统和设备运维管理系统，一定程度上缓解了运检工作中的突出矛盾；但已有的管理系统侧重于运检基础工作管理，无论从系统构架、功能、数据接口方面都无法适应第三代智能站的需求。 其中，受限于传统的数据存储技术，现有运检管理系统的功能和性能均受到了交大的限制。设备运行历史数据和复杂分析数据都无法进行有效保存，致使大量有分析价值的数据无法得到充分利用，进而造成现有运检管理系统无法对设备运行趋势、状态特征、故障预警等进行有效的分析，大大影响了运检效率。 因此，本文研究了当今大数据时代的数据存储与传统运检领域信息化系统的数据存储技术的对比，通过大数据存储技术的介入，加快运检工作面向第三代智能变电站的变电运检管理平台建设，提高运检效率。 1 关系型数据库和NOSQL的特点 随着大规模互联网应用的不断发展以及云计算所需的海量存储和高速计算的发展，传统的关系数据库已无法满足这一需求。NoSQL数据库的不断发展和成熟可以更好地解决大容量存储和大规模计算的应用需求。NoSQL指的是非关系数据库。MongoDB是一种NoSQL数据库。它是一个开源，无架构，面向文档的分布式数据库。它是关系数据库和非关系数据库之间的产品。本文将使用MongoDB作为数据存储性能研究的代表。 非关系型数据库的特点和优势： （1）性能：NOSQL基于键值对，不需要由SQL层解析，可以想象为主键和表中的值之间的对应关系，因此具有非常高的性能。 （2）可扩展性：另外，由于基于键值对的数据之间没有耦合，因此水平扩展非常容易。 关系型数据库的特点和优势： （1）支持复杂查询：可以使用SQL语句轻松地在表和多个表之间执行非常复杂的数据查询。 （2）支持事物（transaction）：非关系型数据库对事务的支持实现了对安全性的高数据访问要求 可以看出，对于这两种类型的数据库，另一方的优势是他们自己的弱点。近年来这两个数据库都朝着另一个方向发展，但这些特征的增加也将削弱其固有优势。因此，如何构建系统的短期和长期存储策略，并利用各自的优势是架构师需要考虑的重要问题。 本文将MySQL作为关系型数据库的代表，与非关系型数据库MongoDB进行特点及性能的对比。 1.1 MongoDB的存储特点 MongoDB采用类JSON的documents来存储数据。在mongoDB的查询语句中，相关信息由于可以采用灵活的数据结构存储在一块，所以查询速率非常快。当mongoDB需要更新文档documents的时候，可以轻松增加新的字段名或者删除旧的字段。 MongoDB会在启动后将数据库中的数据作为文件加载到内存中。如果内存资源非常丰富，这将大大提高数据库的查询速度。 1.2 MongoDB的缺陷 作为新产品，MongoDB也有许多缺点。虽然它为开发人员提供了便利，但在操作和维护方面面临许多困难，没有成熟的操作和维护经验，需要不断探索。MongoDB中的数据存储是非常随意的，与开始时定义的MySQL不同。对于操作和维护人员，MongoDB内部数据的数据格式会给数据库的操作和维护带来麻烦。 MongoDB和MySQL是两种不同类型的数据库。当存储越来越多的记录时，插入和读取效率将如何受到影响，这是本研究的重点。 2 测试系统组成 在这一部分，我们模拟变电运维业务中的场景。当管理平台接入所辖区域内的多个变电站时，平台需要对数量众多的主辅设备信息进行处理，系统将面临非常大的数据上送的压力，因此数据库会受到频繁读写操作的巨大压力。我们准备了1亿条待测试数据，数据格式模拟变电运维实际业务，字段共有30个字段（不逐一列出），大致如Table1。我们会选用MongoDB数据库和MySQL数据库分别测试数据插入性能和数据读取性能。如表1、2所示。 3 性能对比 在存储在数据库中的数据中，有一个称为主键的特殊键，用于唯一标识表中的记录。即表不能有多个主键，主键不能为空。无论是MongoDB还是MySQL，都有主键的定义。对于MongoDB，主键名称为“_id”。生成数据时，如果用户没有主动为其分配主键，MongoDB将自动为其生成随机分配的值。在MySQL中，当MySQL插入数据时，通过指定*****KEY来指定主键。如果未指定主键，则另一个工具（索引）等效于主键的功能。如果既未指定主键也未指定索引