电力大数据高速存储及检索关键技术探讨.docVIP

精品论文 参考文献 电力大数据高速存储及检索关键技术探讨 高正浩1 黄良1 曹洪1 赵立进1 张渊渊2 　　（1.贵州电网有限责任公司电力科学研究院；2.深圳市康拓普信息技术有限公司） 　　摘要：在电力企业不断发展和科学技术水平不断提高的推动下，信息技术在电力企业中得到了广泛的应用，并取得了一定的效果。本文针对电力大数据高速存储及检索关键技术进行了探讨，旨在为电力大数据的存储和检索提供帮助。 　　关键字：关键技术；存储和检索；大数据；电力企业 　　现如今，伴随着电力企业的飞速发展，其需要其需要处理和管理的数据越来越多，如何对这些数据信息进行高速的存储和检已经成为了现代电力企业发展和生存的关键，下面本文展开进一步的研究。 　　1.大数据的概念和特性 　　1.1大数据的概念 　　大数据的概念是由阿尔温托夫勒率先提出来的，指的是含信息量较多的资料，其信息量多到无法在规定的时间内采用当前的主流软工具完成处理、管理的工作。现阶段，伴随着电力企业的大力发展，其需要处理和管理的数据越来越多，如何对这些数据信息进行高速的存储和检已经成为了现代电力企业发展和生存的关键。 　　1.2大数据的特性 　　大数据既不是一类产品也不是一种新技术，他只不是时代发展下的一种新现象。大数据主要包含四个方面的特性：（1）体量巨大，由过去的TB等级上升到PB等级；（2）处理速度快。包含海量实时和在线数据分析要求；（3）价值密度较低。长时间的视频监控信息中有可能只有1s-2s信息的是有用的；（4）数据类型复杂，来源多样化。大数据的形式和类别包括半结构形式和非结构形式的数据。 　　2.大数据高速存储及检索的的技术结构研究 　　我国电力企业要想在竞争日益激烈市场中占有一席地，就应该从电网信息技术的角度入手。现如今，我国用电信息采集系统所面向的用户数量比较多，每天形成了海量的数据信息，致使业务系统在对业务进行统计分析时的反应速度比较慢，用户在使用过程中往往需要等待较长的时间、因此，为了有效的解决这一问题，下面本文就大数据高速存储及检索的关键技术进行进一步的研究。 　　2.1并行采样技术 　　利用单片数据转换器的芯片能够有效的提高采样频率的提高，这种芯片的缺点是分辨率角度，价格较高，对数据收集有着较高的要求。基于此，本文提出了并行采样的方法，其工作原理是：利用交叉时间采样的方法，使多片低采样率的芯片并行，从而获得高频数据采集的效果。 　　并行采样技术所应用的ADC转换器主要包含逐次逼近形式的和闪电形式的两类。其中，第一类ADC转换器的工作原理是利用比较器对比转换标准电压和模拟信号；第二类ADC转换器的工作原理是对参考电压和模拟信号进行直接对比，从而获取有关数字信号的大小，这种方法的优点是速度快、效率高；缺点是分辨率较低。 　　2.2电力大数据高速存储方案与技术 　　2.2.1存储方案 　　电力企业中，数据信息的采集和存储能力直接关系着业务质量，数据信息采集速率的提升很够有效的为信息采集精确度的提高提供保障，但是数据信息的处理速度越快，对系统硬件的要求就越高，就会是系统的成本投入增加，因此，并不需要过快的数据信息处理速度，而是将数据信息存储于一盒数据缓存单元中，然后，根据系统的要求对数据信息进行处理和运用。通常，高速缓存方法主要包含以下三类： 　　（1）高速SRAM切换形式的缓存。 　　该缓存方法只有一套控制总线、数据和地址，并通过三态缓冲门将ARAM设备连接在ADC转换器和控制器之上。当在ADC转换器上采集完数据信息之后，利用ARAM设备在控制器上展开读写操作。这类缓存方法的优势为可以随时读写数据信息，劣势在于集成化程度比较低，占用的面积比较大。 　　（2）双口PAM形式的缓存。 这类缓存方法设有两套相对独立地控制总线、数据和地址，因此，实现了两个端口能够互不干扰的同时对数据信息进行读写。这类缓存方法的优势为实现了随时对数据信息进行存取，传递效率比较高，劣势在于其价格非常昂贵。 　　（3）先进先出形式的缓存 　　FIF存储器是这类缓存方法主要的应用设备，这类缓存方法没有地址线，设有两套数据线，能够在两端分别进行操作和读取，而数据信息则在其中进行顺序运用。这类缓存方法的优势在于传递效率比较高，节省了地址线的布置，其缺点为读写方式不灵活，并且速率较高、容量较大的FIFO存储器的价格比较高。 　　2.2.2存储器设备的类别划分 　　按照存储器的特性可以将其划分为随机存储器和只读存储器两种，按照存储机构又可以将只读存储器分为DRAM和SRAM两类。其中SRAM存储器的优点是操作灵活、效率高、稳定性强，其缺点为价格昂贵；因此，在某些特殊的场所之外，在其他地方SRAM这类存储器很少会得到应用。与SRAM存储器相比较而言，DRAM存储器的价格比较低，并且伴随着科学技术的不断进步