一种基于用电信息采集终端曲线数据存储方案.docVIP

一种基于用电信息采集终端的曲线数据存储方案 　　摘 要：本文提出一种多个索引文件共享一个数据文件的存储方案，来对测量点信息和曲线数据进行统一管理和有效定位，降低了存储设备操作次数；采用文件大小虚拟定位技术针对回向校时提出了合理化解决方案；在索引文件MAP信息中增加曲线数据实际位置转换系数优化了曲线数据周期性裁剪。 　　关键词：用电信息；采集终端；曲线数据；方案 　　中图分类号：TM73 文献标识码：A 　　一、技术领域 　　本存储方案涉及智能电网用电信息采集系统领域，特别涉及一种基于用电信息采集终端的曲线数据存储方案。 　　二、背景技术 　　电力用户用电信息采集系统（power user electric energy data acquire system）是对电力用户的用电信息进行采集、处理和实时监控的系统，用电信息采集终端（electric energy data acquire terminal）是对各信息采集点用电信息采集的设备，可实现电能表数据的采集、数据管理、数据双向传输以及转发或执行控制命令的设备。 　　随着OFDM等调制技术的不断发展及宽带载波通信技术的广泛应用，不同地市根据自身需求扩充了国网公司针对曲线数据管理及存储的相关规定，像江苏省供电公司提出用电信息采集终端应采集全体用户的曲线数据并支持存储512个用户10天的电压、电流、功率、电能示值等数据项24个整点曲线数据，为适应四表合一趋势发展，要求在此基础上支持存储512个水表、气表、燃气表等的曲线数据；重庆市供电公司将重点用户的数量扩充至255个，要求用电信息采集终端支持255个重点用户10天的曲线数据存储。 　　曲线数据存储量的增大针对采集终端存储时所采用的曲线数据存储方案的性能也提出了极高的要求。包括以下几点： 　　1.针对回向校时的处理能力。采集终端应能及时对校时后的曲线数据进行处理，确保曲线数据存储的及时响应，保证曲线数据存储的正确性和完整性。 　　2.曲线数据周期性裁剪的处理能力。当因存储设备容量限制需要进行曲线数据周期性裁剪，所采用的存储方案应能具备尽量减少对存储设备的操作次数的设计以保证存储设备的使用寿命。 　　3.针对测量点信息发生变更的处理能力。采集终端采用的存储方案需要便于处理发生变更的测量点的曲线数据，尽量保证该测量点发生变更前后的数据完整性和一致性。 　　4.曲线存储方案需要具备对曲线数据的正确性、完整性进行验证的能力。 　　目前针对曲线数据的存储方案有以下3种： 　　1.以测量点为存储单元的存储方案。终端存储曲线数据的时候每个测量点创建一个文件，采用MAP+DATA的存储结构，MAP存储测量点相关信息，DATA存储该测量点各时间点的曲线数据。但该存储方式存在以下不足： 　　（1）随着国网公司要求存储的数据量越来越大，当测量点比较多的时候创建的文件比较多，不利于统筹管理。 　　（2）采集终端在上电启动挂载文件系统的时候，文件系统会扫描每个block，判定每个block是否为坏块、空块来建立哈希表，如果创建的文件比较多，无疑延长了文件系统的检查执行时间，进而延长了采集终端的启动速度。 　　（3）针对像UFFS文件系统的一些版本，文件系统每创建一个文件就会占用一个block的存储空间，并且该block上无法再创建新的文件，此时如果创建的文件存储内容很少，就会对存储空间造成极大浪费。 　　（4）当发生回向校时，需要对每个测量点文件中当前时间之后的曲线数据进行裁剪，如果需要裁剪的数据量较大、测量点较多，则裁剪执行时间较长，影响了曲线数据存储。 　　（5）当因磁盘容量限制需要对文件进行裁剪，则对每个文件存储的曲线数据都要进行裁剪处理，造成存储设备操作过于频繁，减少了存储设备的使用寿命。 　　（6）如果采集终端测量点类型发生变更，则对应的曲线数据存储单元长度也会发生变化，为了便于二分法查找，必须重建该测量点的曲线文件，造成测量点类型变更之前的数据丢失，影响了曲线数据完整性。 　　2.以时间为存储单元的存储方案，终端每天创建一个文件，文件中存储所有测量点的曲线数据，该方案的优点是便于按日期进行文件裁剪，但该存储方案存在如下不足： 　　（1）国网公司规定的曲线数据项繁多复杂，每个曲线数据项的数据单元长度不一，根据测量点所属采集通道的不同，存储密度也不一样，造成文件存储结构异常混乱，当进行文件查询的时候无法快速有效定位需要查询的数据，增加了查询时CPU开销，当需要查询的曲线数据不在一个文件中的时候，需要对多个文件进行操作，无法达到对主站请求帧的及时响应，影响了嵌入式系统的实时性。 　　（2）当采集终端发生回向校时，要对当前时间之后的曲线数据进行裁剪，裁剪起始点的查找和定位很困难，增加了回向校时文件裁剪