采集监测数据交换规范v2.1课案.docx

采集监测数据交换规范V2.1江苏瑞中数据股份有限公司版本信息版本修改时间修改人修改内容2.12016.12.9谢玉波、李贤惠重新确定规范1.范围本规范定义了各采集系统和大数据平台之间数据交换的规范，包括：数据的格式、传输方式和交换方式。2.符号定义序号符号定义1类起始符2/ 类结束符3@数据块头引导符4#数据行引导符5=赋值连接符6*指针引导符3. 数据文件格式3.1.时序数据3.1.1 文件命名规范文件名包含以下信息：网省信息、数据采集日期、文件生成时间、数据行数、随机数和源系统代码，具体格式为：网省信息-数据采集日期-文件生成时间-系统代码-数据行数-2位随机数[-源表名称].txt如：LN20161009203732-PIAS-5000000-21-FACTOR_CURVE_G.txt。下面针对各部分内容进行详细说明:网省信息参见国网标准，二位大写字母编码数据采集日期指数据采集的日期，8位数字，格式：yyyyMMdd文件生成时间指E文件的生成时间，14位数字，格式：yyyyMMddHHmmss数据行数大于0的整数，指明此E文件中一共有多少行数据随机数2位长度随机数，确保文件名不会重名源系统代码数据来自于哪个源系统，如PIAS、EMS、TMR。源表名称可选，在从数据库抽取时需要带上。3.1.2文件内容格式文件内容：gb2312编码，无bom头。列分隔采用Tab键，行分隔符回车换行(\r\n)。数据头以”@”符号开始，数据内容以“#”开始。每一行包含五个方面的内容：ID设备IDAREA地市代码，二位大写字母编码，在没有的情况下可以为空TYPE量测类型编码TIME日期时间，14位数字，格式：yyyyMMddHHmmssCONTENT对应的具体值DESC描述，可以为空如下：@IDAREATYPETIMECONTENTDESC##说明：如果出现不存在的量测类型，在源数据转换时需记录并提示，后期添加以后该数据依然能够处理，不出现丢数据的情况。如果源端某部分内容为空，在文件中该部分已字符串NULL表示（大写）。4. 交互方式4.1. 网络拓扑用采数据交换根据国网的规划有两种方式：有隔离装置方式和无隔离装置方式，下面依次介绍。1、有隔离装置方式图隔离装置模式下用采数据交换用采系统端：从采集前置或数据库服务器按需求提取数据，按照相应的对接规范所约定的文件格式生成数据文件，并放至上报服务器（该角色可以与其他服务器合并）的对接交换目录，通过隔离装置的发送程序发送至大数据平台端，发送成功后由隔离装置负责删除。大数据平台端：数据处理模块从接收服务器的指定目录下消费隔离装置所摆渡过来的数据文件，进行清洗、集成并加载至数据仓库。2、无隔离装置方式图无隔离装置模式下用采数据交换用采系统端：从采集前置或数据库服务器按需求提取数据，按照相应的对接规范所约定的文件格式生成数据文件，并使用上报程序通过SFTP协议将数据文件上报至大数据平台端接收服务器（SFTP Server）的指定对接交换目录，上报过程中需解决读写冲突。大数据平台端：数据处理模块从接收服务器的指定目录下消费所上报过来的数据文件，进行清洗、集成并加载至数据仓库，消费成功以后负责删除文件。4.2 文件交互策略用采系统在写完数据文件之后，在交互的过程中保证数据的完整性，为防止读写冲突，采用先写临时目录，最后以rename方式写入至最终交互目录，保证写入操作的完整性。接收方在处理完相应的文件之后，由接收方负责删除。4.4. 异常处理策略接收方判断文件中的数据行总数是否与文件名中标注的数据行数一致，如不一致，则说明数据丢失，接收方记录本次异常事件。4.5. 文件大小约束单个文件的大小不超过5GB。4.6. 实时性要求发送方在采集到时序数据之后，在1分钟以内将时序数据生成文件发至最终的交互目录中，该时间可以调整。4.7. 完整性要求交互双方需记录各自生成或接收到的文件名称，记录情况，以便进行数据丢失情况下排查问题，防止出现数据缺失，保证数据的完整性。附录A网省代码省省中文代码中文代码总部ZB湖北HB华北NC湖南HN华东EC河南HA华中CC江西JX东北NE四川SC西北NW重庆CQ北京BJ辽宁LN天津TJ吉林JL河北HE黑龙江HL冀北NC蒙东MD山西SX陕西SN山东SD甘肃GS上海SH青海QH江苏JS宁夏NX浙江ZJ新疆XJ安徽AH西藏XZ福建FJ附录B城市代码网省城市代码总部--华北华东华中东北西北北京天津河北冀北山西山东上海江苏浙江安徽福建附录C系统代码序号系统名称系统代码1用电信息采集系统PIAS2调度EMS系统EMS3调度TMR系统TMR