LS_T 1820-2018粮食大数据资源池设计规范.pdf

ICS 35.240.99B 20LS中华人民共和国粮食行业标准LS/T 1820—2018粮食大数据资源池设计规范Specification for grain big data resource pool2018-01-08发布2018-03-01实施国家粮食局发布 LS/T 1820—2018目次前言-范围2规范性引用文件3术语和定义总体要求5层次结构9数据构成数据描述8数据接口6数据模型与存储体系10数据安全11备份与恢复12可扩展性13资源池管理14运行环境015设计指标0附录A（规范性附录）元数据内容附录B（资料性附录)元数据值域代码22参考文献23 LS/T 1820—2018表1(续)属性名称说明最大出现次数元所允许的出现次数，只出现一次用“1表示，重复出现用N表示，不为1的固定出现次数可用相应的数字表示，如23*4，不出现用0或NULL表示注释对元索的补充说明、建议及其他表 2数据类型数据类型说明文本自由文本，表明对数据项(字段)的内容没有限制数值通过数值的形式表达值的类型，包括整数和实数等以年月日时分秒的形式表达的值的类型，参见GB/T7408布尔两个面且只有两个表明条件的值，如True或False,1或0通过二进制格式存储对象，如图片、育频、视频等复合由若干数据类型组成，或具有特定值的枚举类型数据接口8.1数端获取接口数据获取接口主要用于收集数据，在权限范围内，数据获取接口应支持通过如下方式收集数据：粮食信息系统API传感设备：网络鹿虫；人工录人。8.2数据访问接口数据访问接口用于对外提供数据访间服务。数据访间接口应支持如下访间方式：数据库连接访间；中间件访间；Webservice标准接口；Restful API;FTP文件下载；第三方软件访间，采用此种方式时，应提供其体的接口访间协议说明和数据格式。8.3数据同步接口数据同步接口在国家级和省级资源池间同步数据。省级资源池应定期通过同步接口向国家级资部池推送更新数据，数据同步接口应支持数据的增量更新，支持数据的压缩和加密传输，数据应封装为多个单元进行传输，每个传输单元的数据量不宜超过5MB，6数据模型与存储体系9.1数据模型粮食大数据资源池中的数据应采用合理的存储模型进行组织。资源池应至少支持关系模型、键值 LS/T 1820—2018模型、列存储模型、文档模型和图模型5种数据组织和存储模型，不同类型的数据宜采用的存储模型如下;a)结构化数据采用关系模型组织；b)具有明确键值对的非结构化数据宜采用键值模型组织c)面向分析型查询，需要高效压缩和1/O效率的数据宜采用列存储模型组织；d)大段文本，或具有嵌套环结构的数据宜采用文档模型组织；e)具有或能够抽象为明确的点边结构的数据宜采用图模型组织。9.2存储体系9.2.1通则粮食大数据资源池应提供服务器本地存储与专用存储设备相结合的存储体系，存储介质应以磁盘为主，支持磁盘阵列，可辅以固态硬盘对高频访间数据进行加速。各种粮食数据应根据其访问赖率和安全性要求存放于合适的存储位置：a)服务器本地磁盘存储实时、高频访间的业务数据，宜采用分片方式使数据访间与存储能够在同台服务器上进行，降低网络1/O开销，b)外置专用存储设备存储备份数据，存储设备应支持对数据进行定时、增量式的备份，并支持将备份数据导人业务系统。不同采源的根食数据具有不同的格式和存要求，根食大数据资源范应建立准合存储体系，包含关系型数据库、分布式文件系就、内存数据库、缓存数据库、键-值数据库、图数据库、多媒体数据库、数据索引等，9.2.2关系型数据库关系型数据库主要用于结构化数据的存储，应支持分布式部署，并能够利用固态硬盘进行重要数据的随机读写加速。9.2.3分布式文件系统分布式文件系统用于存储大文件数据。分布式文件系统中的存储节点应通过以太网互联，能够屏蔽底层细节，提供统一、透明的文件存取和数据管理功能。分布式文件系统不得依赖于具体的操作系统，应支持数据分块和自动复制，不得产生单点失效，应支持层级结构（目录树)，具有设置并管理文件属性与访间权限的能力，具备容错功能。9.2.4内存数据库内存数据库用于存储需要被额繁紫查询的粮食数据，内存数据库应能够分布式、跨平台部署，并支持数据持久化，分布式部署的内存数据库应支持主从复制、增量复制以及数据同步。9.2.5缓存数据库级存数据库主要对一定时间内访间过的粮食数据进行缓存，以减轻对主数据库频察查询的压力，缓存数据库一般应将数据存诺在内存中，并面向数据读取进行优化。缓存数据库应能够从不同的数据库中加载数据，但不得替代真正存放数据的各类数据库，9.2.6键-值数据库键-值数据库主要用于存放不涉及过多数据关系和业务关系的非结构化文本数据。键-值数据库应提供直接访间键-值数据的函数，具备类似关系数据库的单表查询功能，应