A3包、数据处理系统开发.docVIP

A3包、数据处理系统开发 一、供应商资格要求 1、符合《中华人民共和国政府采购法》第二十二条的规定。 2、供应商的资质要求：无 二、项目需求 采用分布式文件系统、分布式计算、并行计算及NOSQL数据库等大数据处理与管理技术，在省中心和潍坊、泰安、菏泽三分中心，统一建立地震数据存储与管理平台。平台存储容量为180TB,其中省中心90TB，三个分中心每中心30TB。 省中心：存储山东地震台网的实时地震波形、历史地震波形数据；分中心：三个分中心分别存储所管辖范围内连续地震数据，三个分中心的数据总和为省中心的数据。数据平台在实时接收地震数据时，将全部地震数据实时存储到省中心和3个数据分中心。 三、技术要求 1、概述 鉴于地震观测数据的独特性和复杂性，需要采用大数据管理的思路和方法，解决地震数据的存储和管理。 海量数据进行分布式处理的软件框架，采用高可靠性、高扩展性、高效性、高容错性的HADOOP技术框架，实现对海量地震数据的管理。 采用 HDFS分布式文件存储方式，实现数据的存储管理，采用MapReduce技术，实现分布式计算、并行处理，采用Hbase数据库，实现大规模数据的随机，实时读写。 2、系统架构 地震数据管理平台的软件架构采用大数据/云计算平台的技术架构实现（图3-1）。 图3-1：整体架构 图3-2：大数据/云计算平台框架 1、系统功能性指标要求如下： （1）历史地震波形数据存储 将山东台网产出的数字光盘数据，统一纳入到该数据平台管理。实现历史地震波形数据的存储与管理。采用300DPI真彩色扫描我局7万张有震图纸，图片文件存入数据库，通过web页面查询下载图纸信息。 （2）实时地震波形数据接收与存储 从山东地震台网LISS服务器，实时接收山东地震台网产出的波形数据，并将数据统一存储在地震数据云存储平台。 （3）地震数据实时存储备份 在省中心，存储山东台网产出的全部地震波形数据。在菏泽、泰安、潍坊3个分中心，分别存储所管辖区域的地震波形数据。3个分中心的数据总和为省中心的数据。 （4）数据存储支撑平台 省中心数据存储能力为90TB（报价含一套满足台网需求的数据计算、存储硬件平台），3个分中心的存储容量分别为30TB（报价各含一套满足台网需求的数据计算、存储硬件平台），数据存储硬件平台支撑地震数据的分析、处理、存储、备份和服务等功能。 数据处理平台技术要求 节点名称 主要技术指标 数量 省中心 1、数据计算存储处理能力 （1）★满足10MB/秒的地震连续波形数据处理存储能力，每节点处理能力不低于1M/秒。 （2）数据存储管理节点不低于2个。 2、数据存储容量 （1）支持PB级的存储容量； （2）存储容量（实配）90TB。 （3）数据存储吞吐量：分布式文件存储吞吐量在100%读写的情况下，存储容量在1GB的情况下，不低于60MBPS。 （4）系统响应时间指标：网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于50ms。 3、数据查询分析计算性能： 地震连续波形6-12个月内的历史查询返回和结果读出在10秒内完成。 1套 数据分中心 1、数据计算存储处理能力 （1）满足4MB/秒的地震连续波形数据处理存储能力，每节点处理能力不低于1M/秒。 （2）数据存储管理节点不低于2个。 2、数据存储容量 （1）支持PB级的存储容量； （2）存储容量（实配）30TB。 （3）数据存储吞吐量：分布式文件存储吞吐量在100%读写的情况下，存储容量在1GB的情况下，不低于60MBPS。 （4）系统响应时间指标：网客户端从分布式文件存储系统中读取4096字节存储内容的响应时间应不高于50ms。 3、数据查询分析计算性能： 地震连续波形6-12个月内的历史查询返回和结果读出在10秒内完成 3套 （5）地震数据平台提供多接口访问 包括但不限于如下访问形式： SQL形式的HIVE访问； API的多语言访问（如JAVA /C++/Python等）； PIG形式的数据流访问； Sqoop、Flume等ETL工具访问； 命令行形式的访问 支持JDBC通用接口的访问 2、系统可靠性指标要求如下： （1）负载均衡机制管理数据。 监控所有集群机器负载情况，动态分配地震波形数据。监控所有集群机器，如果发现问题，那么就把分配给这台机器的地震波形数据重新分配到其他机器，去除单点故障，提高系统可靠性。 （2）单一节点宕机不影响系统业务处理 集群所有机器任意节点宕机，都不影响整个系统业务处理准确性和稳定性。 （3）数据入库异地修复机制 数据异地修复能够提供在线检验入库数据的完整性，并能够自动修复损坏的数据。 （4）系统扩展机制 地震数据管理平台必须具备平滑扩展能力，系统在不停机的情况下，任意增加、减少节点都不影响地震数据，性能随处理节点的增加