A1包、大数据平台建设.docVIP

A1包、大数据平台建设 一、供应商资格要求 1、符合《中华人民共和国政府采购法》第二十二条的规定。 2、供应商的资质要求：无 二、技术要求 一、项目说明 目前，检察机关的内部数据、信息源单位数据、互联网数据、多媒体数据各类繁多、数据量大、实时处理要求高，传统的信息化技术和手段已不能完全适应检察机关信息化发展的需求，需引入大数据技术，建立大数据支撑平台。 本次建设内容主要包括两部分，一是侦查信息网大数据技术平台建设，支持侦查信息化大数据处理；二是侦查信息网大数据资源库建设，对各类数据进行整合、处理加工、管理，提供数据服务；三是oracle数据库维保；四是数据同步软件。 第一部分、大数据技术平台建设 本次侦查信息网大数据支撑平台（软件部分）的建设，充分结合侦查信息网已建的职务犯罪侦查情报信息系统，统筹规划，高度集成，实现侦查信息网内的数据标准化，管理标准化，服务标准化，为侦查信息网各类业务应用提供支撑平台。须与现有的职务犯罪侦查情报信息系统、职务犯罪信息导侦智搜平台实现对接。 （一）应用运行服务平台 1、海量数据存储服务 大数据平台需要存储类型多样、快速存取的海量数据，包括:结构化、半结构化和非结构化数据。平台需提供关系型数据库、NoSql数据库和分布式文件系统快速搭建能力、监控能力、调优能力。 分布式文件存储服务 a) 应支持仿文件系统的管理模式，提供低延迟、高并发的数据访问能力； b) 应提供多副本、跨机柜和纠删码存储机制，保证数据高可靠性； c) 应提供PB级别的海量数据存储能力； d) 应具备管理百台以上服务器集群的能力； e) 具备动态扩充集群节点的能力，可进行数据块自由平衡。 关系型数据库服务 提供标准SQL访问接口的在线关系型数据库服务。 应提供多副本、热备份的能力，确保主数据库节点失效后，备份节点自动接管，保证业务连续性； 应提供读写分离能力，能够允许实现一台机器写入，多台机器读取； 应提供性能监控功能，实现多种指标的监控管理能力； 应支持复杂的结果集合并； 应支持关联操作，支持嵌套SQL查询能力； 应提供支持Java等客户端的分布式数据存储能力； 应提供可视化的数据同步工具，在线进行异构数据库之间的数据同步能力； 应具备管理较大规模服务器集群的能力。 非关系型数据库服务 基于分布式集群技术及负载均衡服务提供高可用性； 支持表、行、主键等数据属性； 提供面向数据表的操作能力； 提供毫秒级别的数据读写能力； 基于分区属性提供数据自动切分能力，将数据分散到多台机器，并保证请求能够平均的分发到这些机器上； 支持在线数据库扩容； 支持大表数据服务，单表记录可达百亿级别，数据量达到TB级别； 具备管理较大规模服务器集群的能力； 具备二次开发能力，支持C++和Java编程接口，提供接口开发文档、开发示例等开发支持。 2.大数据处理服务 大数据处理服务基于分布式架构，通过大规模可扩展的并行处理框架，为海量数据提供高效的计算和分析能力，应包括离线计算服务以及实时计算服务两部分。 离线计算服务： 离线计算服务是面向TB/PB级别、实时性要求不高的大规模计算、存储的服务，主要应用于日志分析、数据挖掘、BI、机器学习等领域。 采用分布式计算框架实现大规模存储与计算； 支持SQL，Map/Reduce等计算模型； 支持DAG模式的作业处理方式； 提供客户端开发工具，包括：web控制台，SDK等； 提供海量数据、高并发的数据上传下载能力，实现PB级别的计算吞吐能力； 提供用户操作审计功能； 提供PB级别的海量数据存储能力； 具备管理较大规模服务器集群的能力。 实时计算服务： 实时计算服务是针对百TB级别数据进行低延时高并发查询的大规模分析服务，主要应用于OLAP相关多维/灵活的检索、分析业务，如业务报表、即席分析和实时数据仓库等。 提供面向海量数据进行任意维度的密集计算与检索的能力； 支持高并发低延时的要求； 支持百TB级别数据的存储、计算能力； 采用并行计算框架，提供数据高性能计算能力； 查询应支持SQL标准语法； 支持多重嵌套、多表关联、相关子查询等复杂SQL； 提供用户操作审计功能； 具备管理较大规模服务器集群的能力。 3.任务调度服务 平台需提供对集群系统的管理服务，主要包括:资源管理服务、节点管理服务、任务调度服务、负载均衡服务。资源管理对系统的资源进行分配以及对系统资源的使用情况进行监控。节点管理提供动态收集节点状态信息，并响应节点请求的服务，比如在系统运行中增加和删除一个节点计算机。任务调度主要执行任务的调度策略，如根据任务需求将其分配到集群系统中合适的节点上进行处理，当任务发生错误时，进行任务的迁移。负载均衡主要负责当集群中的某个节点负载过重时，可以将此节点的负载平衡到其他节点上。 4.消息推送服务 平台的消息推送服务需提供