变更公告-2017AFCZ3943二次-安徽合肥公共资源交易中心.DOCVIP

安徽诚信项目管理有限公司 合肥市城市生命线工程安全运行监测系统二期项目设计施工总承包-专业工程分包-基础支撑系统设备采购变更公告 “合肥市城市生命线工程安全运行监测系统二期项目设计施工总承包-专业工程分包-基础支撑系统设备采购”项目（项目编号：2017AFCZ3943）变更公告如下： 招标文件第73-75页“用于初审的参数汇总”中的“大数据基础支撑软件”，原为：“ 七 大数据基础支撑软件 1 大数据基础支撑软件 1.★基础组件要求： （1）消息队列组件：提供kafka消息队列服务及接口；提供C/JAVA等语言订阅接口；（2）分布式存储组件：提供HDFS分布式文件系统；支持Parquet，RcFile等常见存储格式；支持对支持数据的压缩，支持snappy，gzip等常见压缩算法；数据支持3副本存储，副本支持不在同一列机架存储；支持elasticsearch?5.1；提供KV存储能力，支持按主键更新、字段扩展等功能；（3）资源管理调度组件：提供yarn资源管理调度组件，提供必要的资源隔离并实现弹性计算，为数据处理子系统提供支撑；资源的管理包括CPU和内存；支持MR任务，Spark任务的执行；（4）计算框架业务：提供Spark，MapReduce计算框架。支持Spark1.X和Spark2.x共存，支持spark版本升级，支持Python、Java、R语言开发接口；（5）流处理业务需求：提供storm、spark、streaming实时及近实时数据处理框架，支持原始接口；开放编程接口，支持Java和Python语言，支持用户自定义开发流式数据处理功能；2.★数据接入业务要求： 支持多种加载方式，包括HTTP、FTP方式；支持灵活通用的数据格式描述，包括CSV/AVRO，用户可按照统一数据描述规范进行数据组织；支持csv、avro两种数据格式的校验；通过HTTP、FTP方式接收到数据后，能够自动将数据持久化到hive、elasticsearch中；在数据持久化到hive中时，支持对分区字段的自动计算功能，分区方式包括等值、hash以及range，分区方式可以通过元数据定义；万兆网条件下，单服务性能大于400MB/S；3.★基础平台业务要求： 支持基于Hive表的小文件合并，在合并过程中不能影响数据访问；Hive?数据表支持基于列级别的数据分区，分区方式至少支持等值、哈希、区间；用户能够对Hive表按业务时间字段配置数据生命周期，平台自动管理。4.★数据查询业务要求： 基于Spark引擎提供SQL查询服务，支持对hive库表及elasticsearch数据的统一查询；能够通过hivemetastore统一管理全文元数据；能够通过spark?sql进行统一访问；支持扩展SQL接口，可以将全文检索作为SQL的一种过滤条件；5.★实时处理业务需求： 在实时处理任务启动时，支持不重启任务动态添加筛选条件；基于storm提供SQL各种访问能力；6.★规模要求： 单集群大于500台；单集群存储管理能力大于30PB；单表数据规模大于10万亿条；8.★技术服务： 向业务系统提供驻场的开发技术支持；提供对大数据系统的全盘部署、接口对接、联调测试、工程师驻场等服务。 ”。 现变更为：“ 七 大数据基础支撑软件 1 大数据基础支撑软件 1.★基础组件要求（1）消息队列组件：提供kafka消息队列服务及接口；提供C/JAVA等语言订阅接口；（2）分布式存储组件：提供HDFS分布式文件系统；支持Parquet，RcFile等常见存储格式；支持对支持数据的压缩，支持snappy，gzip等常见压缩算法；数据支持3副本存储，副本支持不在同一列机架存储；支持elasticsearch?5.1；提供KV存储能力，支持按主键更新、字段扩展等功能；（3）资源管理调度组件：提供yarn资源管理调度组件，提供必要的资源隔离并实现弹性计算，为数据处理子系统提供支撑；资源的管理包括CPU和内存；支持MR任务，Spark任务的执行；（4）计算框架业务：提供Spark，MapReduce计算框架。支持Spark1.X和Spark2.x共存，支持spark版本升级，支持Python、Java、R语言开发接口；（5）流处理业务需求：提供storm、spark、streaming实时及近实时数据处理框架，支持原始接口；开放编程接口，支持Java和Python语言，支持用户自定义开发流式数据处理功能；2.★数据接入业务要求支持多种加载方式，包括HTTP、FTP方式；支持灵活通用的数据格式描述，包括CSV/AVRO，用户可按照统一数据描述规范进行数据组织；支持csv、avro两种数据格式的校验；通过HTTP、FTP方式接收到数据后，能够自动将数据持久化到hiv