Hadoop大数据平台-集成实施方案（ word 版）.docxVIP

Hadoop 大数据平台 集成实施方案 目 录 技术规范书应答书 2 技术方案建议 77 测试及验收 126 项目实施与管理 153 人员资质与管理 175 技术支持及保修 181 7 附录 213 1 技术规范书应答书 总体解决方案建议书要求 乙方所提供的总体解决方案建议书至少包含技术方案、集成实施方案、建议的 Hadoop 系统软件产品等内容。 答：相 #乙方在解决方案建议书中，需要就需求分析、系统设计、系统开发、系统集成、项目试点以及推广等各阶段所能提供的服务以及各阶段产出物作具体描述。乙方在解决方案建议 书中应说明给甲方提供的技术文档、技术支持、技术服务、人员培训等的范围和程度。 答： #技术方案至少应包括以下内容：应按照甲方建设的总体要求，结合行业先进经验，提 出大数据平台技术建议方案；对整个平台提出安全技术方案；对上述内容相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等提出建议方案。 答： #集成实施方案至少包括实施方法、实施步骤、实施进度安排、相关配套系统的改造方案建议、项目实施控制和项目管理、人员组织、培训计划等。 答： #对量收系统的功能及数据迁移提出建议方案，包括相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等；提出相应的系统迁移实施方案，包括实施方法、实施 步骤、实施进度安排、项目实施控制和项目管理、人员组织、培训计划等，其中：实施进度 应满足 2016 年实现主要八大量收功能的时间要求。 答： #乙方二次开发的应用软件应采用 SOA 架构设计，在技术方案里详细描述，并提供可服务化封装的功能列表。 答： #乙方或所投标软件产品的供应商需提供其大数据平台设计、Hadoop 系统软件产品及其集成实施项目在国内外大型企业的成功案例，结合本次甲方的需求，提出案例分析和建 2 议。案例数量不少于 3 个，需涉及世界 500 强企业、国内知名企业，以及邮政行业、金融保险行业或速递物流行业等，以国内案例为主。案例内容包括：项目概况和规模、用户范围 和数量、在项目中的角色、各阶段承担的任务、工作内容、所采用的软件及模块、设备配置、人员投入、时间进度、实施步骤、实施效果等内容，提供用户使用报告书、或该项目的中标 通知书、验收报告、或使用意见书等相关证明材料复印件，并加盖乙方公章。 答： #乙方提供的 Hadoop 系统软件产品应是具有自主知识产权的产品，并独立于硬件平台，能够在不同的主流 x86 服务器、红旗 Linux 服务器版操作系统（Red Flag Asianux Server）上安装运行。 答：满足。目前 CDH 能运行在各种不同的 x86 服务器集群上，支持的操作系统包括： redhat,centos,debian,sles,ubuntu 等一系列常见操作系统，红旗 Linux 的内核是基于redhat 实现的，所以 CDH 可以运行在其上。 #乙方应提供建议的大数据软件产品、技术服务列表以及相应的测试报告。如需采用第三方产品、开源软件、自主版权软件，包括免费软件，均需明确标注。对于需要通过二次开发手段实现的内容，应明确标注并说明二次开发工作量。测试报告内容要求见 7.1.3 节。 答：建议的大数据软件产品功能如下： 高度集成的 Hadoop 平台：一个整体的数据存储和计算平台，无缝集成了基于 Hadoop 的大量生态工具，不同业务可以集中在一个平台内完成，而不需要在处理系统间移动数据； 用廉价的 PC 服务器架构统一的存储平台，能存储 PB 级海量数据。并且数据种类可以是结构化，半结构化及非结构化数据。存储的技术有SQL 及 NoSQL，并且 NoSQL 能提供企业级的安全方案。CDH 提供统一的资源调度平台，能够利用最新的资源调度平台 YARN 分配集群中 CPU,内存等资源的调度，充分利用集群资源； 多样的数据分析平台 –能够针对不用的业务类型提供不同的计算框架，比如针对批处理的 MapReduce 计算框架；针对交互式查询的 Impala MPP 查询引擎；针对内存及流计算的Spark 框架；针对机器学习，数据挖掘等业务的训练测试模型；针对全文检索的Solr 搜索引擎 我公司针对中国邮政大数据平台项目专门成了了技术服务团队，并根据项目的需求、进 3 展阶段量身打造了具体的服务内容，详情请参考技术支持部分。项目中所涉及的软件包括： Hadoop 软件（包括而不限于 Hadoop 核心） 数据采集层：Apache Flume, Apache Sqoop 平台管理：Zookeeper, YARN 安全管理：Apache Sentry 数据存储：HDFS, HBase, Parquet 数据处理：MapReduce, Impala, Spark 开发套件：Apache