科研大数据平台项目技术建议书参考.docVIP

科研大数据平台项目 目 录 1. 概述 1 1.1. 项目背景 1 1.2. 需求分析 1 1.3. 方案简述 1 1.4. 方案价值 2 2. 设计方案 4 2.1. 设计原则 4 2.2. 系统架构 5 2.3. 分布式数据库系统 5 2.3.1. MPP + Share Nothing架构 5 2.3.2. 核心组件 6 2.3.3. 高可用 6 2.3.4. 高性能在线扩展 7 2.3.5. 高性能数据加载 8 2.3.6. OLAP函数 9 2.4. Hadoop集群 9 2.4.1. Hadoop企业版 9 2.4.2. HIVE分布式内存分析引擎 10 2.4.3. HBASE分布式实时在线数据处理引擎 10 2.4.4. Stream流处理引擎 11 2.5. 服务器虚拟化 11 2.5.1. 设计理念 12 2.5.2. 系统结构 13 2.5.3. 服务器虚拟化系统组成 14 2.6. 云管理平台 15 2.6.1. 浪潮云海OS架构图 15 2.6.2. 浪潮云海OS实现的功能 15 2.7. 爬虫软件 18 2.7.1. 建设网络爬虫私有云 18 2.7.2. 高效的分布式、协同化数据采集模式 20 2.7.3. 爬虫路线规划能力 21 2.7.4. 爬虫调度和负荷规划能力 21 2.7.5. 极致的开放兼容平台 22 . 为什么需要开放的可集成的网页抓