科研大数据平台项目.docx

科研大数据平台项目 技术建议书 TOC \o "1-5" \h \z \o "Current Document" 概述 1 \o "Current Document" 项目背景 1 \o "Current Document" 需求分析 1 \o "Current Document" 方案简述 1 \o "Current Document" 方案价值 2 \o "Current Document" 设计方案 4 \o "Current Document" 设计原则 4 系统架构 5 \o "Current Document" 分布式数据库系统 5 \o "Current Document" MPP + Share Nothing 架构 5 \o "Current Document" 核心组件 5 \o "Current Document" 高可用 6 \o "Current Document" 高性能在线扩展 7 \o "Current Document" 高性能数据加载 8 \o "Current Document" OLAP 函数 8 \o "Current Document" HADOOP 集群 9 \o "Current Document" Hadoop 企业版 9 \o "Current Document" HIVE分布式内存分析引擎 9 \o "Current Document" HBASE分布式实时在线数据处理引擎 10 \o "Current Document" Stream流处理引擎 11 \o "Current Document" 服务器虚拟化 11 \o "Current Document" 设计理念 11 \o "Current Document" 系统结构 13 \o "Current Document" 服务器虚拟化系统组成 14 \o "Current Document" 云管理平台 14 \o "Current Document" 浪潮云海 OS架构图 15 \o "Current Document" 浪潮云海OS实现的功能 15 \o "Current Document" 爬虫软件 18 \o "Current Document" 建设网络爬虫私有云 18 \o "Current Document" 高效的分布式、协同化数据采集模式 19 \o "Current Document" 爬虫路线规划能力 19 \o "Current Document" 爬虫调度和负荷规划能力 20 \o "Current Document" 极致的开放兼容平台 21 为什么需要开放的可集成的网页抓取软件 21 集搜客网络爬虫的开放接口 21 \o "Current Document" 方案优势 22 \o "Current Document" 3.1 .浪潮MPP数据库优势 22 \o "Current Document" 高性能 22 \o "Current Document" 高性价比 22 \o "Current Document" 高易用性 22 \o "Current Document" 浪潮 HADOOP 优势 22 \o "Current Document" 浪潮云计算优势 22 \o "Current Document" 运营效率提升 22 \o "Current Document" 3.32服务水平提高 23 \o "Current Document" 实现数据中心的绿色节能 23 \o "Current Document" 分工细化使得终端用户只需专注自身业务 23 \o "Current Document" 降低总体拥有成本（TCO） 23 \o "Current Document" 可靠性提高 24 \o "Current Document" 性性能强大 24 \o "Current Document" 扩展性好 24 \o "Current Document" 可管理性 24 \o "Current Document" 4.推荐配置 25 概述 项目背景 通过本项目的实施与建设，在以服务科研工作为主导的原则下， 基于高性能大数 据软硬件设施，构建多样化、专业化、柔性化的科研数据服务应用平台。利用大数据 技术，满足不同层级用户的需求，达到改善我校的科学研究环境与学科建设、 提升我 校的科研管理水平、提升我校针对物流行业的科研服务能力等目