科研大数据平台项目.pdfVIP

科研大数据平台项目

技术提议书

目录

1.概述

1.1.项目背景

1.2.需求分析

1.3.方案简述

1.4.方案价值

2.设计方案

2.1.设计标准

2.2.系架构

2.3.分布式数据库系

2.3.1.MPP+ShareNothing架构

2.3.2.关键组件

2.33高可用

2.3.4.高性能在线扩展

2.3.5,高性能数据加载

2.3.6.OLAP函数

2.4.HADOOP集群

2.4.1.Hadoop企业版

2.4.2.HIVE分布式内存分析引擎

2.4.3.HASE分布式实时在线数据处理引擎

2.4.4.Stream流处理引擎

2.5.服务器虚拟化

2.5.1.设计理念

2.5.2.系结构

2.5.3.服务器虚拟化系统组成

26云管理平台

2.6.1.浪潮云海OS架构图

2.6.2.浪潮云海OS实现功效

27爬虫软件

2.7.1.建设网络爬虫私有云

2.7.2.高效分布式、协同化数据采集模式

2.7.3.爬虫路线规划能力

2.7.4.爬虫调度和负荷规划能力

2.7.5.极致开放兼容平台

2.7.5.1.为何需要开放可集成网页抓取软件

27.5.2.集搜客网络爬虫开放接口

3.方案优势

3.1.浪