云数据采集中心与大数据计算平台建设方案详细.docxVIP

CC 云数据采集中心及大数据计算平台 建设方案 成都中蓝信息技术有限责任公司 目 录 1 引言 5 1.1 项目背景 5 1.2 项目目标 5 1.3 建设原则 6 1.4 参考规范 7 1.5 名词解释 9 2 云数据采集中心 10 2.1 需求概述 10 2.2 总体设计 13 2.3 核心技术及功能 18 2.3.1 分布式文件存储技术 18 2.3.2 分布式并行计算技术 27 2.3.3 分布式数据库技术 31 2.3.4 负载均衡 34 2.3.5 数据采集 39 2.3.6 开放平台 45 2.4 部署方案 48 2.5 实施计划 50 3 大数据计算平台 52 3.1 需求概述 52 3.2 总体设计 52 3.3 应用建设 57 3.3.1 收视率统计 57 3.3.2 智能推荐 60 3.3.3 拍立购 63 3.4 部署方案 69 3.5 实施计划 72 4 性能及成本分析 73 4.1 运营商网络性能分析 73 4.2 服务器网卡性能分析 73 4.2 服务器内存性能分析 73 4.3 服务器硬盘性能分析 74 4.4 服务器 RAID 模式分析 74 4.5D2B 性能分