大数据处理平台构架设计说明书.docVIP

专业资料参考 word格式整理 大数据处理平台及可视化架构设计说明书 版本：1.0 变更记录 序号 版本 变更说明 修改人/日期 审批人/日期 1 1.0 创建 李万鸿 2015-3-18 目录 TOC \o 1-3 \h \z \u HYPERLINK \l _Toc414460302 1 1. 文档介绍 PAGEREF _Toc414460302 \h 3 HYPERLINK \l _Toc414460303 1.1 文档目的 PAGEREF _Toc414460303 \h 3 HYPERLINK \l _Toc414460304 1.2 文档范围 PAGEREF _Toc414460304 \h 3 HYPERLINK \l _Toc414460305 1.3 读者对象 PAGEREF _Toc414460305 \h 3 HYPERLINK \l _Toc414460306 1.4 参考文献 PAGEREF _Toc414460306 \h 3 HYPERLINK \l _Toc414460307 1.5 术语与缩写解释 PAGEREF _Toc414460307 \h 3 HYPERLINK \l _Toc414460308 2 系统概述 PAGEREF _Toc414460308 \h 4 HYPERLINK \l _Toc414460309 3 设计约束 PAGEREF _Toc414460309 \h 5 HYPERLINK \l _Toc414460310 4 设计策略 PAGEREF _Toc414460310 \h 6 HYPERLINK \l _Toc414460311 5 系统总体结构 PAGEREF _Toc414460311 \h 7 HYPERLINK \l _Toc414460312 5.1 大数据集成分析平台系统架构设计 PAGEREF _Toc414460312 \h 7 HYPERLINK \l _Toc414460313 5.2 可视化平台系统架构设计 PAGEREF _Toc414460313 \h 11 HYPERLINK \l _Toc414460314 6 其它 PAGEREF _Toc414460314 \h 14 HYPERLINK \l _Toc414460315 6.1 数据库设计 PAGEREF _Toc414460315 \h 14 HYPERLINK \l _Toc414460316 6.2 系统管理 PAGEREF _Toc414460316 \h 14 HYPERLINK \l _Toc414460317 6.3 日志管理 PAGEREF _Toc414460317 \h 14 1. 文档介绍 文档目的 ??设计大数据集成分析平台，主要功能是多种数据库及文件数据；访问；采集；解析，清洗，ETL，同时可以编写模型支持后台统计分析算法。 设计数据可视化平台?，应用于大数据的可视化和互动操作。 为此，根据“先进实用、稳定可靠”的原则设计本大数据处理平台及可视化平台。 文档范围 大数据的处理，包括ETL、分析、可视化、使用。 读者对象 管理人员、开发人员 参考文献 术语与缩写解释 缩写、术语 解 释 BD Big data SD 系统设计，System Design … 系统概述 ??大数据集成分析平台,分为9个层次，主要功能是对多种数据库及网页等数据进行访采集、解析，清洗，整合、ETL，同时编写模型支持后台统计分析算法，提供可信的数据。 ?????设计数据可视化平台?,分为3个层次，在大数据集成分析平台的基础上实现大实现数据的可视化和互动操作。 设计约束 1.系统必须遵循国家软件开发的标准。 2.系统用java开发，采用开源的中间件。 3.系统必须稳定可靠，性能高，满足每天千万次的访问。 4.保证数据的成功抽取、转换、分析，实现高可信和高可用。 设计策略 系统高可用、高性能、易扩展，安全稳定，实用可靠，满足用户的需要。 系统可以进行扩展，增加数据的种类和数量。 系统可以复用别的软件和算法。 系统总体结构 大数据集成分析平台系统架构设计 1.逻辑架构 2架构说明 系统分为9个层次： 1）数据源：CSMAR数据库、高频系列数据库、 量化因子仓库、风险控制模型数据库、量化舆情数据库、互联网的网页。 2）数据获取层：接收数据源的数据和抓取网页，建立知识图谱将网页数据结构化，为人工和机器决策提供依据。 3）数据导入层：通过sqoop把数据库的数据导入hbase，用flume