基于大数据的企业级数据仓库性能分析与调优.docxVIP

— PAGE \* Arabic 1 — 基于大数据的企业级数据仓库性能分析与调优 目录  1绪论 (1)  1.1 大数据应用的研究现状 (2)  1.1.1 大数据的特点及本质 (2)  1.1.2 大数据的前世今生 (4)  1.1.3 大数据及其相关技术发展方向 (6)  1.2 数据仓库技术的研究现状及发展前景 (7)  1.2.1 数据仓库基本理念与架构 (7)  1.2.2 数据仓库的研究现状及发展前景 (10)  2大数据信息分析系统架构分析 (11)  2.1 常见数据库系统架构及发展趋势 (11)  2.1.1 关系型结构化数据库 (11)  2.1.2 非关系型数据库 (12)  2.1.3 非结构化数据库 (12)  2.1.4 数据库技术的发展趋势 (13)  2.2 基于大数据的企业级数据仓库概述 (13)  2.2.1 企业级数据仓库架构 (13)  2.2.2 大数据推动企业级数据仓库的发展 (15)  2.2.3 新形势下企业级数据仓库所面临的机遇与挑战 (15)  2.3 大数据信息分析系统架构特点 (16)  2.3.1 列式存储 (16)  2.3.2 分布式计算 (18)  2.3.3 数据挖掘 (19)  2.3.4 OLTP与OLAP (19)  2.4 应用实例 (20)  3 系统性能分析与调优基本原理和方法 (22)  3.1 性能测试与分析的重要性 (22)  3.1.1 性能即执行效率 (22)  3.1.2 系统性能所带来的影响 (23)  3.2 传统应用系统的性能分析与调优 (23)  3.2.1 性能测试及分析过程 (23)  3.2.2 业内主流系统性能测试工具及其利弊分析 (24)  3.2.3 性能调优原则和重要指标 (27)  4 大数据信息分析系统的性能分析调优原则 (29)  4.1 性能分析与调优难点 (29)  4.2 Vertica数据库性能分析及调优策略简述 (29)  4.2.1 合并连接优化 (31)  4.2.2 本地连接优化 (32)  4.2.3 分组管道优化 (33)  4.2.4 本地分组优化 (33)  4.2.5 预连接Projection优化 (34)  4.2.6 参数优化 (34)  4.2.7 资源池优化 (35)  5 基于大数据的EDW系统性能分析及调优实例解析 (37)  5.1 企业信息技术背景 (37)  5.2 核心技术概述 (38)  5.2.1 企业内部EDW架构设计 (38)  5.2.2 EDW的运作机制 (40)  5.2.3 ETL数据挖掘技术方案 (42)  5.3 现阶段遇到的问题及解决思路 (44)  5.3.1 性能瓶颈 (45)  5.3.2 性能分析及调优方案 (45)  5.4 性能优化过程 (46)  5.4.1 项目目标 (46)  5.4.2 测试环境 (47)  5.4.3 测试范围以及成功标准 (48)  5.4.4 测试及优化过程详述 (48)  6 调优最终成果及结论 (55)  6.1 性能调优结果 (55)  6.2 性能调优结论及经验总结 (56)  7 总结与下阶段工作 (58)    基于大数据的企业级数据仓库性能分析与调优  1绪论  纵观人类数万年的发展史，由于蒸汽机的出现推动了工业革命，从而将人类从繁杂的重复性的体力劳动中解放了出来，使得工业更加发达，社会更加文明，更加现代化。而从现代社会过渡到了信息社会，仅用了短短数十年的时间。这其中，“信息”二字是一个始终伴随的词汇。随着社会的不断发展，信息化程度不断地加深，所带来的一个不容回避的问题，就是信息（或者称为数据）的爆炸式的增长。曾经有过一个有趣的调查根据权威调查机构的预测，未来每隔 18 个月，整个世界的数据总量就会翻倍；到 2020 年，整个世界的数据总量将会增长 44 倍，达到 35.2ZB(1ZB=10 亿 TB)[1]。这是一个多么庞大的天文数字啊！对于这样天文级的数据量，业内也赋予了相当形象的称呼：大数据。大数据是现代信息技术的重要发展方向之一，实现大数据的共享和