基于大数据的企业级数据仓库性能分析与调优-软件工程专业论文.docxVIP

毛 主25552 矗，*.俯*... ...世·曲...幢 上海交通大学 学位论文原创性声明 本人1Jrt声明2 所呈交的 {宽论文.是本人在吩师的搁导下，独立 l!ti研究J 作所取得的成果.除文中已铿注明号 l用的内容外，%论文不 包含伎俩Jt他个人或集体已经发1成 mm立的作品成 1.对本文的研究 做出自 要贸似的个人和健体.均已在文中以明确方只 明.本人完全意 识到牛肉叨的tf.tll然然由本人永 t!.l. n: 1I: : t 1乡 万万#(饱 同剿， μ，r ír I Jl }o n ⑧ 主252二支 矗于六..的金金矗...-铿.，Uilial集 上海交 通大学 学位论文版权使用授极书 本学位论文作者完全 7解学饺有关保留、使用学位论文的规定，向 .学校保留并向国家有关部门就机构 交论文的复印件和电子版，允许 论艾核查阅和仰阅.本人搜叙上海交通大学可以将本学位论文的全部或 部分内容自由入有关 数据I边行检袋，可以采用影印 、缩印成妇销等复$1) 1-段保存和汇偏本学位论文. 此四保不川ψ‘打内很方上 以 此 四 保 不 川ψ ‘ 打 内 很 方 上 以 在 也 ( 乎 鹏 艾 论 位 u，r 本 学位拙作指肌命乡 tli ft师鹏在乏的 日期: 2.#五年，月z，IO 日朔::101f 年 1 月刮目 5万世嚣 基于大数据的企业级数据仓库性能分析与调优 基于大数据的企业级数据仓库性能分析与调优 万方数据 万方数据 基于大数据的企业级数据仓库性能分析与调优 摘 要 随着我们社会的信息化程度的不断提高，人类的生活工作等方方面面也越来越离不 开信息这一载体。这些数据中有些是传统的结构化的数据如订单信息、客户信息等。而 有些则是非结构化的数据如视频、音频、图片等。所有这些数据的总量极其庞大，而且 类型又相当繁杂。于是人们为它们一个形象而简洁的新词汇：大数据。 放眼整个社会如此，聚焦到企业内部亦是如此。近几年，随着来自企业内部和外部 的数据变得异常庞大而且复杂，依靠传统的数据库和应用系统架构很难高效地处理这些 数据。于是企业级数据仓库（Enterprise Data Warehouse）（简称 EDW）孕育而生。 随着 EDW 中的数据不断地增长，EDW 的性能问题也渐渐为企业管理层所重视。这其中最 主要的性能问题发生在数据抽取和数据挖掘的过程中。如何及尽早测试大数据信息分析 系统中的性能瓶颈并在系统上线前通过一系列手段对基于大数据的 EDW 系统进行性能 调优，以确保系统上线后的高效稳定运行将是本文所要着重介绍和分析的地方。 本论文以当前的炙手可热的大数据为切入点，在了解大数据的产生背景、发展现状 及应用前景的基础上，引入数据仓库作为本文研究的基础。详细分析了数据仓库的技术 架构、发展历史及应用前景。同时，系统地阐述了基于传统信息系统的性能分析与调优 的基本原理和方法论。这些基本原理和方法是本文接下来对于基于大数据的企业级数据 仓库进行性能分析和调优的理论基础。虽然两者有一些区别，但是本质上还是有很多类 似的理念和可借鉴的地方。 本文还特别以当前最新的 Vertica 数据库为例，深入分析了 Vertica 数据库的架构 特点以及其是否适合作为 EDW 系统的底层数据载体，并且进一步探讨了基于大数据的信 息分析系统性能分析和调优的一些策略和技巧。最后结合实际项目，详述了针对基于大 数据的 EDW 系统性能分析和调优的整个过程、技术细节、调优结论以及经验总结等，为 类似项目提供了一个很有价值的理论依据与具有很强参考性的实践方法。 关键词 大数据，企业级数据仓库，Vertica 数据库，性能分析，性能调优 I PERFORMANCE ANALYSIS TUNING FOR ENTERPRISE DATA WAREHOUSE BASED ON BIG DATA ABSTRACT With the continually rising of informational trend, information is becoming more and more important to our daily lives. Among those information, some are structured ones such as order and customers information while others are non-structured ones including audios, videos or pictures. The amount of those data is not only huge but also complex. So a new word was created fo