大数据架构调研报告.pdf

大数据架构调研分析 引言：大数据的背景4 一 ．大数据平台架构设计6 1.1Web系统的进化历史6 1.2设计理念9 1.3设计内容9 1.4设计流程16 二 ．大数据架构的现状和未来16 2.1发展现状16 2.2未来发展趋势21 2.3重点应用领域25 三 ．大数据平台架构模块功能介绍26 3.1 概述26 3.2 Hadoop26 3.2.1 分布式文件系统 HDFS27 3.2.2分布式计算 MapReduce28 3.2.3分布式数据仓库 Hive28 3.2.4Hadoop数据库 HBase29 3.2.5 数据集分析 Pig29 3.2.6 分布协调服务 Zookeeper29 3.3Spark30 3.4Storm32 3.5Cloudera35 四 ．优秀案例分析37 4.1AdMaster精硕科技37 4.1.1 公司简介37 4.1.2 产品介绍38 4.1.3 大数据下的数据分析平台架构39 4.2 腾讯46 4.2.1 腾讯简介46 4.2.2 业务简介46 4.2.3 腾讯数据平台46 引言：大数据的背景  定义 对于 “大数据” （Big data）研究机构Gartner给出了这样的定义 “大数据”是需要新 处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化 的信息资产 麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出 了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多 样的数据类型和价值密度低四大特征 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专 业化处理。换言之，如果把大数据比作一种产业，那么这种产业实现盈利的关键，在于提 高对数据的 “加工能力”，通过 “加工”实现数据的 “增值” 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无 法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式 数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析师 团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构 化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析 常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数 十、数百或甚至数千的电脑分配工作 大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。适用于大数据的技 术，包括大规模并行处理 （MPP）数据库、数据挖掘电网、分布式文件系统、分布式数据 库、云计算平台、互联网和可扩展的存储系统 大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬 畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开 始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值  理论、技术和实践 想要系统的认知大数据，必须要全面而细致的分解它，可以从三个层面来展开： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数 据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来深入解析大 数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和 数据之间的长久博弈 第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分 布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果 的整个过程 第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的 大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将 实现的蓝图 [11]  大数据的价值和趋势 到今天，大数据的价值越来