大数据时代模板参考总结.pptVIP

1 2 相较于“大数据”一词在 2011 年才开始蹿红不同，在计算机研究领域和产业界，“大数据”早已众人皆知，各大IT 巨头纷纷布局大数据业务，通过收购大数据相关厂商来实现技术整合，以图抢占全新的制高点 各大IT 企业纷纷推出自身的大数据分析产品，包括Google、IBM、EMC、Oracle、微软、惠普、SAP、Teradata ，这些企业几乎囊括了目前全球最顶尖的搜索服务、数据库、服务器、存储设备、企业解决方案的主要提供商，足以显示大数据在产业界的汹汹来势 Big Data名词由来 大数据技术将被设计用于在成本可承受（economically）的条件下，通过非常快速（velocity）的采集、发现和分析，从大量化（volumes）、多类别（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构 企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合 什么是Big Data技术 云计算与大数据 白云下面数据跑 蓝蓝的天上白云飘 如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！没有强大的计算能力，数据宝藏终究是镜中花；没有大数据的积淀，云计算也只能是杀鸡用的宰牛刀！ 分布式 “云计算”（Cloud Computing）是分布式处理（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）的发展，或者说是这些计算机科学概念的商业实现。 ——百度百科 A Availability CAP 理论 一个分布式系统不可能满足一致性、可用性和分区容错性这三个需求，最多只能同时满足两个 ——Eric Brewer C Consistency P Partition Tolerance 分布式计算是一门计算机科学，它研究如何把一个需要非常巨大的计算能力才能解决的问题分成许多小的部分，然后把这些部分分配给许多计算机进行处理，最后把这些计算结果综合起来得到最终的结果。 CAP博弈 分区容错性是不能牺牲的 Amazon Dynamo是一个经典的分布式Key-Value 存储系统，具备去 中心化，高可用性，高扩展性的特点，但是为了达到这个目标在很多 场景中牺牲了一致性。 支付宝这样的交易和账务数据则是非常敏感的，通常不能容忍超过秒 级的不一致 Key Value 分布式存储系统 查询速度快、存放数据量大、支持高并发 不能进行复杂的条件查询 辅以实时搜索引擎进行复杂条件检索、全文检索，可替代并发性能较低的关系型数据库，节省几十倍服务器数量 B+ Tree Hash算法 大数据时代下的系统需求 High performance –高并发读写的需求 高并发、实时动态获取和更新数据 Huge Storage –海量数据的高效率存储和访问的需求 类似SNS网站，海量用户信息的高效率实时存储和查询 High Scalability High Availability –高可扩展性和高可用性的需求 需要拥有快速横向扩展能力、提供7*24小时不间断服务 RDBMS VS. NoSQL 高并发读写 大数据存储的 核心需求 高效率存储 和访问 高可扩展性和高可用性 低成本建设 运维 保证一致性的开销过大，难以实现高并发 存储性能受限于控制器，性能难以保证 关系型表单存储难以适应不同数据类型 上亿行数据的超级达标效率极低 传统基于盘阵的存储设备，造价昂贵，且市场垄断严重，建设成本居高不下，扩容成本尤其高 许可和维护花费高昂 无法简单的通过添加服务节点来扩展数据容量和负载能力，难以进行横向扩展 数据库升级需要停机维护和数据迁移，导致服务中断 不保证遵循ACID原则，提高并发读写性能 Schema-Free存储适应不同数据类型 舍弃SQL标准功能，尽量简化数据操作，提升效率 MapReduce实现高效访问 基于X86设备，价格低廉 开源系统，节省许可费用 支持水平扩展，可简单的通过添加服务节点来扩展数据容量和负载能力 数据库升级不影响服务持续 NoSQL NoSQL运动两个核心理论基础： Google的BigTable BigTable提出了一种很有趣的数据模型，它将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。 Amazon的