云计算与大数据处理技术.docVIP

云计算与大数据处理技术 今天，随着IT规模越来越大，数据规模呈几何级数增长，已经超出了传统技术方法所能解决的范畴。为此，人们把目光转向了刚刚兴起的云计算，希望通过云计算来实施海量数据处理解决方案，实现以更小的成本来处理更大规模数据的目标，并成为目前云计算应用所面对的极大挑战。本课程基本思想如下： 1，目前，“云计算”已经不是一个刚刚流行的时髦概念了，在一些传统IT方法显得无能为力的场合，云计算正在开始大展拳脚，表现了强大的解决问题的能力，海量数据存储与处理正是属于这种场合。我们如何在云计算分布式环境下正确设计大数据量数据模型？如何在设计中解决资源、效率、安全性、可靠性等一系列极难平衡的问题？如何通过云计算帮助我们解决在传统IT技术中看似解决不了的敏感问题？这些都是我们在云计算架构设计中需要深入研究的键问题。 2，理解问题最好的方法是分析成功案例，本课程分别从多个角度分析在面对海量数据处理的困难时，不同的应用体系是如何解决问题并获得成功的。研究这些已有的体系不是目的，而是希望学员能够通过学习这些解决问题的方法和思路，通过归纳整理深入理解，再根据自己所面对的领域特征，形成解决具体实际问题的方案。这也是让云计算在海量数据处理领域真正发挥作用的有效途径。 3，云计算是一种服务，在云计算应用架构设计中，就必须考虑作为服务与普通的产品设计有哪些不同？需要考虑的产品的服务特征有哪些？如何搭建面向不同层次、合适的服务平台？在这个过程中，我们需要考虑哪些问题？有哪些成功的案例？有些什么解决方案？ 4，云计算应用最重要的问题是安全问题。安全不是一个后期需要解决的独立问题，而是在前期就需要投入巨大精力来考虑的产品策略。可以说，安全性与可用性是云计算能否顺利实施与应用的关键点，也是云计算架构设计的关键因素。我们应该如何考虑安全问题？如何解决诸如数据安全、网络安全、主机安全、数据管理以及灾难恢复等一系列问题？如何制定合适的安全性与可用性策略？在实践中有什么经验和教训？ 5，为了把传统数据中心改造为基于云计算的服务系统，虚拟化是一个重要手段。我们必须深入研究虚拟化技术是如何实现的。虚拟化技术有哪几个层面的问题？如何正确应用虚拟化技术来实现把基础设施向服务转型？各种虚拟化技术有些什么优点？有哪些陷阱？如何规划技术解决方案？如何正确进行云计算体系结构设计？ 本课程不是一个泛泛的理论性、概念性的介绍课程，而是针对问题讨论解决方案的深入课程。教师对于上述领域有深入的理论研究与实践经验，在课程中将会针对这些问题与学员一起进行研究，在关键点上还会搭建实验环境进行实践研究，以加深对于这些解决方案的理解。通过本课程学习，希望推动国内云计算项目开发上升到一个新水平。 云计算与大数据处理技术 第一讲 云计算的概念与现状 ??1）云计算的概念 ? 2）云计算发展现状 ? 3）云计算实现机制 ? 4）云计算的发展环境 ? 5）云计算的优势 第二讲 从Google云计算体系，理解海量数据处理的方法 ??1）如何构建海量存储文件系统？ ????? GFS系统架构 ????? GFS容错机制 ????? GFS系统管理技术 ????? MapReduce产生背景 ????? MapReduce编程模型 ????? MapReduce实现机制 ????? MapReduce案例分析 ? 2）如何提供锁服务解决分布式数据一致性问题？ ????? Chubby的设计思路 ????? Chubby中的Paxos算法 ????? Chubby文件系统 ? 3）如何建立规模庞大的高性能表结构？ ????? BigTable设计目标 ????? BigTable系统架构 ????? BigTable服务器 ????? BigTable性能优化 ? 4）如何建立高可用性和高可扩展性的数据系统？ ????? Megastore设计目标 ?? ???Megastore数据模型 ????? Megastore事务及并发控制? ????? Megastore基本架构 ????? Dapper监控系统 ????? Dapper关键性技术 ????? Dapper工具 第三讲 从Hadoop云计算项目，进一步研究云数据处理方法 ??1）HDFS：高可靠性处理机制及应用 ????? Hadoop项目简介 ????? HDFS体系结构 ????? HDFS关键运行机制 ????? Hadoop vs Google ????? Hadoop API ????? Hadoop环境搭建 ? 2）HBASE：庞大、极其稀疏的可扩展性数据模型 ????? Hbase简介 ????? HBase的运行机制 ????? HBase与 HDFS ????? HBase的对外接口 ????? ZooKeeper的数据模型 ?????