大数据处理培训.pdfVIP

基于集群的大规模数据处理 专业实践暑期课程 清华大学计算机科学与技术系 2010年11月 暑期课程概述 • 清华大学计算机系在本科生大三结束之后的暑假， 为了提高学生的实践能力，特别设置专业实践暑 期课程 。 • 专业实践提供了学生设计和实现比较大的系统的 机会机会，，实践老师将进行实际训练的指导实践老师将进行实际训练的指导，，使得学使得学 生能够尽快入门 。 • 专业实践需要应用到比较复杂的软件与硬件技术， 用以解决特定的问题，而不是单项知识点的教学。 基于集群的大规模数据处理 • 2007年开始开设课程，教材和资料由谷歌google 提供，是全球第二个开展相关课程的学校 • 相关资料可在网上查询获得 /edu/parallel/index.html •• 55个星期的专业实践课个星期的专业实践课，，全部时间用于做实验与项全部时间用于做实验与项 目，没有其它课程 • 课程组织包括5次讲课，3个实验以及一个大项目 • 先修课程为：网络原理，操作系统，以及Java 编 程语言 教学目标 • 对分布式系统中的一些基本概念进行介绍，讨论 在进行分布式系统设计中会涉及到的实际问题 。 • 针对真正的分布式系统的例子，例如google 的分 布式系统展开详细地讨论，使得学生能够获得初 步的分布式系统的设计概念步的分布式系统的设计概念 。。 • 另外，在课程设计中，会有很强的实践环节，学 生将会通过对真正的分布式系统进行编程获得实 践经验。 课程的组织 • 5 次讲课的内容 • 课程相关论文的阅读 – 论文讨论，提交作业 • 3 个课程相关的实验 •• 最后的大项目最后的大项目 （（Final ProjectFinal Project）） – 提交计划 – 中期报告 ，项目结题报告 – 项目最后检查汇报 学生需要提交的内容 • 作业 （论文读后感，思考题等）（占总成绩20% ） • 3个实验报告 （占总成绩30% ） • 大项目相关 （占总成绩50% ） – 大项目的建议书 –– 大项目结题报告大项目结题报告 – 大项目展示口头报告 课程内容与实验 描述描述 描述描述 课程 1 网络与分布式系统简介 课程 2 Map/Reduce的理论与实现 课程 3 分布式文件系统与Google文件系统 课程 4 分布式图算法与PageRank 课程 5 MapReduce在聚类中的应用 实验0 Hadoop 环境的配置 实验1 简单的倒排表实验 实验2 PageRank实验 实验3 MapReduce在聚类上的实验 课程 1: 网络与分布式系统简介 • 典型的分布式系统的介绍 • 并行编程的概念，并行化以及同步 • 复习网络的基本概念 • 远过程调用(RPC) •• 事物处理系统事物处理系统 课程 2: Map/Reduce的理论与实现 • MapReduce 概述 • 编程模型 – WordCount • 讨论MapReduce实现的体系结构，执行流程，扩 展性展性，，可靠性问题可靠性问题 课程 3: 分布式文件系统与Google文件系统 • 文件系统概述 • 现有的分布式文件系统举例 – NFS AFS (Andrew File System) • Google 文件系统 –– 体系结构体系