云平台实践任务书.docVIP

《云平台实践》实验任务书 课程安排 使学生通过48学时的课程实践过程，了解云计算虚拟化概念，大数据存储和处理以及几种主要的云计算应用平台——Google的云计算平台和Amazon的AWS。 本课程学习结束后，学生应能自行用vmware workstation和KVM配置安装虚拟机，能进行Hadoop HDFS分布式文件系统的安装、配置和管理，利用MapReduce思想进行海量数据的处理。学会使用云计算的仿真工具CloudSim，在中CloudSim模拟器中创建数据中心，主机，虚拟机，任务等。应用调度算法进行虚拟机分配等。 注：本实验任务书包含三部分内容（虚拟化部分，大数据部分，云计算模拟部分），每部分16学时。共48学时内容， 32学时课程可选做其中两部分内容。 基本要求 虚拟化部分： 掌握利用vmware workstation安装虚拟机； 掌握虚拟机实现上网的三种模式：桥接模式，host-only模式，NAT模式； 为虚拟机配置双网卡不同网段的IP地址 掌握用KVM建立虚拟磁盘并在虚拟磁盘上安装虚拟机。 大数据部分 掌握Hadoop HDFS的伪分布模式和完全分布模式的安装、配置与管理 掌握Hadoop提交作业以及查询作业运行情况 理解Map-Reduce原理，能书写Map-Reduce程序 理解HDFS原理，能熟练地对HDFS中的文件进行管理 掌握Hbase的安装和配置 掌握Hbase的原理并能进行简单的shell操作 云计算模拟部分 （1）掌握云计算的基本概念和相关技术 （2）掌握主要的云计算应用平台，如Google的云计算平台和Amazon的AWS等 （3）掌握云计算平台的通用体系结构，以及其中的技术原理 （4）掌握云计算的仿真工具CloudSim的架构，原理以及安装配置。 （5）在仿真工具CloudSim上设计调度算法，并评估模拟结果。 三、任务要求及学时 1．安排： 工作进程 内容 课时 备注 技术手段讲解与下达任务书 2 指导教师将自己联系方式QQ、电子邮箱等告知学生以便答疑。 虚拟化部分主要任务： 掌握利用vmware workstation安装虚拟机； 掌握虚拟机实现上网的三种模式：桥接模式，host-only模式，NAT模式； 为虚拟机配置双网卡不同网段的IP地址； 掌握用KVM建立虚拟磁盘并在虚拟磁盘上安装虚拟机。 6学时 大数据部分主要任务及步骤： Hadoop伪分布模式安装和运行， 伪分布式模式的安装和配置步骤 下载并解压Hadoop安装包（建议选用了1.0.0版本 ） 进入Hadoop的解压目录，编辑conf/hadoop-env.sh文件（注意不同版的配置文件的位置有所不同） 编辑conf目录下core-site.xml、hdfs-site.xml和mapred-site.xml三个核心配置文件 配置ssh，生成密钥，使到ssh可以免密码连接localhost 格式化HDFS 使用bin/start-all.sh启动Hadoop 使用bin/stop-all.sh关闭Hadoop 创建两个简单的文本文件，运行Hadoop系统自带的单词计数程序wordcount程序，进行文本文件中不同单词出现次数的统计。 熟悉主要的HDFS文件操作命令： 列出HDFS下的文件 上传文件到HDFS 将HDFS的文件复制到本地 删除HDFS下的文档 查看HDFS下某个文件的内容 查看HDFS基本统计信息 进入和退出安全模式 8学时 Hadoop完全分布式安装和运行 配置hosts文件 建立hadoop运行账号 配置ssh免密码连入 下载并解压hadoop安装包 配置namenode，修改site文件 配置hadoop-env.sh 配置masters和slaves文件 向各节点复制hadoop 格式化namenode 启动hadoop 用jps检验各后台进程 4学时 Hadoop API开发MapReduce程序 Hadoop Eclipse环境安装 :把Hadoop安装目录下的contrib/eclipse-plugin 文件复制到eclipse安装目录的plugins目录下 采用MapReduce编程思想，编写一个数据筛选程序：对一个路由日志文件，提取出MAC地址和时间，删去其它内容。 采用MapReduce编程思想，编写一个倒排索引程序：有一批电话通信清单，记录了用户A拨打用户B的记录，编写程序实现一个倒排索引，记录拨打给用户B的所有用户A。 8学时 完全分布模式Hbase安装和配置 下载并解压Hbase安装包 修改conf/hbase-env.sh文件，设置环境变量 编辑hbase-site.xml进行配置 编辑regionservers文件 复制Hb