虚拟化云计算实验报告.docVIP

虚拟化与云计算 实 验 报 告 目录 一、实验目的 1 二、实验内容 1 三、实验原理 1 四、实验步骤及实验结果 5 五、实验遇到的问题及其解决方法 9 六、实验结论 10 一、实验目的 实验一: 1.掌握在Linux上配置iSCSI target服务的方法。 2.掌握在不同的操作系统平台上使用iSCSI initiator的方法。 实验三： 1.掌握在的方法。掌握 二、实验内容 实验一: 配置和使用SAN存储，设置连接IP SAN设备； 实验三: 安装、部署、使用Hadoop-HDFS和配置运行MapReduce程序，使用MapReduce编程。 三、实验原理 实验一: SAN(Storage Area Network，存储局域网络)的诞生，使存储空间得到更加充分的利用以及管理更加有效。SAN是一种将存储设备、连接设备和接口集成在一个高速网络中的技术。SAN本身就是一个存储网络，承担了数据存储任务，SAN网络与LAN业务网络相隔离，存储数据流不会占用业务网络带宽。在SAN网络中，所有的数据传输在高速、高带宽的网络中进行，SAN存储实现的是直接对物理硬件的块级存储访问，提高了存储的性能和升级能力。早期的SAN采用的是光纤通道(FC，Fiber Channel)技术，所以，以前的SAN多指采用光纤通道的存储局域网络，到了iSCSI协议出现以后，为了区分，业界就把SAN分为FC SAN和IP SAN。 iSCSI(互联网小型计算机系统接口)是一种在TCP/IP上进行数据块传输的标准。它是由Cisco和IBM两家发起的，并且得到了各大存储厂商的大力支持。iSCSI可以实现在IP网络上运行SCSI协议，使其能够在诸如高速千兆以太网上进行快速的数据存取备份操作。iSCSI标准在2003年2月11日由IETF(互联网工程任务组)认证通过。iSCSI继承了两大传统技术：SCSI和TCP/IP协议。这为iSCSI的发展奠定了坚实的基础。基于iSCSI的存储系统只需要不多的投资便可实现SAN存储功能，甚至直接利用现有的TCP/IP网络。相对于以往的网络存储技术，它解决了开放性、容量、传输速度、兼容性、安全性等问题，其优越的性能使其备受关注与青睐。 在实际工作时，是将SCSI命令和数据封装到TCP/IP包中，然后通过IP网络进行传输，具体的工作流程如下： iSCSI系统由SCSI适配器发送一个SCSI命令； 命令封装到TCP/IP包中并送入到以太网络； 接收方从TCP/IP包中抽取SCSI命令并执行相关操作； 把返回的SCSI命令和数据封装到TCP/IP包中，将它们发回到发送方； 系统提取出数据或命令，并把它们传回SCSI子系统。 实验三: 1.HDFS指的是Hadoop分布式文件系统，是根据Google的GFS的论文，由Doug Cutting使用Java开发的开源项目。HDFS本身是Hadoop项目的一部分，为Hadoop提供了底层的数据存储，以供上层的各种实际应用使用（如Map/Reduce）。HDFS是典型的Master/Slave集群架构，由一个NameNode和多个DataNode组成，NameNode只能是一个，扮演着Master的角色，负责对具体存储块的元数据进行保存，如某个存储块具体保存在哪个DataNode上；DataNode可以为多个，扮演着Slave的角色，负责对具体的存储块进行保存，一个相同的存储块根据配置可以保存到多个DataNode上，以保持数据的高可用性。客户端与HDFS交互时，典型的，会先询问NameNode具体的存储块在哪个DataNode上，然后客户端会直接联系相应的DataNode，来获取或写入数据。各个DataNode会定时发送心跳至NameNode，以便NameNode了解DataNode的可用状态及存储状态，这样可以保证某一个DataNode挂掉，NameNode可以做相应处理，以保证数据的高可用性。 HDFS的目标就是使用大量的廉价PC机，来维护海量的大数据块，并且保证数据的高可用性，并且HDFS集群会随着更多PC机的加入，而提高数据的存储量（当然这与具体环境的硬盘相关）与吞吐量（当然这与具体环境的网卡带宽相关），单个Hadoop集群一般最大可达2000个节点。 2. MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念Map（映射）和Reduce（化简），和他们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。他极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（化简）函数，用来保证所有映射的键值对