大数据虚拟化系统实施与管理.docVIP

大数据虚拟化系统实施与管理 　　摘 要由于大数据的数据信息量大、数据内容多，大部分计算机在处理的时候没有发挥出全部效力，利用虚拟化技术能够有效地整合数据，满足数据的集中需求，提高计算机处理数据的效率。本文针对数据虚拟化技术进行研究，在此基础上设计一种虚拟化的结构，针对数据虚拟化存在的问题进行了分析，并探讨了数据虚拟化的未来发展。 　　【关键词】大数据 虚拟化 数据集成 　　1 数据虚拟化的介绍 　　虚拟化就是将原来运行在真实环境上的计算机系统运行在虚拟的环境中。通过虚拟化可以用与访问抽象前资源一致的方法访问抽象后的资源。这种资源的抽象方法并不受实现、地理位置或底层资源的物理配置的限制。近年来随着技术的发展，目前虚拟化技术已经深入到各行各业，逐步被企业所接受，成为大数据处理的关键技术之一，这种技术能够将设计的程序应用到不同的层次，以不同的形式展示给用户，使用者、设计人员、维护人员都能够根据自己的需要使用这个系统，管理系统的程序。虚拟化包括了软件虚拟化和硬件虚拟化。 　　2.1 硬件虚拟化 　　软件虚拟化包括应用层虚拟化、业务逻辑层虚拟化、数据层虚拟化。 　　2.1.1 应用层虚拟化 　　在用户使用应用软件的时候，不用挂载操作系统，直接将软件压缩放在可执行文件夹中运行，不需要使用驱动设备或者文件系统与用户对接，能够减少应用程序带来的风险。 　　2.1.2 业务逻辑层虚拟化 　　在用户发送数据请求后，虚拟化系统根据请求的内容给出执行的方案和流程，然后在确定了数据访问方式之后对整个流程进行优化，提高数据处理的效果。 　　2.1.3 数据层虚拟化 　　数据层需要进行数据视图或者虚拟表的定义，并对访问的用户进行认证和授权，在得到数据访问的请求后，将虚拟化后的数据发送给用户。 　　2.2 软件虚拟化 　　硬件虚拟化包括存储虚拟化、网络虚拟化、服务器虚拟化。 　　（1）存储虚拟化是针对服务器文件的操作进行虚拟化的技术，通过对文件进行复制和快速扫描的方式能够提高数据文件的处理效率； 　　（2）网络虚拟化。对于局域网内的公司用户，可以将网络进行划分，利用虚拟局域网和专用网络的方式减少区域的用户数量，提高网络访问效率； 　　（3）服务器虚拟化。将服务器的物理资源进行转化，转化成为多台逻辑资源，这样系统的运行就不再局限于服务器的硬件设施，可以提高系统资源的利用率，简化目前的管理系统。 　　3 大数据的虚拟化系统应用研究 　　目前的数据中心是虚拟化使用较多的地方，由于经常大规模处理数据，所以对于数据中心而言必须搭建虚拟化的应用系统。应用系统实施以后需要进行管理工作，才能保证虚拟化系统中运行的大数据处于正常状态。 　　3.1 大数据的虚拟化系统实施 　　企业可以按照大数据的虚拟化结构搭建网络图，搭建完成以后需要安装虚拟群集管理软件VMware，该软件属于虚拟化常用的软件，能够帮助系统进行虚拟化的设置，设置完成以后可以使得服务器具有虚拟化的高级功能，通过进一步安装虚拟化软件VMware ES-XI，同时对网络和设备进行配置，然后设置数据中心，将数据服务器连接到数据中心，对所有的虚拟服务器进行统一的管理。在管理的过程中可以将部分占用资源小且独立使用一台服务器的应用进行迁移，迁移到一个服务器中，并给予单独的存储环境。 　　3.2 大数据的虚拟化系统管理与分析 　　在企业实施了大数据的虚拟化环境搭建后，需要对系统进行管理，管理主要包括以下几个方面： 　　3.2.1 系统的转移 　　在实际运行过程中会占用多台服务器，一台服务器出现故障以后，在该设备运行的虚拟服务器就迅速将数据转移到其他的服务器中，避免了数据的丢失。 　　3.2.2 数据的转换 　　虚拟机由于经常处理大规模的数据，负荷较大，需要随时对数据进行转换，转换的目的是提高服务器的工作效率，可以将物理服务器转换为虚拟服务器，也可以将虚拟服务器转换为虚拟服务器，由于虚拟机工作的连续性，即使在转换的过程中，虚拟机也可以正常运行和工作。 　　3.2.3 系统的调试 　　针对大数据的虚拟化系统需要定期的完善和升级，因此可以采用快照技术，当虚拟化系统在处理数据的时候，对这个状态进行快照处理，将这个状态的数据保存下来，在升级和维护以后重新将状态维护。 　　3.2.4 大数据的保存 　　大数据的数据量非常大，可以利用虚拟化系统建立一个系统还原点，在系统出现故障导致不能运行的时候，将系统恢复到还原点，此时运行的状态和数据都能够得到恢复。 　　4 大数据的虚拟化特点 　　4.1 大数据的虚拟化优点 　　大数据的虚拟化实施以后，对于企业来说具有许多优点： 　　（1）通过虚拟化可以提升服务器的利用效率，整理服务器的资源，使得系统能够达到最高的效率。 　　（2