某银行生产环境基于浪潮K1 Power私有云跨机房搬迁实践.doc

? ? ? ? ? ? ? ? 某银行生产环境基于浪潮K1 Power私有云跨机房搬迁实践 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 【摘要】 某银行基于小型机的私有云自建设以来，已在生产环境为上线业务系统持续提供PowerVM资源支撑，当前生产环境PowerVM虚拟机的规模已近千台。本文从基于浪潮K1 Power小型机私有云的项目背景及技术方案选型、应用架构设计、及实践经验等方面进行展开，分享了基于VIOS+HMC模式管理，LPM日常维护，小型机资源池跨机房搬迁，PowerHA高可用方案，基于PowerVCREST API自动化等方面的实践经验。 一、项目建设背景 根据银监会十三五规划指导意见要求，为适应互联网环境下计算资源弹性变化和快速部署等需求，开展云计算架构规划，制定云计算应用策略。探索构建私有云平台，采用成熟度高、开放性强的计算虚拟化、容器虚拟化、分布式存储、网络虚拟化等技术，建立资源池，形成资源弹性供给、灵活调度和动态计量的私有云平台。我行考虑到业务发展，业务系统上线量持续增多，以前传统的服务器部署模式，已无法适应业务的发展需求，同时考虑到缩减人力投入成本、设备投入成本等因素，我行决定推进小型机资源池建设。 二、银行选择应用PowerVC技术方案的考量分析 我行推进生产资源池建设以来，上线系统中半数应用基于AIX的操作系统开发，小型机的比重与PC服务器的比重基本对半开。而且考虑到浪潮K1 Power小型机稳定性高，因此我行的重要信息系统基本部署在浪潮K1 Power小型机上。过去很多部署在AIX平台下的应用系统采用小型机全分区的部署模式，采用中低端的设备，这就导致了设备采购数量大，消耗大量的机房空间、电力，资源整体使用率比较低，装机工作量大等问题凸显。为了灵活适应业务需求，缩短上线周期，我行决定推进小型机私有云建设，搭建PowerVC平台。 相比传统的物理机部署，基于PowerVC平台小型机私有云，极大降低了物理资源池设备数量，显著减轻机房空间、电力压力，降低成本，节能减排，显著缩短了装机时间，为实现标准化、规范化、自动化打下基础。 三、银行PowerVC技术应用架构设计 我行小型机私有云采用基于VIOS+HMC模式管理PowerVM系统的部署模式，小型机私有云的设计中很重要的特点就是高可用的冗余设计，每台宿主机的双VIOS设计，每个VIOS双网卡、双光纤链路配置。VIOS本身的操作系统盘rootvg也是做mirror，做双份拷贝。另外每台宿主机由两台HMC进行纳管，两台HMC一主一备。由于PowerVC的指令需通过HMC进行下发，因此双HMC的设计，也可保证PowerVC调度的高可用。在存储层，根据我行已有资源池的特点，PowerVC对存储的接管主要分为两种方式。一种是通过SVC接管底层存储，底层存储两两之间互为拷贝，实现存储的高可用。另外一种接管方式则是通过provider接管VMAX的高端存储，高可用性则由VMAX高端存储自身的高可用性做保证。 虚拟机高可用 多台服务器构建资源池? 双VIOS/IO通道冗余/数据镜像 rootvg实现数据镜像 datavg 做SRDF远程复制 PowerHA 双机高可用 DRO 动态资源优化 IP地址自动分配 管理平台高可用 HMC： 双HMC冗余及网络通道冗余 双FSP实现FSPfailover PowerVC： 日常数据备份和恢复机制 基于Vmware 虚拟化部署 四、银行Power私有云的实践经验及应用效果分享? （1） PowerVC平台中HMC管理设备带来的一些限制 我行的小型机云平台基于VIOS+HMC模式管理PowerVM系统，一台物理机有两台HMC管理，其中一个HMC为主，一个HMC为备的管理模式。当HMC纳管的设备超过20台时，HMC的内存及CPU消耗较大，因此根据官方推荐及实践经验，在基于VIOS+HMC模式管理PowerVM系统情况下，建议纳管的宿主机设备数量建议不超过20台。另外本身8.8.6版本及以上版本提供了可以开启宿主机性能收集的功能，HMC的性能消耗也会更大，因此要注意HMC纳管设备的数量。在纳管近30台设备的情况下，多次出现HMC系统夯住的情况，比如在资源池迁移的时候，PowerVC上已提示虚拟机已迁走，但HMC上仍显示分区迁移中的假象。这种时候，往往只能通过重启解决。我行的小型机资源池宿主机的规模近百台的情况下，通过搭建多个PowerVC的方式，一个PowerVC管理两台HMC的方式进行宿主机的管理，进而解决单台HMC纳管宿主机的数量上限的问题。我行当前在三个机房搭建了小型机资源池，由于网络部署区域及机房物理上的隔离考虑，不同机房的宿主机由不同的PowerVC进行管理。网络部署区域的隔离则通