中原工学院软件学院大数据实验室建设方案-2017.docVIP

中原工学院大数据实验室建设方案 PAGE4 / NUMPAGES17 南京云创大数据科技有限公司 2015-9 PAGE 1 中原工学院大数据实验室 建设方案 目 录 TOC \o 1-3 \h \z \u 1 建设目标 3 2 配置方案 3 2.1 已有资源 3 2.2 扩容资源需求 4 2.3 物理服务器扩容配置 4 2.4 磁盘阵列扩容配置 5 2.5 FC SAN网络扩容配置 6 2.6 IP网络扩容配置 6 2.7 扩容配置清单 7 3 部署方案 8 3.1 系统架构 8 3.2 IP网络部署 9 3.3 Hadoop集群部署 9 3.4 部署计划 10 4 Hadoop教学培训方案 11 4.1 Hadoop教学优势 11 4.2 课程以及考核安排 11 4.2.1 相关教材 11 4.2.2 课程大纲 13 4.2.3 考核安排 16 4.2.4 证书认证 16 建设目标 中原工学院软件学院已经建设了云实验平台，在该平台上实现了编程教学实验、数据库实验以及网盘应用系统；该平台技术上采用服务器虚拟化技术通过云管理平台实现了实验环境的快速部署；虚拟化平台基于磁盘阵列集中存储，采用FC SAN网络架构。 现规划建设一个Hadoop 大数据实验室，使用已经建设好的平台，通过扩展资源池的方式部署，利用现有服务器虚拟化平台虚拟出大量虚拟机用于构建Hadoop 集群，主要用于学生实验以及科研用途。假定建设目标和规模如下： 建设目标：建设成校级实验室，满足学生做大数据实验和教师大数据科研。 建设规模：系统支持100个左右的虚机同时运行，性能满足学生大数据实验需求。 扩展性需求：系统需具备良好扩展能力，可以方便扩展系统容量和性能，以满足更多实验和科研需求。 配置方案 本章节对构建大数据实验室所需要的硬件资源进行配置，从大数据实验资源需求出发来分析构建大数据实验室需要对现有物理服务器、磁盘阵列、FC交换机、IP网络交换机的资源做哪些扩容。 已有资源 云实验平台已经部署了10多台2路物理服务器，通过1台FC交换机与1台磁盘阵列连接；现有物理计算资源可以支撑同时运行200个虚机（1个LCPU、4GB内存、30GB虚拟磁盘），现有磁盘阵列的存储资源主要提供虚机存储空间和网盘存储空间。 扩容资源需求 对资源需求进行估算是虚拟化系统硬件配置的基本依据。在大数据实验室中，资源可分为两大类：一类是运行时系统需要的资源，它决定了系统能支持同时运行多少个虚机，该情形主要关注物理服务器的CPU 资源、内存资源和磁盘阵列的IOPS 资源，磁盘IOPS资源在大数据实验中需求相对较高；另一类是系统可以“存放”多少个虚机，这主要关注磁盘阵列的存储容量。 运行资源 假定虚机规格如下表中所示，该规格满足大数据实验环境下对性能的需求；则200个虚机同时运行，需提供下表中所需资源。 Linux虚机规格 同时运行虚机数量 虚拟资源池大小需求 CPU大小 2个逻辑CPU、2.0GHZ 100 CPU资源 200个逻辑CPU、200GHz 内存大小 4GB 内存大小 400GB 磁盘IOPS 100 磁盘IOPS 10000 当然，对于Hadoop集群中的Master虚机应当配置大些内存，比如8GB。 存储容量 磁盘阵列存储空间由需要多少个虚机和虚机磁盘大小决定，假定虚机磁盘规格如下表所示、需要存放500个虚机，总共需要约210TB的存储空间。 Linux虚机规格 虚机总数 磁盘阵列存储空间需求 磁盘1（系统盘）大小 15GB 500 磁盘空间 107500GB（100TB） 磁盘2（数据盘）大小 200GB 物理服务器扩容配置 作为虚拟化主机的物理服务器，目前可选择的配置主要有2路和4路，综合考虑CPU利用率、网络成本等因素，我们建议选择2路服务器作为虚拟化主机，2路较4路将提供更好的性价比。 首先计算总共需要多少物理的CPU资源和内存资源，计算以上述“运行资源”为基本依据，并考虑物理资源的80%用作运行虚拟机。 虚拟资源池大小 比例 物理资源池大小需求 CPU资源 200个逻辑CPU、200GHz 80% CPU资源 250个逻辑CPU 250GHz 内存资源 400GB 内存资源 500GB 物理服务器规格和所需数量如下表所示。 新增物理资源池大小 物理服务器规格 物理服务器数量 CPU资源 250个逻辑CPU 、250GHz CPU 2路10核、超线程（40个逻辑CPU）、2.