Hadoop企业级大数据平台-测试报告.docx

Hadoop企业级大数据平台测试报告目录1.测试目的32.测试环境32.1.硬件环境32.2.软件环境43.测试内容43.1.基本功能43.1.1.HDFS功能验证43.1.2.YARN功能验证63.1.3.扩容测试83.2.性能93.2.1.HDFS性能测试93.2.2.YARN性能测试123.3.高可用163.3.1.HDFS高可用测试163.3.2.YARN高可用测试183.3.3.Kerberos高可用测试21测试目的通过功能、性能、高可用测试，验证Hadoop是否满足在大数据基础架构平台对精细化营销和客流分析应用的需求。测试环境硬件环境硬件位置信息：硬件配置清单：序号设备名称设备数量设备用途说明操作系统设备类型设备配置备注CPU内存硬盘1分布式内存服务节点20部署分布式内存服务Redhat7.0X86机架服务器（华为 RH5885V3）32C512GB6*600GB SAS部署docker、Redis cluster分布式内存数据库、SQLFire分布式内存数据库等服务2分布式协调及资源调度节点3实现分布式协调服务、资源调度服务Redhat6.5虚拟机16C40GB80GB部署zookeeper、yarn等服务硬件配置表：设备类型/型号单台配置数量X86机架式服务器（华为 RH5885V3）单台4路八核E7-4820V2 2.0GHz CPU/512GB 内存/6*600GB SAS 硬盘/4*10GE 光/4*GE 电20软件环境软件名称版本用途Red HatRed Hat Enterprise Linux Server release 7.0服务器操作系统RedisRedis 3.0分布式内存数据库测试内容基本功能HDFS功能验证用例名称创建目录/查询/删除/下载/上传测试目的创建目录/查询/删除/下载/上传预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证。创建文件夹，执行语句：hdfs dfs -mkdir /tmp/mydir查看文件夹，执行语句：hdfs dfs -ls /tmp删除文件夹，执行语句：hdfs dfs -rm -r /tmp/mydir查看文件夹，执行语句：hdfs dfs -ls /tmp上传本地文件(指定本地存在的文件)，执行语句：hdfs dfs -put /tmp/testAccess.txt /tmp/，再执行查看指令检查文件是否存在hdfs dfs -ls /tmp下载文件到本地，执行语句：hdfs dfs -get /tmp/testAccess.txt /opt/删除文件，执行语句：hdfs dfs -rm /tmp/testAccess.txt，再执行查看指令检查文件是否存在hdfs dfs -ls /tmp测试结果通过部分操作需要超级用户hdfs完成。mkdir, ls, rm, put, get 等操作均可执行成功。备注建议: Kerberos‘sexpiretime is bigger then the renewtime.需修改Kerberos配置完成。expiretime = renewtime如不修改，可能在任务执行周期过长（expire time）时导致认证失败，任务执行不成功。测试截图：YARN功能验证用例名称提交/删除/查询Yarn任务测试目的验证支持提交/删除/查询Yarn任务预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证执行hadoop自带的测试程序TestDFSIO，提交一个MR任务hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件个数，Size指文件大小等待任务运行结束，显示执行结果使用TestDFSIO重新提交一个MR任务。使用yarn application -list查看正在运行的TestDFSIO任务的Application ID。使用yarn application–kill Application ID命令，kill正在运行的任务。1、各个操作验证成功。测试结果通过任务执行成功任务停止成功备注测试截图：扩容测试用例名称扩容测试测试目的测试扩容功能预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果打开集群管理页面http://host:8080/，输入用户名密码（默认admin/admin）点击Hosts-Actions-Add New Hosts根据提示输入主