Redis企业级大数据平台测试报告.docx

Redis企业级大数据平台测试报告目录1.测试目的32.测试环境32.1.硬件环境32.2.软件环境43.测试内容43.1.基本功能43.1.1.HDFS功能验证43.1.2.YARN功能验证53.1.3.扩容测试63.2.性能73.2.1.HDFS性能测试73.2.2.YARN性能测试83.3.高可用83.3.1.HDFS高可用测试83.3.2.YARN高可用测试93.3.3.Kerberos高可用测试10测试目的通过功能、性能、高可用测试，验证Redis是否满足在大数据基础架构平台对精细化营销和客流分析应用的需求。测试环境硬件环境硬件位置信息：硬件配置清单：序号设备名称设备数量设备用途说明操作系统设备类型设备配置备注CPU内存硬盘1分布式内存服务节点20部署分布式内存服务Redhat7.0X86机架服务器（华为 RH5885V3）32C512GB6*600GB SAS部署docker、Redis cluster分布式内存数据库、SQLFire分布式内存数据库等服务2分布式协调及资源调度节点3实现分布式协调服务、资源调度服务Redhat6.5虚拟机16C40GB80GB部署zookeeper、yarn等服务硬件配置表：设备类型/型号单台配置数量X86机架式服务器（华为 RH5885V3）单台4路八核E7-4820V2 2.0GHz CPU/512GB 内存/6*600GB SAS 硬盘/4*10GE 光/4*GE 电20软件环境软件名称版本用途Red HatRed Hat Enterprise Linux Server release 7.0服务器操作系统RedisRedis 3.0分布式内存数据库测试内容基本功能HDFS功能验证用例名称创建目录/查询/删除/下载/上传测试目的创建目录/查询/删除/下载/上传预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证。创建文件夹，执行语句：hdfs dfs -mkdir /tmp/mydir查看文件夹，执行语句：hdfs dfs -ls /tmp删除文件夹，执行语句：hdfs dfs -rm -r /tmp/mydir查看文件夹，执行语句：hdfs dfs -ls /tmp上传本地文件(指定本地存在的文件)，执行语句：hdfs dfs -put /tmp/testAccess.txt /tmp/，再执行查看指令检查文件是否存在hdfs dfs -ls /tmp下载文件到本地，执行语句：hdfs dfs -get /tmp/testAccess.txt /opt/删除文件，执行语句：hdfs dfs -rm /tmp/testAccess.txt，再执行查看指令检查文件是否存在hdfs dfs -ls /tmp验证添加节点，数据是否自动平衡1、各个操作验证成功。测试结果备注YARN功能验证用例名称提交/删除/查询Yarn任务测试目的验证支持提交/删除/查询Yarn任务预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证执行hadoop自带的测试程序TestDFSIO，提交一个MR任务hadoop jar /usr/hdp/current/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles N -fileSize Size其中N指文件个数，Size指文件大小等待任务运行结束，显示执行结果使用TestDFSIO重新提交一个MR任务。使用yarn application -list查看正在运行的TestDFSIO任务的Application ID。使用yarn application–kill Application ID命令，kill正在运行的任务。1、各个操作验证成功。测试结果备注扩容测试用例名称扩容测试测试目的测试扩容功能预置条件1）系统运行正常2）系统中存在运行状态的主机测试过程预期结果打开集群管理页面http://host:8080/，输入用户名密码（默认admin/admin）点击Hosts-Actions-Add New Hosts根据提示输入主机名、选择主机在安装HDFS、YARN组件等确认后，等待集群后台扩容。1、集群扩容成功。测试结果备注性能HDFS性能测试用例名称HDFS读写性能测试测试目的使用hadoop提供的TestDFSIO工具，对集群进行写性能测试预置条件系统运行正常系统中存在运行状态的主机测试过程预期结果执行kinit test输入密码，完成用户认证。进行hdfs写性能测试hadoop jar /usr/hd