HDFS测试报告.ppt

HDFS性能测试报告 张斌 测试目的 测试HDFS的IO性能，扩展性，并发性 测试fuse_dfs接口的IO性能，并发性 衡量HDFS代替CFS的可行性 HDFS架构 HDFS FUSE（用户空间文件系统）允许非特权用户创建功能完备的文件系统，而不需要重新编译内核。对于读写虚拟文件系统来说，FUSE是个很好的选择。 Fuse-hdfs int (*access) (const char *, int); int (*chmod) (const char *, mode_t); int (*chown) (const char *, uid_t, gid_t); int (*flush) (const char *, struct fuse_file_info *); int (*getattr) (const char *, struct stat *); int (*mkdir) (const char *, mode_t); int (*mknod) (const char *, mode_t, dev_t); int (*unlink) (const char *); int (*truncate) (const char *, off_t); int (*open) (const char *, struct fuse_file_info *); int (*read) (const char *, char *, size_t, off_t, struct fuse_file_info*); int (*write) (const char *, const char *, size_t, off_t, struct fuse_file_info *); 硬件配置 HP-C7000 刀片 CPU： Intel(R) Xeon(R) CPU E5645 @ 2.40GHz（6core * 4） MEM：12GB DISK：SATA 2T 7200 x2 Filesystem Type Size Used Avail Use% Mounted on /dev/sda2 ext4 268G 48G 206G 19% / tmpfs tmpfs 5.9G 88K 5.9G 1% /dev/shm fuse_dfs fuse.fuse_dfs 1.3T 263G 1.0T 21% /mnt/dfs ETHERNET：Broadcom Gigabit Ethernet *4 (Only Used One) 软件配置 OS： Distributor ID: RedHatEnterpriseServer Description: Red Hat Enterprise Linux Server release 6.3 (Santiago) Release: 6.3 Codename: Santiago HADOOP：/hadoop-2.0.0-cdh4.0.1 FUSE：fuser (PSmisc) 22.6 JDK： 1.6.0_24 测试环境 datanode个数：1,2,3 测试文件大小：1G,2G,4G,8G,16G,32G,64G 读并发数:1,2,4,8,16,32,64 写并发数:1,2,4,8,16,32,64 客户端数:1,2,3 fuse_dfs挂载点数:1,2 测试可量度‘ hdfs_test (c)：测试命令的执行和测试结果的采集 ---job total status--- job begin=15:29:06 end=15:30:21 elapsed=75.00(S) ---task detail status--- pid=23690 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23691 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23694 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23696 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23698 begin=15:29:06 end=15:30:21 elapsed=75.00(S) pid=23700 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23702 begin=15:29:06 end=15:30:21 elapsed=75.00(S)