Hadoop的HDFS云存储系统测试报告.ppt

下载文档 降价啦

5
0
约1.06万字
约 29页
2019-04-24 发布于江西
举报
版权申诉
保障服务

Hadoop的HDFS云存储系统测试报告.ppt

1、本文档共29页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。

HDFS测试报告 Alidw-2011?? ?? 目的测试HDFS的IO性能，扩展性，并发性测试fuse_dfs接口的IO性能，并发性衡量HDFS代替MFS的可行性 HDFS相关知识 FUSE相关知识 FUSE（用户空间文件系统）允许非特权用户创建功能完备的文件系统，而不需要重新编译内核。对于读写虚拟文件系统来说，FUSE是个很好的选择。 int (*access) (const char *, int); int (*chmod) (const char *, mode_t); int (*chown) (const char *, uid_t, gid_t); int (*flush) (const char *, struct fuse_file_info *); int (*getattr) (const char *, struct stat *); int (*mkdir) (const char *, mode_t); int (*mknod) (const char *, mode_t, dev_t); int (*unlink) (const char *); int (*truncate) (const char *, off_t); int (*open) (const char *, struct fuse_file_info *); int (*read) (const char *, char *, size_t, off_t, struct fuse_file_info *); int (*write) (const char *, const char *, size_t, off_t, struct fuse_file_info *); HDFS配置硬件配置 DELL PowerEdge R510 CPU：Intel(R) Xeon(R) CPU E5506 @ 2.13GHz (4 CORE) x2 MEM：12GB DISK：SATA 2T 7200 x12 ETHERNET：Broadcom Corporation NetXtreme II BCM5716 Gigabit Ethernet 软件配置 OS：Red Hat Enterprise Linux 2.6.18-164.el5 HADOOP：hadoop-0.20.2 FUSE：fuse-2.8.4 JDK： 1.6.0_23 测试度量 datanode个数：1,2,3 测试文件大小：1G,2G,4G,8G,16G,32G,64G 读并发数:1,2,4,8,16,32,64 写并发数:1,2,4,8,16,32,64 客户端数:1,2,3 fuse_dfs挂载点数:1,2 测试工具 hdfs_test (c)：测试命令的执行和测试结果的采集 ---job total status--- job begin=15:29:06 end=15:30:21 elapsed=75.00(S) ---task detail status--- pid=23690 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23691 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23694 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23696 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23698 begin=15:29:06 end=15:30:21 elapsed=75.00(S) pid=23700 begin=15:29:06 end=15:30:20 elapsed=74.00(S) pid=23702 begin=15:29:06 end=15:30:21 elapsed=75.00(S) pid=23704 begin=15:29:06 end=15:30:20 elapsed=74.00(S) ---task total status--- pnum=8 elapsed=594.00(S) 测试命令 hdfsclient写 dd if=/dev/zero bs=4096 count=%d | hadoop fs -put - %s/%s-%d.dat hdfsclient读 hadoop fs -get %s/f%03d.dat - /dev/null fuse写 dd if=/dev/zero bs=4096 count=%d of=%s/%s-%d.dat