Erasure code在分布式存储系统中的研究.pptVIP

文件合并实现 文件合并实现 达到了： 数据的分布式 冗余存储！ 遇到的问题 文件末补“0”，去“0” 如何操作文件 .txt文件的普及 如何获取对应数据分块所在的数据碎片 内存文件映射技术 Windows的一种内存管理方法 直接对被映射的文件进行访问，而不必执行文件I/O操作，无需对文件内容进行缓冲处理 适合处理大文件 内存文件映射技术 性能分析 性能测试 测试平台为Visual Studio 2008，奔腾2.8G cpu，内存 480M，取当数据块数n=5，校验块数m=3，w=8时： 操作 100K(ms) 500K(ms) 1M(ms) 10M(ms) 50M(ms) 100M(ms) 250M(ms) 分割时间 20 71 153 1540 5341 10000 30325 合并时间 22 82 179 1892 6637 13540 33612 分割时间/文件大小(ms/k) 0.2 0.142 0.149 0.15 0.104 0.098 0.118 合并时间/文件大小(ms/k) 0.22 0.164 0.175 0.185 0.13 0.132 0.131 t分割≈t合并， t合并略大 t分割（t合并）/文件大小微呈减小趋势变化，但比例一定 同样大小不同类型文件分割合并耗时存在一定差别 性能分析 数据可用性分析 例：存储系统中由