NAS海量文件存储数据异地容灾方案.pdfVIP

NAS 海量文件存储数据异地容灾方案 1 数据存储是门大学问， 比如用户的关键业务数据存储， 通常是在大型数据库的基础上进行存储与 管理，其相应的数据存储形式主要是数据块 (Block) ，中小型数据库则可能会采用文件形式 (file) 。 但是作为办公自动化 OA 、卷宗类海量内部文档管理、多集群前端业务平台、互联网业务平台、 财务系统、工资系统等需要文件级 (file) 的集中存储与共享时，则有更专业的需求： 一是充分利用现有的网络资源 ; 二是提供强劲的存储容量的扩展 ; 三是多台服务器对海量文件级的数据读写 ; 四是降低存储资源开销及整体拥有的成本。 如何解决上述文件级 (file) 数据集中存储与共享的用户需求， NAS 网络共享存储给出了漂亮的解 决方案，并且顺利解决企业用户海量数据文件 (file) 与数据块 (Block) 两种形式并存的难题。 因此，很 多像互联网这样对外提供服务的多集群前端互联网业务平台，以及公检法拥有海量卷宗文件的用户， 会欣然接受 NAS 存储架构作为文件的存储形式。 2 比如用户有基于互联网业务的平台，用户的基数非常大，因此前端就要做负载均衡和多集群业 务。 在这样背景下，如何解决海量非结构化数据在多台节点中保持数据的一致性，困难相当大。 那么用户大多使用的方案是多个前端业务的集群，共享同一个 NAS 存储的目录，它们拥有共同 写与读的机制，确保不会写冲突。这样的读写机制确保了文件的唯一性，这个方案可以快捷扩展前端 集群节点的数量，以增加用户对实际的访问量的需求。 NAS 存储架构下的数据容灾难题 从数据安全管理角度来看，从 NAS 上复制文件是一件让人头痛的事情。如果使用 NAS 厂商的 相关复制功能， 那么就必须有一套相同的 NAS 系统复制。 而现有的 NAS 系统只能在文件管理系统层 3 次进行复制。这决定了要么就全部复制，要么就什么都不复制。但是在实际环境中，用户更希望针对 特定文件进行相应的管理。比如，对相关的文件进行实时的备份，但是因为前端业务集群服务器主机 可能会同时读写同一个 NAS 文件夹中的数据，造成无法实现数据的实时保护。 另外，海量小文件，例如 2000 万数据量，如何确保复制数据在主备两端的一致性 ?传统的灾备 方式， 在第一次全镜像的同时， 如何确保镜像过程中增量部分的同步 ?这些都是困扰整个 NAS 架构下 海量小文件进行数据容灾的难题。 基于 NAS 的定时同步方案 从下面定时同步方案的拓扑图来看，它是在基于 NAS 存储集群架构拓扑图上增加了一个备份节 点。数据复制的流程首先是将业务端的 NFS 共享存储目录挂载至灾备机，提供只读机制，其次，通 过英方控制台，下发定时复制的策略，通过英方将灾备机上的生产目录数据复制至灾备目录里，进行 一致性比对或执行复制规则，定时或手动执行。 4 该方案的优点是对源端的业务架构没有任何的改变，它只是把目录映射到灾备服务器上，灾备服务器同时挂载 一个映射的只读目录，另外还有一个存储数据的灾备目录。它要做的就是把生产数据产生变化的目录的数据进 行定时的比对，并且将缺少的文件同步到备端的存储上去。 由于该方案需