对象存储的非结构化数据迁移实践.docx

? ? ? ? ? ? ? 对象存储的非结构化数据迁移实践 如何由传统存储在线、可靠、有效率地迁移至对象存储？ ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?  非结构化数据如何由传统存储在线、可靠、有效率地迁移至对象存储？ @zzy3620 北部湾银行 系统环境管理： 这部分的数据迁移，除了存储层面提供支持外，最关键的是需要应用提供支持，应用对于nas文件的访问方式和对象存储的访问方式是完全不同的，因此，需要在应用层面进行新的文件存取路径的关系映射，保证应用可用性才是最终目的。 @Seaskyblue NetApp 售前技术支持： 好问题。这个问题的本质是需要变更存储访问协议。我的建议如下： 1、自己做。可以考虑Rclone这个开源工具。 2、花钱做。请厂商服务工程师或专业合作伙伴工程师来做。这是最佳选项，不过还要由钱来说话。 3、并存。老数据保持现有存储和访问方式，新数据直接写入对象存储。这个就要看业务部门是否同意了。 @melody2004 某城商行 系统架构师： 说的太全面了，基本上就是这三种思路。特别提醒一点的是自己做一定要注意“索引”问题，涉及到迁移后系统访问成功与否。找厂商做之前一定要把服务谈好，约定好迁移数据的细节问题。请应用开发配合肯定很重要，还有域名设计等问题需要关注一下。 @flowery SandStone杉岩数据 存储解决方案架构师： 这个需求比较普遍，所以现在对象存储也提供 NAS 异构的功能，可以把 NAS 中的数据在线迁移到对象存储，在配置 NAS 异构功能时，需要将原有的 NAS 卷挂载到对象存储网关节点，在纳管 NAS 的过程中，对象存储会读取 NAS 中文件的元数据信息，并将其转换为对象存储中的对象属性信息，同时将源文件与桶空间进行映射。 @zhangjunxi570 xjtu 系统分析师： 推荐文件和对象并存的方案。很多厂商的开发是在是在原来软件使用文件系统的文件系统的基础上改造的，因此兼容文件方案。并行方案的好处是迁移迁移工作可以后台进行，在数据库里定义相应的字段标志数据的位置是在目录里还是在对象存储里存储里，这样投产操作很简单，新的数据直接写到了对象里，查询原来的数据继续继续访问目录，后台逐渐迁移，特别是特别是考虑原数据体量庞大情况，等待完全迁移再投产时间不太能接受。 @seposal GUOSEN 系统工程师： 没做过传统存储到对象存储的迁移，但做过私有对象存储接口到S3接口的对象存储迁移。 如果希望在线、可靠、有效的迁移，这就是一个系统工程，需要以项目思维并站在业务方角度思考并设计迁移规划方案。 我们的迁移实现了对应用层透明，涉及数十个业务系统，前后总共迁移耗时接近5个月，包括后续的数据抽验核查工作。这里面涉及大量的项目管理技巧使用、大量的沟通，比较耗费精力。 想要在线、可靠、有效的迁移 ，我们曾经是开发了一个应用，支持应用请求重定向，即实现读写分离，并通过独立线程实现异步数据迁移，保障老数据能读的到、新数据读写都在新的存储资源。随着迁移完成，老数据全部迁移完毕，旁路工具移除，实现对应用透明的架构调整。 但前提是你有人懂业务调用模式，熟悉对象存储产品，具备开发能力。 @wangguoming 戴尔 ASE： 严重同意其他的几个回答，主要需要应用层面对不同存储的访问方式提供支持，包括对数据的完整、可用性做校验。 单纯从存储级别来说，可以提供多种工具来做这种数据迁移。 ? ?