H3C新华三第五期 DataEngine 容灾备份能力-5W101.pdf

大数据平台探索之旅 第五期：DataEngine容灾备份能力 集群或 主人，客户的数据很重要， 嗨呀，大数据组件自身 咱们备份一下吧！ 有副本机制保证可靠性， 不用操心，洗洗睡吧~ 虽然大数据组件有副本机制，但 开源平台也没有异地容灾 啊啊啊啊啊！！我的数 是难免因自然灾害等，存在数据 备份的能力。记得使用 据！我的机器！ 丢失的可能性啊…… DataEngine容灾备份功 能及时备份哦~ 容灾同步 备份：在集群内，将其全部或者部分数据集合从应 容灾：在相隔较远的异地，建立两套以上相同的系统， 用主机的硬盘或阵列，复制到集群内其它存储介质的 互相之间可以进行监视健康状态和功能切换。当一处 过程。 系统因意外停止工作时，整个应用系统切换到另一处， 确保该系统能够正常运转。 集群1 集群1 异地集群2 HA Cluster Mirror 容灾是目的，而备份只是实现容灾的其中一种手段，其实故障不可怕，可怕的是没有准备，如果在意外发生 之前已经有了备份，哪怕集群发生故障，也可以照常运转，确保业务的连续性。 数据同步 DataEngine容灾备份功能通过创建同步任务，实现DataEngine跨集群之间的数据同步功能，满足日常数据备 份的需求，保证系统或者机器故障时数据不丢失。 方案设计 主集群遭遇灾难性断电异常时，重点业务切换至备集群继续运转。 应用1 应用2 任务统计 主集群 备集群 新建任务 用户数据 用户信息 用户信息 任务启动 任务进度查看 小时级别 HDFS/Hive HDFS/Hive 任务停止 准实时 任务挂起 HBase HBase 任务删除