【大數据方向】高级数据复制实训项目.doc

栢图教育 基于大数据框架的数据复制平台设计与构建 项目实训方案概要 广州市栢图教育科技有限公司 2014/5/5 本文档提供给高效计算机相关专业毕业生参与实习项目的介绍和概要性描述，意在通过此文档了解项目的整体规划和目标以及自我价值提升点。本文还包含相关实习项目中涉及到的主要的技术架构图和方案概要。 基于大数据框架的 数据复制平台的设计与构建 数据复制平台技术的市场需求 随着应用系统的不断发展，系统对于数据库的依赖与日俱增，目前无论金融、政府、石化、电力、教育、医疗还是企业ERP系统，无一例外的出现了大型数据库的技术架构，特别是大数据平台应用的技术架构，主要集中在ORACLE、SQL SERVER和DB2，目前应用系统都需要通过数据复制和数据接口来保证交易的完整性、数据传输复制的实时性以及数据复制完成的效率。 对于很多中小企业，不可能使用数据库大集中的方式，只能通过数据同步复制技术，利用廉价VPN技术，让简单宽带技术构建起各分公司的集中交易模式，而数据库复制技术对于中小企业的总/分部数据一致提供了技术可能。除此之外在目前的大数据平台架构下，数据接口的数据交换以及数据的推送为大数据应用实现提供了可能，实现了数据的极大共享，这也是大型企业的数据复制平台构建的初衷。 技术应用场景分析 下面通过典型的技术应用场景描述这两种框架的应用方式。 企业内私有云环境下数据复制应用方式 以国内大型电信运营商为例： 传统的电信运营商的数据量之大，数据节点之多，数据交互之繁忙在所有的数据应用环境中都是最为复杂的。从统一的MBOSS计费系统数据到周边的掌厅系统、网厅系统、呼叫中心、支付平台、综合调度、CRM等一系列数据节点的数据交互都是我们今天看到在私有云平台内的实现大数据应用的基础技术支撑。 从客户服务角度出发，以CRM为中心，需要客户的支付数据、行为数据、使用产品数据等部分信息需要实时或者异步的传输至CRM以供数据的集中应用，除此之外，一些应用数据需要传输至外部的数据接口或者从外部接口读取数据进行处理。数据的分析和应用已经不是单单局部的数据可以满足当前商业需求的，在大数据平台上的数据复制和分布式计算已经成为主流的技术框架。 互联网公有云环境下数据复制应用方式 目前在国内公有云环境下在大数据应用方向做的比较成功的首推电子商务，网上消费已经成为当前中国人消费的主流，与此相配套的电子支付、物流、微营销、用户行为数据挖掘、包括今年国家放开互联网金融业务，将掀起一场由电子商务主导的商业变革，已经冲击着中国传统的金融行业的垄断根基，迫使其进行革命性的改变。 这些的实现完全依赖与大数据的应用与融合，通过数据的单向、多项的复制，将数据从多个侧面进行分析，将发挥巨大的商业价值，这已经成为了电商企业乃至全社会的共识，在数据需求的推动下，数据复制的应用场景会越来越多，与此对应的应用需求也会越来越复杂，对技术框架的依赖性也越来越强。这种趋势是所有的人必须面对的，也是IT的从业者未来必须要适应的开发和应用环境——大数据平台下的开发和应用。 数据复制的技术指标 如果需要将数据库局部数据复制到另外一个地方，必须满足一个重要的指标： 数据必须实时：如果不是实时，那只能叫数据库迁移，属于数据仓库ETL的范畴 数据必须准确：对复制过去的数据必须经得起验证，保证数据准确无误 数据必须可在线查询：如何知道数据复制过去了，必须提供查询手段保证实时在线查询 数据复制独立性：数据库复制软件不能安装在主库，特别是不能在主库上进行编译，否则对主库的应用系统将产生不可估量的影响 数据复制配置简单：这里面的指标包含不停机初始化、数据库表过滤机制、数据库用户过滤机制，这些都需要简单配置可用 数据复制便于监控：必须提供数据复制的过程监控机制，保证数据复制监控实时性，保证对数据复制过程及更改数据的可审计方式。 本次实训项目的价值 全面认识大数据和云计算的基础架构，建立全局的技术概念。 强化动手实现基本的大数据复制平台。 全面掌握并且一定能动手实现大数据复制的各种技术场景。 根据具体的需求可以帮助客户选择具体的技术方案，有初步的提供解决方案的能力。 提升就业竞争力，让你有信心和能力同名校毕业生竞争工作岗位。 新手参与大数据复制项目需要预先储备的技能 需要储备的技能 对应的专业课程 掌握程度 Linux操作系统的基本命令 《Linux操作系统技术》 会简单的命令即可 关系型数据库的基本概念 《数据库基本概论》 了解基本命令即可，会写简单的SQL语句 实训项目的时间安排 项目周期5天：××××年××月××日 至 ××××年××月××日 时间 项目内容与目标 关键字 Day 1 企业级关系型数据库构建 A 专业导师会清晰