IAS2017- 大数据平台架构设计.pdfVIP

⼤数据平台架构设计 Speaker:王胤然 IT职位体系中的架构师所处的位置 研发助理 ⼯程师 ⾼级⼯程师 项⽬经理 产品总监 资深⼯程师 技术总监 项⽬架构师 产品架构师 系统架构师 真相： 1、架构师必须有研发背景！ 2 、“培养”是GET架构师的途径！ OUTLINE ➤ 不可或缺的软件架构 ➤ 如何完成⼀个⼤数据平台的架构设计⼯作 ➤ 常⻅的⼤数据平台总体架构设计模式 ➤ ⼤数据架构设计中的数据分布设计策略 ➤ ⼤数据架构设计中的数据集成设计策略 ➤ Review 不可或缺的软件架构 名称 何为架构？ 架 ➤ 架构模式 适⽤场景 构 ➤ 没有任何⼀个架构是万能的，架构需要定义 模 对应的架构场景 模块定义 式 ➤ 定义模块，梳理模块间的关系。解决代码耦 合问题，避免需求变更带来的项⽬失败 ➤ 架构实现 模块关系 ➤ 为了理解特定的架构模式，从⽽定义应⽤案 例，帮助使⽤者理解架构模式 架 ➤ 为了能够让架构实现到真正的案例中，往往 应⽤案例 会通过设计模式的实现⼿段来实现。在⾯向 构 对象的设计思想下，往往会使⽤⼀种或多种 实 “设计模式”来作为实现（单例、⼯⼚、建 设计模式 造、原始模型等） 现 传统架构和⼤数据架构的差异性 业务复杂性 ⼤数据产品 种类 传统产品架构 架构 传统架构 混合架构模式 数据量⼤⼩ ⼀般 海量 数据量 单机或 数据处理⽅式 完全分布式 伪分布式 ⼤数据平台架构 适⽤业务