数据架构杂谈.pdfVIP

数据架构杂谈 （来源：毕马威大数据挖掘微信公众号，2017-09-30） 我们通常所说的“数据架构”与“应用架构”和“技术架构”并 列，三者共同组成IT 架构。IT 架构由业务架构驱动，从业务架构出 发分析业务流程、定义数据架构，流程和数据结合定义应用架构，根 据数据架构和应用架构设计技术架构。 值得注意的是：业务架构和应用架构均包含数据架构的内容，业 务架构中数据架构即数据概念模型，分析重点是数据领域、主数据和 核心业务对象。业务运营的两条重要线索是流程和数据，业务流程离 不开数据流转，业务运营状况通过数据反映，基于业务架构的端到端 流程建模过程中会衍生出对应的业务数据对象，需要与数据架构的数 据模型对接。流程模型和数据模型对接后落实到应用（系统）层面， 就形成了应用架构。应用架构将业务对象转换为数据对象或具体的数 据库表对象，数据模型进一步转换到具体应用（系统）的逻辑模型和 物理模型，在此基础上分析数据对象和应用（系统）功能之间的创建、 引用、修改或删除CRUD 关系，以明确功能边界划分，对应数据架构 中最终的数据分布。 可以将数据架构简单分解为数据分布、数据模型、数据标准和数 据治理。数据架构为数据资产的管理和应用奠定基础，支撑数据的存 储、访问、整合和分析，包含相对静态部分如元数据、业务对象数据 模型、主数据、共享数据，也包含相对动态部分如数据流转、ETL、 整合、访问应用和数据全生命周期管控治理。 数据是企业的关键业务资产，通过有效的组织、存储、分发和管 理实现在不同业务条线之间的共享。狭义的数据架构可以用来特指数 据分布，包括数据业务分布与数据应用（系统）分布。数据业务分布 指数据在业务各环节的CRUD 关系，数据应用（系统）分布指单一应 用（系统）中数据架构与应用（系统）各功能模块间的引用关系，以 及数据在多个应用（系统）间的引用关系，数据业务分布是数据应用 （系统）分布的基础和驱动。 数据架构层面通过数据分类、分层部署等手段，从非功能性视角 将数据合理布局。通过整体架构管控和设计，支持业务操作类和管理 分析类应用（系统），满足业务发展及IT 转型对数据的需求，架构的 扩展性和适应性能够提升数据分析应用的及时性、灵活性和准确性。 最简洁的分类方法可将数据分为基础数据和衍生数据，基础数据一般 为业务操作过程中采集和加工的数据。衍生数据将业务基础数据按照 不同维度加工计算，形成统计指标供管理分析使用。可以按照数据的 生命周期、功能及其流转范围进一步把基础数据分为4 类，并在此基 础上进行分布设计：  参数数据：保证应用（系统）运行的控制信息，包括业务类 控制信息如国家、行政区划、币种、利率等，也包括技术类 控制信息如时间阀值、流量阀值、页面配置等  业务结果数据：记录业务活动最终结果的信息，是企事业实 体关注的核心数据。如客户、员工、渠道等数据，常需流转 到另外一个应用（系统）  业务过程数据：某单个工作任务流为完成其功能所需要的中 间过程信息，该信息不需要传输到另外一个工作任务处理， 即不需要跨任务处理的过程数据，常在单个应用（系统）内 部  操作痕迹数据：记录操作人员对应用（系统）进行操作的信 息。包括业务操作痕迹数据如授权记录、业务操作记录等， 和技术痕迹数据如系统日志等。该类数据在操作人员实际操 作过程中产生，常用于风险控制、内部审计和行为分析。 通常可以认为基础数据主要分布于操作型业务应用（系统）中， 衍生数据/指标主要分布于数据仓库、数据集市和管理分析应用（系 统）中。现实业务场景中某些业务流程与管理相关，也需要基于大量 的衍生数据/指标进行后续业务操作，典型的如客户关系管理系统CRM 基于客户粒度加工衍生数据再进行业务操作，由此可将其拆解为分析 型ACRM 和操作型OCRM，基于数据架构决策中计算与访问分离的优化 思路，业界领先实践将分析加工计算部分剥离到数据集市，操作型应 用（系统）读取访问已加工衍生数据进行后续业务操作。 对于拥有众多分支机构的大型企事业单位或者横跨多行业的大 型企业集团，数据物理存放的集中和分散是数据分布设计中的重要内 容。从地域角度看，数据分布有数据集中存放和数据分布存放两种