数据模型基本概念及建模方法论.ppt

数据模型的基本概念及建模方法论 NCR(中国)有限公司数据仓库事业部 什么是数据模型？ 以数学的方式对现实事物的一种抽象表达,… 特征： 内容：描述了数据、及其之间的关系 形式：反映了数据的组织与管理形式 用途： (数据仓库)系统建设中的数据信息的蓝图 (数据仓库)系统建设的核心 业务人员与IT人员沟通的语言和工具 数据模型的分类 数据仓库项目中数据模型可以分为以下几种： Conceptual Data Model （CDM） 概念数据模型 Logical Data Model （LDM） 逻辑数据模型 Physical Data Model（PDM）物理数据模型 Application Data Model（ADM）应用数据模型 概念数据模型 Conceptual Data Model（CDM）概念数据模型 从全局上、宏观上介绍模型设计思路、范围和内容。 主要组成元素 主题 主题间关系 主题中的重要实体 实体间的相互关系 目标与用途 圈定建模的范围 划分建设主题 理清主要业务关系 构造逻辑数据模型的框架 逻辑数据模型 定义： 使用逻辑建模语言 定义数据与数据之间的逻辑关系 以图形化的形式 反映客户的业务规则 达到数据组织的设计目标 逻辑数据模型 Logical Data Model （LDM） 逻辑数据模型 设计人员：业务人员、IT人员 设计目标 设计蓝图，指导整个数据仓库系统的建设 业务语言，业务人员与技术人员沟通的手段和方法 业务视图，独立于数据库技术实现 设计内容：实体、关系和属性 建模方法：3NF的设计方法 后续工作：物理数据模型的输入 物理数据模型 Physical Data Model（PDM）物理数据模型 设计目标：面向物理实施的具体细节 输入条件 继承于逻辑数据模型 依赖于所选择的数据库 决定于业务需求和性能之间的平衡 设计内容 数据库、表和字段、索引 需要作非正则化处理 后续工作：ETL、元数据管理和前端应用输入 应用数据模型 Application Data Model(ADM)应用数据模型 设计目标 满足最终用户对数据的访问（内容、形式要求） 满足应用系统对数据的存取（性能、存储要求） 主要特征 面向Power User和业务人员 与具体的应用相关 多维分析时一般采用星型结构或者雪花状结构 的设计方法 是事实表和维度表的组合 逻辑数据模型与物理数据模型比较 逻辑数据模型在数据仓库中的定位 Logical Data Model (LDM) Example 范式理论 Normal Form 关系数据库:原子性 第一范式： 每个属性的值唯一 第二范式：键值依赖 非键属性依赖所有的主键属性。（不存在部分键属性就决定的非键属性） 第三范式:完全键值依赖 非键属性完全依赖且只依赖与键属性。（不存在非主键属性依赖其他非主键属性的情况） BCNF 第四范式 第五范式 违反第一范式 违反第二范式 违反第三范式 正则化LDM对数据库物理实现的优势 保留了更多的业务关系 更多的主索引选择 最佳的数据分布 更少的全表扫描 更多的连接选择 增强优化器使用更有利于提高性能的合并、聚合连接方法 最佳的数据分离（耦合度） 最佳的底层模型与用户分离 最佳的数据控制 每行更少的字段 最佳的与应用分离 更小的行 最佳的数据块大小 减少临时与永久日志空间 减少物理 I/O NCR数据仓库实施方法论 逻辑数据模型设计步骤 Step 1: 定义业务需求与范围 Step 2: 定义实体 Step 3: 定义关系 Step 4: 定义非键属性 Step 5: 确认模型 (1) Step 5: 确认模型 (2) 主要任务： 转换逻辑数据模型（LDM）为物理数据模型 定义主索引、次索引 非正规化处理（demoralizations） 数据库建立 设计优化 数据库功能测试 使用工具： ERWin 交付项目： 物理数据模型（PDM） 《物理数据模型说明书》 《数据库描述语言DDL》 物理数据模型命名规范 建模注意事项 划分相应的主题 (客户、产品、账户、事件、行销活动、渠道、地理区域) 确定主题与主题之间的关系 客户购买产品产生账户、使用产品触发事件 运营商通过各种渠道、在不同地理区域进行个性化的行销活动 确定每个主题中关键的实体和实体间的关系 客户主题中：如参与人、个人、组织等实体、以及实体间的关 系，参与人由个人和组织组成 进入逻辑数据模型，细化概念数据模型设计 建模注意事项 定义数据模型的命名规则 命名规范意义 统一命名，减少歧义 防止冗余的实体或属性的产生 良好的命名规范有助于业务人员与技术人员间的沟通 便于使用 逻辑模型实体