数据仓库建模技术.pdfVIP

数据仓库建模技术 曹 翊 2002 年9 月 数据仓库之路原创资料 数据仓库建模技术 一、 数据仓库建模的原则 模型是对现实事物的反映和抽象，它可以帮助我们更加清晰的了解客观世界。数据仓库建模 在业务需求分析之后开始，是数据仓库构造工作正式开始的第一步，正确而完备的数据模型 是用户业务需求的体现，是数据仓库项目成功与否最重要的技术因素。 金融企业的信息系统具有业务复杂、机构复杂、系统庞大的特点，因此金融行业数据仓库建 模必须注意以下几个方面， —— 满足不同用户的需求 金融行业的业务流程十分复杂，数据仓库系统涉及的业务用户众多，在进行数据模型设计的 时候必须兼顾不同业务产品、不同业务部门、不同层次、不同级别用户的信息需求。 数据仓库应该支持企业的各种业务，比如对财产保险行业应该考虑财产险、货物运输险、工 程险、责任险等不同业务的特点；不同的业务部门对信息的需求各有不同，应考虑业务、市 场、财务、管理等各个部门的需要；不同层次的组织所关心的信息不同，数据模型应支持地 市公司、省公司和总公司的信息需求；金融企业是知识密集型的企业，知识密集型企业的显 著特征是智能员工(Knowledge Worker) 占企业员工的大多数，数据仓库必须支持所有相关智 能型员工的信息需求，包括高层领导、基层领导和普通员工。 —— 兼顾效率与数据粒度的需要 数据粒度和查询效率从来都是矛盾的，细小的数据粒度可以保证信息访问的灵活性，但同时 却降低了查询的效率并占用大量的存储空间，数据模型的设计必须在这矛盾的两者中取得平 衡，优秀的数据模型设计既可以提供足够详细的数据支持又能够保证查询的效率。 —— 支持需求的变化 用户的信息需求随着市场的变化而变化，所以需求的变化只有在市场竞争停顿的时候才会停 止，而且随着竞争的激化，需求变化会越来越频繁。数据模型的设计必须考虑如何适应和满 足需求的变化。 —— 避免对业务运营系统造成影响 金融企业的数据仓库系统是一个每天都在长大的庞然大物，它的运行很容易占用很多的资 - 1- 数据仓库建模技术 源，比如网络资源、系统资源，在进行数据模型设计的时候也需要考虑如何减少对业务系统 性能的影响。 —— 考虑未来的可扩展性 数据仓库系统是一个与企业同步发展的有机体，数据模型作为数据仓库的灵魂必须提供可扩 展的能力，在进行数据模型设计时必须考虑未来的发展，更多的非核心业务数据如人事数据、 市场数据、竞争对手数据等必须可以方便的加入到数据仓库，而不需要对数据仓库中原有的 系统进行大规模的修改。 - 2- 数据仓库建模技术 二、 数据模型的技术功能结构化分 大规模的数据仓库系统特别是金融行业数据仓库的数据结构从技术角度划分应当包含三个 部分，如下图所示， 数据仓库数据模型的技术功能划分 2.1 分段存储区（Staging Area） 由于数据仓库中的数据结构和组织方式具有很大差异、所有原始业务系统的数据必须经过严 格的抽取、映射和转换，数据的整合过程十分复杂，通常会耗费比较长的处理时间。如果从 业务系统直接抽取数据到数据仓库，必定会占用许多业务系统的资源和时间，为了避免影响 业务系统的运行，我们在数据模型的设计中引入分段存储区的概念。 分段存储区（StagingArea）是为了保证数据移动的顺利进行而开设的阶段性数据存储空间， 它是业务系统原始数据进入数据仓库前的缓存区。需要进入数据仓库的各个业务系统的数据 首先直接快速传输到分段存储区，再从分段存储区经过清洗、转换、映射等复杂的数据移动 处理转移到目标数据仓库中。从业务系统到分段存储区的数据传输，应尽量