2014浅析与的关系.docVIP

前言 Ods（运营数据仓储）与edw（企业数据仓储）都是中国电信企业数据架构（eda）的重要组成部分，它们一起构成企业统一数据平台。2007年，大多数省级电信公司都陆续启动了ods与edw的建设，经调查发现，各省电信公司在两个系统的建设过程中对两个系统在企业数据架构中的各自职能与分工存在一定的疑问和困惑，为帮助大家澄清这些疑问与困惑，本文对ods与edw在各个企业数据架构中的关系进行详尽阐述。包括对两者相同点的分析、不同点的对比，使读者在对比与分析过程中理解两者的联系与区别，同事本文还对ods与edw如何建设的两种观点逐一阐述与分析，并给出相应建议。 企业数据架构 Edw主要为企业提供分析决策服务，ods主要实现企业数据整合、共享和准 实时运营监控等功能，ods是edw的一个有益的补充和扩展。 生产系统、ods及edw之间的数据关系如图1所示，其中ADB为应用数据库、 ABC表示不同类型的数据流动。A表示操作环境中应用数据库间的直接数据交换；B表示操作环境中应用数据库之间通过ods进行数据交换；C表示数据从操作环境抽取到分析环境。 操作环境下各生产系统中的运营数据通过etl过程进入到ods中，生产系统之间准实时的数据交换由ods系统完成，ods系统同时还将整合好的操作环境下的运营数据通过etl等方式传送到edw中，完成运营数据从操作环境进入到分析环境的过程。 各生产系统的应用数据库、ods、edw构成整个企业数据架构的主题。下文重点对企业数据架构中的ods何edw这两个概念与作用做详细说明。 2.1 ODS的概念及作用 Ods存储了运营系统（如OLTP系统近实时的详细数据。Ods的概念最早是有“数据仓库之父”— Bill Inmon提出的。Ods最初引入是为了寻找能满足快速加载和数据整合的性能要求，并且减少面向分析需求的变更和扩充对生产系统影响的解决方案。这一解决方案便是在生产系统和edw之间增加一个数据整合层（也叫数据缓冲层）即ods。具有数据整合层的作用，是提出ods概念的主要出发点。随着技术的发展，近年来ods被赋予的功能和作用也得到了延伸。目前业界普遍认同的观点是：ods为企业原始运营数据存储提供了一个整合平台，他的信息来自于不同的运营应用系统。通过数据接口，在数据整合业务规则作用下，进入ods的信息是可靠的、可信的。Ods中数据的集成、实时的特征决定了ods主要有以下三个作用。 对运营数据进行整合，提高运营数据质量，是edw的一个主要数据来源。Ods对生产系统产生的数据进行了初步的清洗、过滤和整合，存储了较为详细和全面的企业运营数据，ods中的数据不仅具有较高的数据质量，而且比oltp系统更有利于edw对数据进行获取和进一步的转换、整合等处理，是edw的主要数据来源之一。 实现跨系统的近实时报表和查询统计应用。Ods从不同的运营应用系统中采集数据，整合各个系统的共享交易数据，形成企业级数据的整体视图。Ods最大的价值是集成了跨系统的数据，从而能够实现一些跨系统的报表和查询统计应用。另外，ods也可以从edw中获取自身所需的数据。如经过edw统计分析后的一些结果性的数据，可以提供给统计分析人员和业务人员进行实时调用和备查。 作为其他生产系统的数据同步源。Ods捕捉当前和进气的交易数据，数据具有实时性或准实时性。Ods中的数据按照需要可以与运营系统数据定期同步。由于ods中的数据是“新”的，因为可以通过它使数据与其他生产系统中的数据同步。 2.2 EDW的概念和作用 Edw依据企业的统一标准和规则对于来自于企业内外的分散在不同系统的数据进行消除非一致性的集成和标准化处理（即ETL处理），形成企业数据的全面统一视图。Edw采用多维分析和数据挖掘等手段，细分市场和客户，支撑市场的经营分析、准确决策和快速反应能力，为各级部门和分析决策人员提供基于部门和企业的全方位数据和分析服务。通过edw，从根本上解决了数据分析重复、共享困难和信息孤岛等问题，充分发挥了数据资源的价值，全面提升了企业在经营决策、运营管理、业务拓展和客户服务等方面的支撑能力，edw中数据面向主题、集成及非易失的特征决定了edw主要有以下两个作用。 为企业各级的经营决策和市场营销提供及时、精确、全面的数据支撑和科学、方便、体系化的分析工具和使用方法，为除生产系统以外的管理、分析等需求提供数据支撑、实现业务数据与分析数据的分离。 解决日前市场等部门信息获取能力和分析决策手段不能适应企业化境变化和精确化管理要求的问题，并通过各种形式的主题、专题分析、支撑针对性营销、市场信息披露、精确化管理，有效降低营销成本、减少客户流失、寻找商机达到提升企业价值的目的。 ODS与EDW的相同点和不同点 3.1 相同点 从ods与edw概念与作用中可以看到他们有以下共同之处：