渠道系统应用仓库技术思路.pptVIP

营销渠道支撑系统应用数据仓库技术思路 2008.12 从信息系统体系结构说起 自然演化的系统体系结构带来很多问题： 新的体系结构－数据仓库产生 两种基础数据的并存 原始数据:公司每天操作运行所用的细节性数据 衍生/导出数据：统计出来的或计算出来的满足公司管理者需要的数据 数据仓库的驱动力 业务问题: 如何留住最有价值的客户？ 一般系统和数据仓库的特征比对 数据仓库的特点 DBMS的负载完全不同 简单查询与复杂查询 简单查询与复杂查询 预定义查询与动态查询(Ad-Hoc) 企业级数据仓库 EDW 结构框架 EDW体系架构要素 从不同的数据中心获取数据 需要清楚的定义数据接口和数据交换协议 确保数据被及时传送 数据质量 数据标准化确保从所有数据源得到的数据具有一致性含义 数据质量检查确保数据从无规则形态转变到标准化的形态。所有脏数据都被侦测并清除 数据错误的追踪和重新处理系统确保所有的错误被跟踪，校正和重新处理 数据潜伏期 ETL流程必须提供高性能并使生产能力最大化 数据可用性 确保数据安全可用； 安全，备份和恢复； 机器容量和性能 应配置大容量数据存储和高端配置 系统的可扩展性与可管理性 适应系统将来数据量和用户量的增长 性能管理和自动化数据仓库流程 确定体系架构的过程 数据质量控制（DQA）的重要性 产生数据质量问题的原因-ETL过程 数据质量控制（DQA）流程 建立元数据管理，提升模型控制力 为管理人员/开发人员提供直观的元数据查询功能 动态管理所有元数据，包括预警、变更、获取。 提供元数据导入/导出工具集 建立完善的ETL开发流程 ETL 调度工具 ETL作业调度 事件触发和时间触发 完善的日志管理 简洁的监控和管理 快速实施，灵活高效 共同努力，直面挑战，迎接成功 图中 显示抽取处理的蜘蛛网开始形成。起初只是抽取，随后是抽取之上的抽取，接着是在此基础上的再次抽取。贯穿于公司或组织的这种抽取处理模式很常见，以致得到一个专有名称。这种由失控的抽取过程产生的结构被称为“自然演化体系结构”—当一个组织以放任自流的态度处理整个硬、软件体系结构时，就会发生这种情况。组织越庞大，越成熟，自然演化体系结构问题就变得越严重。 自然演化体系结构的存在方式(今天大多数商场采取这种模式)确实不足以满足明天的需要。体系结构需要转变。体系结构设计环境的核心是意识到存在着两种基本数据：原始数据和导出数据。 Let抯 start with a customer example based on a CRM issue - customer retention 3 Module Objectives: The objective is to prepare the salesperson to discuss five key differentiators of Teradata including; why they抮e important in data warehousing, how the competition performs in each area and why Teradata is better than the competition. It抯 important to establish a dialog with the customer that introduces the inherent differences between OLTP engines and DSS engines. This is the starting point. So, the point is that if we view OLTP transactions and DSS queries side by side, we can see just how wildly different they are. OLTP is 搎uick-in, quick-out.? By comparison, DSS queries can take a long time to complete, depending on all sorts of specifics about what is being asked. 数据质量方法论 何为数据仓库 数据仓库体系结构 议程 数据仓库特点 仓库技术在渠道中的应用 “自然演化体系结构”：蜘蛛网 数据缺乏可信性 不利于生产率的提高 从数据到信息转化 数据无时基 数据算法上的差异 抽取的多层次 外部数据问题 无起始公共数据源 不可预测 数据定位烦琐 要写的程序很多。 每个程序必须是定制的。 报表的延续可用性和继承性差 缺乏集成化在应用程序中没有存储足够的历史数据以满