第5章电子商务中的数据仓库技术.pptx

第5章 电子商务中的数据仓库技术主要内容： CIF与电子商务 识别电子商务用户 电子商务与企业数据的整合 数据仓库在电子商务中的应用、探索与变化5.1 CIF和电子商务本节主要内容： CIF的组成部分 定义电子商务体系结构需求 理解点击流数据 利用元数据转化语言来解释信息 理解CIF和电子商务接口5.1.1 CIF组成部分 CIF：企业信息工厂，Corporate Information Factory， CIF基础设施包括以下组成部分：因特网（Internet）企业网站（Corporate Web Site）防火墙（Firewall）企业操作型系统（Corporate operational system）粒度管理器（Granualrity manager）企业数据仓库（ Enterprise data warehouse ）企业数据集市环境（Corporate data mart environment）探索环境（Exploration environment）可选存储/近线存储环境（Alternative storage/near line storage environment）企业操作型数据存储环境（Corporate operational data store）（一）定义WEB环境 WEB环境三要素： Internet 防火墙 网站本身除了这些外，WEB环境还要包括一些内容：1.企业操作型系统 企业操作型系统负责运行日常操作,这些操作通常是在某种媒介上进行。企业操作型系统主要用来管理事务。消费者或者代理可以直接提交这些事务。 数据是通过集成/转化（I/T）程序来提供的，I/T程序也称作抽取、转化、和装载（ETL，Extract,Transform,Load）程序。它们负责将这些来自许多程序的数据转化为一种统一的格式和结构，从而将电子商务数据无缝地集成到企业中来。2.粒度管理器 粒度管理器是一种用于对网站数据进行预处理以便让数据进入CIF的软件。负责组织网站数据，以便这些数据可以有效应用于整个系统中。 有些情况下，需要丢弃一些数据，而在另外一些情况下，则需要合并相似类型的数据，因此必须谨慎使用粒度管理器，以免破坏数据。3.企业数据仓库 企业数据仓库（Enterprise Data Warehouse，EDW）位于整个处理过程的中心。所有数据都曾经存储在企业数据仓库中，包括： 粒状数据 历史数据 集成数据 企业数据粒状数据 这是最低的细节级，可以转化为不同的形式和结构。历史数据 近5年的数据均可以保存，这些数据可用于直接分析。集成数据 这种数据是消除了应用偏差的数据。企业数据 通常包括这些数据：易于访问，易于修改。4.企业数据集市环境 企业数据仓库包含了一些粒度非常小而非常详细的数据。一个组织内的不同部门需要根据特定需要查看不同形式组织的数据。这样就要建立物理上独立的数据库——数据集市。 经常需要拥有自己的数据集市的部门： 销售：用于销售报表。 营销：用于确定市场潜力和渗透力。 财务：用于在开支上进行下钻。 会计：用于建立报表和修正。 人力资源：用于满足管理需求。 工程：用于提供产品跟踪。 保险精算：用于风险管理。探索型数据仓库 探索型数据仓库允许探索者随心所欲地进行大量探索处理，而不会对数据仓库环境的其他用户造成负面影响。来自WEB环境中的数据可以通过起一数据仓库进入探索型数据仓库。 探索型数据仓库对WEB用户而言非常重要，当业务模式发生变化时，探索型数据仓库会最先并且最清楚地察觉到这些变化。6.可选存储虽然使用高性能磁盘存储，从技术上对企业数据仓库意义非常大，但是下列2个因素使得这种存储并不是最佳方案：数据仓库的信息量急剧增加，电子商务中非常明显需要将数据分类：经常使用的数据、很少使用的数据因此，有必要将EDW开展到高性能磁盘存储以外的介质上。即：可选二级存储，与高性能磁盘存储相比，可选存储比较廉价，但存取速度也较慢。当数据仓库被扩展到二级存储时，数据可以以最低节级、最高粒度存入数据仓库。7.操作型数据存储（ODS） Web环境中，ODS（Operational Data Store)是CIF中最重要的结构之一。ODS的特征就是一种能够处理混合负载的操作系统和数据库管理系统。 两种ODS类型： Web ODS：存在于Web环境内部，核心部分是一台普通规模的计算机企业ODS：存在于CIF内部，核心部分是一台大型计算机 这两种ODS分别针对不同的目的而设计。企业ODS是一个真正的“产业实力”处理器，它能够容纳比WEB ODS多的数据，是一种“全局的”ODS 。Web ODS只为源于Web服务器内部的事务提供服务，是一种“局部的”ODS。 利用粒度管理器，ODS可以适应不同级别的数据粒度（0级、1级、2级