第10章 电子商务中的数据处理技术.pptVIP

第10章 电子商务中的 数据处理技术 山东协和职业技术学院 经济管理学院 数据处理一般分为两种类型： 操作型数据处理(事务处理) 指对数据库联机的日常操作 分析型数据处理 从大量的事务型数据库中抽取数据，并将其清理、转换为新的存储格式，涉及数据仓库。 10.1数据仓库 10.1数据仓库 数据仓库及其概念 广义概念上的数据仓库是一种帮助企业做决策的体系化解决方案 数据仓库技术用于数据的存储和组织 联机分析处理技术侧重于数据的分析 数据挖掘技术致力于知识的自动发现 数据仓库的内涵 数据仓库（Data Warehouse，DW） 多维数据库（Multi-Dimensional Database，MDD） 数据集市（Data Marts） 元数据（Metadata） 外部数据源 2、多维数据库（Multi-Dimensional Database，MDD） 多维数据库（MultiDimensional Database,MDD）可以简单地理解为：将数据存放在一个n维数组中，而不是像关系数据库那样以记录的形式存放。因此它存在大量稀疏矩阵，人们可以通过多维视图来观察数据。多维数据库增加了一个时间维，与关系数据库相比，它的优势在于可以提高数据处理速度，加快反应时间，提高查询效率。 多维数据模型——立方体模型及其操作 建立数据集市的原因 数据仓库是一种反映主题的全局性数据组织。但是,全局性数据仓库往往太大，在实际应用中将它们按部门或个人分别建立反映各个子主题的局部性数据组织,它们即是数据集市。因此，有时我们也称它为部门数据仓库。 例：在有关商品销售的数据仓库中可以建立多个不同主题的数据集市： 数据仓库与数据集市的关系类似于传统关系数据库系统中的基表与视图的关系。数据集市的数据来自数据仓库，它是数据仓库中数据的一个部分与局部，是一个数据的再抽取与组织的过程。 建立数据仓库与数据集市的过程可以有两条途径： 元数据 由数据源中的数据到数据仓库中的数据的转换过程，是需要按照一定的规律来进行的，这种规律往往是用一定的表达式或算法形式表示，它们被称为数据仓库系统的元数据。 元数据是数据仓库的核心，用于支持数据的抽取和访问操作。元数据记录的信息包括： 数据仓库与数据库的区别 它依据决策要求，只从数据库中抽取那些需要的数据，并进行一定的处理。 数据仓库是多维的，即数据仓库的数据的组织方式有多层的行和列。 它采用分析型的数据处理而非普通的操作型的数据处理方式，支持决策处理而非常规事务处理。 主题（Subject）：特定的数据分析领域与目标。 面向主题：为特定的数据分析领域提供数据支持。 为特定数据分析领域提供的数据与传统数据库中的数据是有不同的。传统数据库中的数据是原始的、基础的数据，而特定分析领域数据则是需要对它们作必要的抽取、加工与总结而形成。 数据仓库是面向分析、决策人员的主观要求的，不同的用户有不同的要求，同一个用户的要求也会随时间而经常变化，因此，数据仓库中的主题有时会因用户主观要求的变化而变化的。 例1：一个面向事务处理的“商场”数据库系统，其数据模式如下： 采购子系统： 订单（订单号，供应商号，总金额，日期） 订单细则（订单号，商品号，类别，单价，数量） 供应商（供应商号，供应商名，地址，电话） 销售子系统： 顾客（顾客号，姓名，性别，年龄，文化程度，地址，电话） 销售（员工号，顾客号，商品号，数量，单价，日期） 库存管理子系统： 领料单（领料单号，领料人，商品号，数量，日期） 进料单（进料单号，订单号，进料人，收料人，日期） 库存（商品号，库房号，库存量，日期） 库房（库房号，仓库管理员，地点，库存商品描述） 人事管理子系统： 员工（员工号，姓名，性别，年龄，文化程度，部门号） 部门（部门号，部门名称，部门主管，电话） 上述数据模式基本上是按照企业内部的业务活动及其需要的相关数据来组织数据的存储的，没有实现真正的数据与应用分离，其抽象程度也不够高。 如果按照面向主题的方式进行数据组织，首先应该抽取主题，即按照管理人员的分析要求来确定主题，而与每个主题相关的数据又与有关的事务处理所需的数据不尽相同。 商品固有信息：商品号，商品名，类别，颜色等 商品采购信息：商品号，供应商号，供应价，供应日期，供应量等 商品销售信息：商品号，顾客号，售价，销售日期，销售量等 商品库存信息：商品号，库房号，库存量，日期等 供应商固有信息：供应商号，供应商名，地址，电话等 供应商品信息：供应商号，商品号，供应价，供应日期，供应量等 顾客固有信息：顾客号，顾客名，性别，年龄，文化程度，住址，电话等 顾客购物信息：顾客号，商品号，售价，购买日期，购买量等 在每个主题中，都包含了有关该主题的所有信