商务智能基础.ppt

商务智能基础知识 田传茂 提纲 商务智能概念 数据仓库概念 数据仓库技术相关概念 数据仓库体系结构 数据仓库系统的实现环节 数据仓库的构建 数据仓库核心技术 商务智能概念 简单定义 综合企业所有沉淀下来的信息，用科学的分析方法，为企业领导提供科学决策信息的过程。 完整定义 基于数据仓库技术的决策扶持系统。它 以数据仓库（DW）技术为基础，通过抽取、转换和清洗将分散在企业各处的数据整合在一起，将数据转化为信息；进而以联机分析处理（OLAP）工具、数据挖掘（DM）工具、报表工具为手段将信息提升为知识；最后运用可视化技术以快捷直观的方式将探察分析结果呈现给最终用户，为管理决策层提供量化依据的过程。 数据仓库概念 数据仓库（Data Warehouse）是一个 面向主题的（Subject Oriented） 集成的（Integrate） 相对稳定的（Non-Volatile） 反映历史变化（Time Variant） 的数据集合，用于支持管理决策。 数据仓库技术相关概念 ETL（抽取、转换、加载） META DATA（元数据） DATA MART(数据集市) SUBJECT(主题) DIMENSION(维度) 数据仓库技术相关概念 抽取、转换、加载（ETL） 数据抽取（Extract）、转换Transform）、清洗（Cleansing）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。 数据仓库技术相关概念 元数据（Meta Data） 关于数据仓库的数据，指在数据仓库建设过程中所产生的有关数据源定义，目标定义，转换规则等相关的关键数据。同时元数据还包含关于数据含义的商业信息，所有这些信息都应当妥善保存，并很好地管理。为数据仓库的发展和使用提供方便。 数据仓库技术相关概念 数据集市（Data mart） 即小数据仓库。如果说数据仓库是建立在企业级的数据模型之上的话。那么数据集市就是企业级数据仓库的一个子集，他主要面向部门级业务，并且只是面向某个特定的主题。数据集市可以在一定程度上缓解访问数据仓库的瓶颈。 数据仓库技术相关概念 主题（SUBJECT） 是一个在较高层次将数据归类的标准，每一个主题对应一个宏观的分析领域，针对具体决策需求可细化为多个主题表，具体来说就是确定决策涉及的范围和所要解决的问题。 数据仓库技术相关概念 维度(DIMENSION） 是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维(时间维、地理维等)。 数据仓库体系结构 数据仓库系统的实现环节 采集 将数据加工成为有价值的信息，形成企业数据仓库。 存储 包括模型建立、模型优化、生成多维数据集。 分析 通过前端展现工具探察潜在规律，生成企业报表，进行预测分析，辅助决策。 数据仓库的构建（数据采集） 通常包括以下几个处理过程： 数据仓库设计 数据抽取 数据管理  数据仓库的构建（数据采集） 数据仓库设计 是在详细了解数据源的基础上，将管理决策需求按部门职能、业务领域确定分析数据范围，形成主题的过程。 定义主题所需数据源的详细情况。 定义数据抽取原则，以便从每个数据源中抽取所需数据；定义数据如何转换、装载到主题的哪个数据表中。 将一个主题细化为多个业务主题，形成主题表。 数据仓库的构建（数据采集） 数据抽取 定义数据抽取逻辑的过程。为了保证目标数据库中数据的一致性和完整性，在组织不同来源的数据时，需要将数据转换为一种中间模式或增加关联表。 根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源进行清理、转换，对数据进行重新组织和加工，装载到数据仓库的目标库中。 在组织不同来源的数据过程中，先将数据转换成一种中间模式，再把它移至临时工作区。 数据仓库的构建（数据采集） 数据管理 目标数据维护 目标数据维护是指事实数据的增量更新和任务调度。目标数据维护根据元数据库所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。 元数据维护 当数据源的运行环境、结构及目标数据的维护计划发生变化时，需要修改元数据。元数据是数据仓库的重要组成部分，元数据的质量决定整个数据仓库的质量。 数据仓库核心技术 数据挖掘（DataMining） 联机分析处理（OLAP） 报表工具 （ReportTools) 数据仓库核心技术—数据挖掘 数据仓库核心技术—OLAP OLAP发展背景 60年代，关系数据库之父E.F.Codd提出