第6章数据挖掘与商务智能技术.pptVIP

第6章 数据挖掘与商务智能技术 6.1 商务智能概述 6.1.1 商务智能技术的发展 商务智能的定义 商务智能是指透过资料的萃取、整合及分析，支持决策过程的技术和商业处理流程，其目的是为了使使用者能在决策的时候，尽可能得到更好的协助。 商务智能是运用数据仓库、在线分析和数据挖掘技术来处理和分析数据的技术，它允许用户查询和分析数据库，进而得出影响商业活动的关键因素，帮助用户做出更好、更合理的决策。 6.1 商务智能概述（续） 6.1.1 商务智能技术的发展（续） 商务智能的定义（续） 商务智能是通过利用多个数据源的信息以及应用经验和假设，来促进对企业动态性的准确理解，以便提高企业决策能力的一组概念、方法和过程的集合。 商务智能是通过获取与各个主题相关的高质量和有意义的信息来帮助人们分析信息、得出结论、形成假设的过程。 6.1 商务智能概述（续） 6.1.2 商务智能与管理决策 商务智能技术能够帮助企业实现商业信息收集和处理的自动化，以降低运营成本； 商务智能能够帮助企业真实地分析财务状况和盈利水平，规范企业的业务行为和管理行为，使企业的管理决策实现由人为经验型到科学决策型转变； 6.1 商务智能概述（续） 6.1.2 商务智能与管理决策（续） 使用商务智能可以使企业深入了解自己的客户并保持稳定的客户群； 商务智能的引人可以帮助企业整合这些集成应用系统，使这些相对独立、各自为战的系统发挥更大的作用，使数据信息得到更有效的利用。 6.1 商务智能概述（续） 6.1.3 商务智能的大众化 6.1 商务智能概述（续） 6.1.3 商务智能的大众化 6.1 商务智能概述（续） 6.1.3 商务智能的大众化 6.2 商务智能过程 6.2.1 知识发现 知识发现的特征 知识模式是使用一种形式化语言来进行的表达，表达描述了事实集合的子集中的一种显著的事实。 通过某种知识发现方法得到一个顾客细分的结果子集为{41岁顾客，42岁顾客，48岁顾客，43岁顾客，64岁顾客…}，可以归纳为“40岁之上的顾客”或者“中年以上的顾客”等。 知识发现强调模式的有效性、新颖性、潜在有用性以及最终能被理解。 6.2 商务智能过程（续） 6.2.2 知识发现过程 1、理解所要进行研究的领域、与之相关的以前的知识、以及用户的目标； 2、创建/选择目标数据集合； 3、数据清理和预处理； 4、数据缩减和投影； 5、选定数据挖掘任务； 6、选择数据挖掘算法； 7、数据挖掘过程； 8、对挖掘出来的模式进行解释； 9、完善和巩固所发现的知识。 6.2 商务智能过程（续） 6.2.3 知识表达形式与数据挖掘 数据挖掘方法 分类分析 例如信用卡用户可以分为按时还款客户和拖欠还款客户等。 回归分析 根据历年的劳动力水平，总投资等因变量来回归得到与GDP有关的回归模型方程，进一步用以预测。 关联规则 如“年轻顾客会购买Levi’s牛仔裤”，“购买《信息系统》一书的顾客经常会购买《C语言》一书” 。 聚类分析 将相似的对象聚集在一起的一种分析方法。 6.2 商务智能过程（续） 6.2.4 数据预处理 （1）数据集整理 将相关的数据都整理在一个或多个二维表中； 注意数据的一致性以及完整性。 （2）数据采样 通过随机采样等方法从海量数据中抽取少量的记录； 采样只能在记录维度上，而不能在属性维度上。 （3）数据清洗 将不必要的属性剔除； 修正或删除有明显错误和冲突的数据； 识别异常值。 6.2 商务智能过程（续） 6.2.4 数据预处理（续） （4）缺失数据处理 缺失值指的是应该有但却没有的数据； 采用该属性的平均值或是众数替代； 采取回归或神经元网络等技术来进行计算和预测相应的数值； 利用软计算方法来处理缺失值。 （5）初步统计分析 描述均值，中位数，众数，最大值，最小值，标准差，数据个数； 两两相关系数、数据直方图等。 6.3 数据挖掘方法 6.3.1 分类 分类分析是对对象的特征进行分析，并将之归类到已定义类中。 分类分析的过程 首先，基于训练数据集，采用分类算法来构造分类器； 训练数据集指一个已有的数据集，其中每条记录都已经属于一个已知的类别中。 其次，使用分类器对新数据集进行分类。 6.3 数据挖掘方法（续） 6.3.1 分类（续） 分类分析的评估标准 速度：即生成和使用分类器的计算花费； 鲁棒性：即给定噪音数据，分类器能够正确预测的能力； 可伸缩性：即在大量数据规模时，有效构造分类器的能力； 可解释性：及通过训练得到的分类器可理解和被解释的层次和水平。 6.3 数据挖掘方法（续） 6.3.2 聚类 聚类分析是将一个数据对象的集合按照某种标准进行划分，但是要划分的类是未知的。 一个聚类内部的数据对象按照该标准具有极高的相似性，而类与类之间的数据