数据挖掘与大数据分析.docVIP

数据挖掘与大数据分析目 录 1、引言 2 2、理论基础 3 2．1、数据挖掘 3 2．2、数据挖掘分类讨论 3 2．3、数据挖掘模型分类 4 2．4、数据挖掘应用分类 5 3、应用举例 6 3．1、方法论 6 3．2、离网分析 8 3．2．1、问题提出 8 3．2．2、商业理解 8 3．2．3、数据理解 11 3．2．4、数据准备 12 3．2．5、建立模型 15 3．2．6、模型评估 24 3．2．7、结果发布 28 3．2．8、反馈分析 28 3．3、客户细分 29 3．4、交叉销售 30 3．5、多模型结合 30 4、工具 32 4．1、国际 32 4．1．1、专业数据挖掘工具 32 4．2、国内 33 附件 33 附件一：流失分析基本字段宽表 33 附件二：流失分析一级汇总转换字段 42 附件三：流失分析二级汇总转换字段 46 附件四：建模宽表 47 1、引言 著名的咨询公司 Gartner Group在（2000年）一次高级技术调查将数据挖掘和人工智能列为“未来三到五年内将对工业产生深远影响的五大关键技术之首”，并且还将并行处理体系和数据挖掘列为未来五年内投资焦点的十大新兴技术前两位。 诚然，目前，数据挖掘已经不仅仅局限于各大院校、研究所，商业气氛日益浓厚。 国外的数据挖掘应用已有多年，比较成熟；而国内的应用也已初见倪端。正体现了这一预言。 在国内，近两年银行、证券、电信等大的行业已经开始把数据挖掘技术应用于其决策支持。政府机关也开始有此方面的需求。 由于研究领域主要关注的是新算法的发明、原有算法的优化等；而企业应用中主要考虑的是如何使用成熟的算法解决实际问题，从而为决策提供有力的技术支持。这样研究算法的人员可能不太清楚自己的算法如何解决实际问题，而应用开发人员缺少算法的具体理解，遇到问题又不知道采用哪种算法来解决。 本文结合本人在中国移动的数据挖掘实际应用经验，作一个总结，为致力于数据挖掘应用的人员提供参考。 本文的组织如下：第二部分简要的列出相关的数据挖掘基础理论，由于面向的都是较为专业的人士，所以该部分比较简略；第三部分通过具体的挖掘实例说明数据挖掘的应用过程，该部分比较详细，是本文的重点。 另外：根据数据挖掘对象的不同，数据挖掘可以分为三类： （1）数据挖掘：基于数据库、数据仓库的数据挖掘； （2）文本挖掘：基于文本的数据挖掘； （3）web挖掘：基于web的数据挖掘。 目前，实际应用中的主要是基于数据库、数据仓库的数据挖掘，所以本文讨论的是这一主题。 2、理论基础 当前数据挖掘理论有很多的术语翻译的不够规范、统一，为了更好的说明问题，下面先给出有关的一些概念。 2．1、数据挖掘 众所周知，数据挖掘不是一个产品，而是一个多步骤的过程，过程模型也有多种。不过各种模型是大同小异，比较流行的过程模型大致如下图。此过程本身比较清除，容易理解，但是如何把这个模型应用于解决实际问题呢？这是众多缺乏实际经验的人员首先要搞清楚的。其实，实际应用中还有多种数据挖掘应用的过程模型，在第三部分再详细介绍。 2．2、数据挖掘分类讨论 从不同的角度看待数据挖掘，就有不同的分类方法，比如： 根据挖掘对象分：基于数据库、数据仓库的挖掘——这也是通常说的数据挖掘；基于web的数据挖掘（web挖掘）；基于文本的数据挖掘等（文本挖掘）。 根据挖掘分预测型、、序列模式、等根据挖掘方法分可粗分为机器学习方法统计方法神经网络方法和数据库方法机器学习可细分为归纳学习方法决策树、规则归纳等、基于范例学习、遗传算法等统计方法可细分为回归分析(多元回归、自回归等)、判别分析(贝叶斯判别、费歇尔判别、非参数判别等)、聚类分析(系统聚类、动态聚类等)、探索性分析(主元分析法、相关分析法等)等神经网络方法,可细分为前向神经网络(BP算法等)、自组织神经网络(自组织特征映射、竞争学习等)等数据库方法主要是多维数据分析或OLAP方法另外还有面向属性的归纳方法SAS的SEMMA：Sample、Explore、Modify、Model、Assess，强调的是结合其工具的方法。 SPSS的5A：Assess、Access、Analyze、Act、Automate强调的是支持数据挖掘过程的工具应具有的功能和能力。 Two Crows 咨询公司：Define Business Problem、Build Data Mining Database、Explore Data、Prepare Data for Modeling、Building Mode、Evaluation Model、Deploy Model and Result，从自身理解的角度借鉴前述方法，并在其上加以改进而提出的应用模型。 当前比较流行的标准模型是：CRISP-DM（CRoss Industry