51 数据挖掘的步骤及实例客户流失模型.ppt

第一步：需求分析。明确挖掘目标和要求。 第二步：数据理解。了解目前的数据状况。 第三步：数据准备：选择挖掘的数据并进行预处理 第四步：挖掘算法与挖掘软件的选择。 第五步：构建硬件、软件、数据平台，确定相关参数，并具体挖掘。 第六步：结果展示与评价、导出。 第一步：需求分析。明确挖掘目标和要求。 任务： 1）明确挖掘目标和要求。 2）确定数据挖掘的类别：关联、分类、回归、聚类？ 3）初步判断挖掘所需要的数据质量如何 4）如何展示和应用挖掘结果。 5）挖掘系统部署后，对业务有哪些提升？ 方法： 1）调查、访谈。 2）头脑风暴。头脑风暴会议应在充分的材料准备基础上，在轻松的环境中进行，以充分发挥与会人员的才智。 手机客户流失预测需求分析： 发展一个新客户的成本远远高于保持一个老客户。所以，保持老客户就十分重要。 一个电信企业在运营过程中，不可避免地要流失部分客户。所以，可以从大量的与客户相关的数据中，运用决策树等方法建立客户流失预测模型。从而对初显流失客户特征的客户采取必要的挽留措施，达到保值老客户的目的。 第二步：数据理解。即了解目前的数据状况。 1. 需要的数据及含义 2. 数据的分布情况： 需要的数据都分布在哪些系统（数据库、表）中，有多少数据。 3. 数据的质量： 1）关键数据是否能够获取。 2）缺失值或无效值数量如何？ 3）是否有足够的历史数据。 手机客户流失预测数据理解： 预测需要的数据：客户数据、通话详单、短信详单、投诉数据、交费数据等。 客户数据： 通话详单数据：通话一次，记录一行数据。 投诉数据： 1.数据抽样 由于数据挖掘算法有时间复杂度和空间复杂度的限制，所以，当数据集过大时，需要对数据进行抽样。 方法： 1）随机抽样：一般采用无放回方法进行随机抽样。 2）分层抽样。先根据某个条件（如分类中的类别）将数据集划分成若干个子集（每个子集称为一个层），再对每个子集进行随机抽样。 2.属性选择 有些问题中，对象的属性很多。有些属性可能是无关的属性，这些属性可能使学习算法受到干扰。另一方面，有些算法处理高维的数据也有困难。所以，事先有必要在所有属性中，选择出比较重要的属性。 属性子集选择方法包括以下技术： 1.逐步向前选择： 由空属性集开始，每次都选择原属性集中最好的属性，将其添加到集合中。 2.逐步向后删除： 由整个属性集开始，在每一步，删除掉尚在属性集中的最坏属性。 3. 向前选择和向后删除的结合： 每一步选择一个最好的属性，并在剩余属性中删除一个最坏的属性。 3. 缺值处理 缺值：某些对象在某些属性上缺少值。典型处理方法有： 1.直接删除 缺值实例数较少，而实例总数很大时采用。 2.新值法 将缺值作为一个新值看待。 例如：选择型问卷调查中，有些题调查者没有答。此时，可增加一个选择E。如果没有选择，就认为他选择了E。 3.统计填充法 用该属性非缺值的均值，或中位点，或众数填充。 4.预测估计法 4.属性合成 含义：属性合成指将一个或若干个属性合并成一个或若干个属性。 1.比例法：通常用在两个具有主从关系或部分关系的属性上。 长话次数 电话：长话次数占的比例== —————— 通话总次数 2. 通过和-积-差等常规计算，产生衍生属性。 电话：被叫通话时长=通话总时长-主叫通话时长 3.通过汇总统计，产生新的属性 1）简单统计量 购物：一段时间内的平均每次购物额。 2）离散程度 电信：用户拨打不同电话号码的个数。 手机客户流失预测问题的数据与处理： 将详单数据聚集为月度数据： 数据采样： 客户流失模型研究的目标是为了挽留客户。研究价值低的客户得不偿失。因此，应选择满足一定价值标准的客户。例如，积分或历史消费数据应大于某个标准。 客户“类标签”的确定： 在电信客户流失中，主要有三类流失： 1）主动流失：客户