第10章数据挖掘与客户关系管理讲述.pptVIP

* * 数据本身：垃圾进、垃圾出。此类问题可能在两个层次上产生。第一个是微观层次，即个人记录。例如，特殊的属性可能丢失或输错了。我知道一个案例，由于挖掘者不知道，丢失的数据被记录为99而作为真实的数据处理。第二个是宏观层次，整个数据集被一些选择机制所歪曲。交通事故为此提供了一个好的示例。越严重的、致命的事故，其记录越精确，但小的或没有伤害的事故的记录却没有那么精确。 * ——决策树（Decision Tree）：例 信用卡促销数据库 年 龄 Yes（6／1） No（2／1） ≤43 ＞43 性 别 F M 信用卡保险 Yes（2／0） No（3／0） No Yes 信用卡数据库的三节点决策树 ○训练集分类的正确性为13／15＝87％ 数据挖掘方法 收入段 寿险促销 信用卡保险 性别 年龄 4-5万 No No M 45 3-4万 Yes No F 40 4-5万 No No M 42 3-4万 Yes Yes M 43 5-6万 Yes No F 38 2-3万 No No F 55 3-4万 Yes Yes M 35 2-3万 No No M 27 3-4万 No No F 43 3-4万 Yes No F 41 4-5万 Yes No M 43 2-3万 Yes No F 29 5-6万 Yes No F 39 4-5万 No No M 55 2-3万 Yes Yes F 19 ——决策树（DecisionTree）：例 信用卡促销数据库 收入段 寿险促销 信用卡保险 性别 年龄 4-5万 No No M 45 3-4万 Yes No F 40 4-5万 No No M 42 3-4万 Yes Yes M 43 5-6万 Yes No F 38 2-3万 No No F 55 3-4万 Yes Yes M 35 2-3万 No No M 27 3-4万 No No F 43 3-4万 Yes No F 41 4-5万 Yes No M 43 2-3万 Yes No F 29 5-6万 Yes No F 39 4-5万 No No M 55 2-3万 Yes Yes F 19 信用卡保险 Yes（5／2） No（4／1） No Yes 性 别 F M Yes（3／0） 信用卡数据库的两节点决策树 ○训练集分类的正确性为12／15＝80％ 数据挖掘方法 ——决策树（Decision Tree）：例 信用卡促销数据库检验集 收入段 寿险促销 信用卡保险 性别 年龄 检验结果 4-5万 No No M 42 正确 2-3万 No No M 27 正确 3-4万 No No M 43 正确 2-3万 Yes No M 29 错误 年 龄 Yes（6／1） No（2／1） ≤43 ＞43 性 别 F M 信用卡保险 Yes（2／0） No（3／0） No Yes 信用卡数据库的三节点决策树 数据挖掘方法 ●现代方法 ——K－平均值算法 K-平均值算法是一种简单而有效的无指导学习的统计聚类方法，将一组数据划分为不相关的簇 算 法 步 骤 ○选择一个K值，用以确定簇的总数 ○在数据集中任意选择K个数据实例，作为初始的簇中心 ○试用简单的欧氏距离将其它数据实例赋予距离它们最近的簇中心 ○试用每个簇中的数据实例，计算每个簇的新的平均值 ○如果新的平均值等于次迭代的平均值，终止该过程。否则，用新平均值作为簇中心并重复步骤3－5。 点A(x1,y1)与点B(x2,y2)之间的欧氏距离计算式为 数据挖掘方法 K－平均值算法：例 K-平均值输入属性 实例 X Y 1(C1) 1.0 1.5 2 1.0 4.5 3(C2) 2.0 1.5 4 2.0 3.5 5 3.0 2.5 6 5.0 6.0 1.选择K=2，即将所有数据实例分为两个簇 2.选择实例1作为第1个簇的中心，实例3作为第2个簇的中心 3.计算各数据实例与C1、C2之间的欧氏距离 Dist(C1－1)=0.00 Dist(C2－1)=1.00 C1 Dist(C1－2)=3.00 Dist(C2－2)=3.16 C1 Dist(C1－3)=1.00 Dist(C2－3)=0.00 C2 Dist(C1－4)=2.24 Dist(C2－4)=2.00 C2 Dist(C1－5)=2.24 Dist(C2－5)=1.41 C2 Dist(C1－6)=6.02 Dist(C2－6)=5.41 C2 4.迭代结果得到以下两个簇