数据分类.pptVIP

结论： 无法找到一种合适的分类方法，本数据源不适合做分类。 谢谢！ * * 数据分类 甄远刚 许洪恺 孙艳艳 朱清伟 分类问题应用领域 分类：把数据样本映射到一个事先定义的类中的学习过程，即给定一组输入的属性向量及其对应的类，用基于归纳的学习算法得出分类。 分类问题概述 1.训练样本集：为建立模型而收集的数据元组（记录）的集合。 2.训练样本：训练数据集中的单个样本（元素）。 分类问题概述 Age Salary Class 30 high c1 25 high c2 21 low c2 43 high c1 18 low c2 33 low c1 … … … 分类问题的示例数据集 描述 属性 类别 属性 3.描述属性：用于描述训练样本的属性。可以是连续型的，也可以是离散型的。 4.类别属性：必须是离散型属性，如Class。 分类问题概述 分类问题概述 分类问题中使用的数据集可以表示为X={(xi,yi)|i=1,2,…,total} xi=(xi1,xi2,…,xid) ，其中xi1,xi2,…,xid分别对应d个描述属性A1,A2,…,Ad的具体取值。 yi表示数据样本xi的类标号，假设给定数据集包含m个类别，则yi∈{c1,c2,…,cm}，其中c1,c2,…,cm是类别属性C的具体取值，也称为类标号。 分类的过程 获取数据 预处理 分类器设计 分类决策 1、获取数据 分类问题所获取的数据可以是文字、图像、指纹、波形图以及各种物理和逻辑数据。 物理数据：既包含数值型数据，又包含描述型数据。 逻辑数据：对某些描述型数据用逻辑值表示。 2、预处理 对数据的预处理通常包括： （1）去除噪声数据，对空缺值进行处理。 （2）进行数据集成或变换。 3、分类器设计 （1）划分数据集。将数据集分为两部分：训练集和测试集。 可以随机抽取2/3的数据样本作为训练集，1/3的数据样本作为测试集。 十交叉验证方法。将第i组数据样本作为测试集，其余的9组样本作为训练集。 划 分 方 法 （2）分类器构造。利用训练集构造分类器（分类模型）。 通过分析每个数据样本的属性信息，总结出分类的规律性，从而建立判别公式或判别规则。 （3）分类器测试。利用测试集对分类器的分类性能进行评估。 利用分类器对测试集中的每个数据样本进行分类，将得到的类标号与测试集中原始的类标号进行对比，从而得到分类器的性能。 当前有影响力的决策树算法为ID3和C4.5。 决策树 ID3：只能处理离散型描述属性，选择信息增益最大的属性划分训练样本，目的是使分枝时的熵最小，从而提高算法的运算速度和精确度。 决策树 决策树的优点： 进行分类器设计时，决策树分类方法所需时间相对较少。 决策树的分类模型是树状结构，简单直观，比较符合人类的理解方式。 可以将决策树中到达每个叶节点的路径转换为IF—THEN形式的分类规则，这种形式更有利于理解。 公司职员 年龄 收入 信誉度 买保险 否 ≤40 高 良 c2 否 ≤40 高 优 c2 否 41~50 高 良 c1 否 50 中 良 c1 是 50 低 良 c1 是 50 低 优 c2 是 41~50 低 优 c1 否 ≤40 中 良 c2 是 ≤40 低 良 c1 是 50 中 良 c1 是 ≤40 中 优 c1 否 41~50 中 优 c1 是 41~50 高 良 c1 否 50 中 优 c2 描述属性 类别属性 决策树 年龄 公司职员 信誉度 c1 c2 c1 c2 c1 ≤40 41~50 50 是 否 良 优 决策树 实例 数据预处理 原始数据 数据预处理 清洗前 清洗后 数据预处理 导入数据库 分类器设计 Excel统计的分类 按照职位 按照产业类型 分类器设计 统计变动最多的前十名情况 分类器设计 统计变动最多的前十名情况 1 这些数据适不适合分类呢？ 2 以什么作为分类依据？ 3 分出的又是哪些类呢？ * *