分类基础.ppt

衡量标准 机器学习 关于KNN的创新？ 预处理，加快速度？ 噪音点去除？ K的选取？ 你还能想到哪些？是否被人实现过？ Try google scholar 分类基础 邹权 博士、助理教授 分类问题过程描述 步骤1：建立分类模型（训练） 已标注的训练集 特征选择/抽取 分类“模型”表达 步骤2：利用分类模型（预测） 构建测试集 特征选择/抽取 评估 比较“真实”的标注与“预测”的标注 精度/查准率 (模式识别、二类分类) 交叉验证 生物信息学 一个例子 age income student credit_rating buys_computer 25 high no fair no 26 high no excellent no 35 high no fair yes 42 medium no fair yes 44 low yes fair yes 46 low yes excellent no 36 low yes excellent yes 29 medium no fair no 28 low yes fair yes 48 medium yes fair yes 27 medium yes excellent yes 38 medium no excellent yes 31 high yes fair yes 51 medium no excellent no 47 high no excellent ? 分类算法 基于实例 K近邻 规则（矩形划分） 基于规则-决策树 分界面 Fisher线性判别-支持向量机 判别式模型 惰性学习 急切学习 产生式模型 K近邻（KNN） 实例投影到 n-D 空间 对于一个测试样本 找出最接近测试样本的k个“最近邻” 指派到这k近邻的多数类 “邻近性”怎么度量？ Euclidean distance, dist(X1, X2) 类别属性呢？ 缺失值怎么办？ . _ + _ xq + _ _ + _ _ + . . . . . k-NN 的讨论 k-NN 适合的场景 任意形状的类簇 增量学习 对噪音数据的鲁棒性 平均了k近邻 改进：可以对更近的近邻提供更高的权重 Distance-weighted 计算开销 维数灾难 基于规则的分类 如果你有一些分类知识，用 IF-THEN 规则表示 R: IF age = youth AND student = yes THEN buys_computer = yes 如果有多条规则 IF age = young AND student = no THEN buys_computer = no IF age = young AND student = yes THEN buys_computer = yes IF age = mid-age THEN buys_computer = yes IF age = old AND credit_rating = excellent THEN buys_computer = no IF age = old AND credit_rating = fair THEN buys_computer = yes Where mid-age=31~40 规则序方案 如何排序 规模序：规则前件的规模（如触发属性的多少） 基于类的序：最普遍的类-最少见的类 规则质量的度量 覆盖率ncovers = # of tuples covered by R 准确率ncorrect = # of tuples correctly classified by R coverage(R) = ncovers /|D| /* D: training data set */ accuracy(R) = ncorrect / ncovers 基于规则的序 基于规则质量的度量 决策树 age? overcast student? credit rating? =30 40 yes 31..40 fair excellent yes no 决策树： 内部节点：矩形 代表在一个属性上的测试 分枝：代表一个测试输出 叶子节点：圆形，存放一个类标号 no no yes yes 归纳决策树的基本算法 贪婪的，自顶向下的重复分治法 创建根节点，候选属性集合 持续 找出最好的属性及其分裂准则 从属性列表中减去分裂属性 对分裂属性的每个分枝 以满足该条件的训练集合与当前候选属性集合为输入归纳决策树 +该节点到根节点 停止分裂 如果所有训练实例都是同类 属性列表为空 多数表决 空训练集 Fisher线性判别：2类 y 从n维x空间到一维y空间的投