模式识别导论L10_DecisionTree_Clustering.pdfVIP

回顾 ? 神经网络 ? 神经元 ? 连接神经元的权值 ? 偏置单元 ? 前馈神经网络 ? 简单感知器 ? 多层前馈神经网络 ? 多层前馈神经网络的表达能力 任何判别函数都能由一个三层神经网络实现 回顾 ? 反向传播算法 ? 隐含层到输出层的权值更新 ? 输入层到隐含层的权值更新 ? 训练协议 ? 在线训练 ? 随机训练 ? 成批训练 回顾 ? 随机优化方法 ? 依赖随机性所起的关键作用，使搜索朝着预期最优解的 区域前进，同时允许一定程度的随机扰动，以利于发现 最优解 ? 模拟退火 ? 基于统计力学的概念和技术 ? 遗传算法 ? 基于生物学概念，尤其是进化论的数学描述 回顾 ? 模拟退火 ? 随机状态转移 ? Metropolis准则 ? 1 if ?E (x?) ?E (x ) ? ? p ( , ) x x ? E ( ?) E ( ) ? ? x ? x ? exp if E(x ) E(x) ? ?? ? ? ? ? ? T (k) ? 回顾 ? 遗传算法 ? 三种基本操作 ? 复制 （replication） ? 交叉 （crossover ） ? 变异 （mutation） ? 基本过程 ? 编码 ? 生成种群 ? 计算适应度 ? 选择 ? 交叉 ? 变异 Ch 10. 决策树 特征类型 ? 数值数据 （numerical data） ? 例：{1.2, 4.5, 3.3} ? 模式间可以计算距离度量 ? 基于度量的模式分类方法 ? 标称数据 （nominal data） ? 例：{红色，有光泽，甜，小} ? 模式间没有距离的概念 ? 非度量方法 决策树 ? 什么是决策树？ ? 决策树是一种类似流程图的树形结构，每个内部节点表 示一个测试（查询），该节点的每个分支表示该测试的 一个结果，每个叶节点表示一个类别 ? 决策树的构成 ? 根节点 （root） ? 分支 （branch） ? 叶节点 （leaf） 决策树