logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

统计学决策树概论.pdf 85页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 小茗(下载加QQ:506618349)(上传创作收益人)
  • 发布时间:2019-04-26
  • 需要金币6(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:2.05 MB
下载过该文档的会员
统计学决策树概论
你可能关注的文档:
目录 1. 决策树模型与学习 2. 特征选择 3. 决策树的生成 4. 决策树的剪枝 5. CART算法 一、决策树的模型与学习 例子 决策树模型 决策树和归纳算法 决策树-从机器学习看分类及归纳推理等问题 决策树算法 决策树的表示 决策树与条件概率分布 决策树 通过对分类问题一般方法的描述,可以看出分类问题 一般包括两个步骤: 1 、模型构建 (归纳) 通过对训练集合的归纳,建立分类模型。 2、预测应用 (推论) 根据建立的分类模型,对测试集合进行测试。 决策树 决策树是一种典型的分类方法 首先对数据进行处理,利用归纳算法生成可读的规则和 决策树, 然后使用决策对新数据进行分析。 本质上决策树是通过一系列规则对数据进行分类的过程。 决策树 决策树的优点 1 、推理过程容易理解,决策推理过程可以表示成If Then 形式; 2、推理过程完全依赖于属性变量的取值特点; 3 、可自动忽略目标变量没有贡献的属性变量,也为判断 属性变量的重要性,减少变量的数 目提供参考。 决策树和归纳算法 决策树技术发现数据模式和规则的核心是归纳算法。 归纳是从特殊到一般的过程。 归纳推理从若干个事实中表征出的特征、特性和属性中, 通过比较、总结、概括而得出一个规律性的结论。 归纳推理试图从对象的一部分或整体的特定的观察中获 得一个完备且正确的描述。即从特殊事实到普遍性规律 的结论。 归纳对于认识的发展和完善具有重要的意义。人类知识 的增长主要来源于归纳学习。 决策树和归纳算法 归纳学习由于依赖于检验数据,因此又称为检验学习。 归纳学习存在一个基本的假设: 任一假设如果能够在足够大的训练样本集中很好的逼近 目标函数,则它也能在未见样本中很好地逼近 目标函数。 该假定是归纳学习的有效性的前提条件。 决策树和归纳算法 归纳过程就是在描述空间中进行搜索的过程。 归纳可分为自顶向下,自底向上和双向搜索三种方式。  自底向上法一次处理一个输入对象。将描述逐步一般化。 直到最终的一般化描述。  自顶向下法对可能的一般性描述集进行搜索,试图找到 一些满足一定要求的最优的描述。 决策树 从特殊的训练样例中归纳出一般函数是机器学习的中 心问题; 从训练样例中进行学习通常被视为归纳推理。 每个例子都是一个对偶 (序偶) (x, f(x)),对 每个输入的x,都有确定的输出f(x)。 学习过程将产生对 目标函数f的不同逼近。F的每一 个逼近都叫做一个假设。 假设需要以某种形式表示。例如,y ax+b。通过调 整假设的表示,学习过程将产生出假设的不同变形。 在表示中通常需要修改参数 (如a, b)。 决策树 从这些不同的变形中选择最佳的假设 (或者说权值集合)。 方法的定义: 使训练值与假设值 预测出的值之间的误差平方和E最小为最佳。 ^ 2 E (Vtrain(b) V (b)) b,Vtrain (b )trainingexamples 决策树算法 与决策树相关的重要算法包括: CLS, ID3 ,C4.5,CART 算法的发展过程 Hunt,Marin和Stone 于1966年研制的CLS学习系统,用于学习单个概 念。 1979年, J.R. Quinlan 给出ID3算法,并在1983年和1986年对ID3 进行了 总结和简化,使其成为决策树学习算法的典型。 Schlimmer 和Fisher 于1986年对

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

©2010-2013 max.book118.com在线文档投稿赚钱网. All Rights Reserved 蜀ICP备08101938号