- 1、本文档共85页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
统计学决策树概论
目录
1. 决策树模型与学习
2. 特征选择
3. 决策树的生成
4. 决策树的剪枝
5. CART算法
一、决策树的模型与学习
例子
决策树模型
决策树和归纳算法
决策树-从机器学习看分类及归纳推理等问题
决策树算法
决策树的表示
决策树与条件概率分布
决策树
通过对分类问题一般方法的描述,可以看出分类问题
一般包括两个步骤:
1 、模型构建 (归纳)
通过对训练集合的归纳,建立分类模型。
2、预测应用 (推论)
根据建立的分类模型,对测试集合进行测试。
决策树
决策树是一种典型的分类方法
首先对数据进行处理,利用归纳算法生成可读的规则和
决策树,
然后使用决策对新数据进行分析。
本质上决策树是通过一系列规则对数据进行分类的过程。
决策树
决策树的优点
1 、推理过程容易理解,决策推理过程可以表示成If Then
形式;
2、推理过程完全依赖于属性变量的取值特点;
3 、可自动忽略目标变量没有贡献的属性变量,也为判断
属性变量的重要性,减少变量的数 目提供参考。
决策树和归纳算法
决策树技术发现数据模式和规则的核心是归纳算法。
归纳是从特殊到一般的过程。
归纳推理从若干个事实中表征出的特征、特性和属性中,
通过比较、总结、概括而得出一个规律性的结论。
归纳推理试图从对象的一部分或整体的特定的观察中获
得一个完备且正确的描述。即从特殊事实到普遍性规律
的结论。
归纳对于认识的发展和完善具有重要的意义。人类知识
的增长主要来源于归纳学习。
决策树和归纳算法
归纳学习由于依赖于检验数据,因此又称为检验学习。
归纳学习存在一个基本的假设:
任一假设如果能够在足够大的训练样本集中很好的逼近
目标函数,则它也能在未见样本中很好地逼近 目标函数。
该假定是归纳学习的有效性的前提条件。
决策树和归纳算法
归纳过程就是在描述空间中进行搜索的过程。
归纳可分为自顶向下,自底向上和双向搜索三种方式。
自底向上法一次处理一个输入对象。将描述逐步一般化。
直到最终的一般化描述。
自顶向下法对可能的一般性描述集进行搜索,试图找到
一些满足一定要求的最优的描述。
决策树
从特殊的训练样例中归纳出一般函数是机器学习的中
心问题;
从训练样例中进行学习通常被视为归纳推理。
每个例子都是一个对偶 (序偶) (x, f(x)),对
每个输入的x,都有确定的输出f(x)。
学习过程将产生对 目标函数f的不同逼近。F的每一
个逼近都叫做一个假设。
假设需要以某种形式表示。例如,y ax+b。通过调
整假设的表示,学习过程将产生出假设的不同变形。
在表示中通常需要修改参数 (如a, b)。
决策树
从这些不同的变形中选择最佳的假设 (或者说权值集合)。
方法的定义:
使训练值与假设值 预测出的值之间的误差平方和E最小为最佳。
^
2
E (Vtrain(b) V (b))
b,Vtrain (b )trainingexamples
决策树算法
与决策树相关的重要算法包括:
CLS, ID3 ,C4.5,CART
算法的发展过程
Hunt,Marin和Stone 于1966年研制的CLS学习系统,用于学习单个概
念。
1979年, J.R. Quinlan 给出ID3算法,并在1983年和1986年对ID3 进行了
总结和简化,使其成为决策树学习算法的典型。
Schlimmer 和Fisher 于1986年对
文档评论(0)