logo

您所在位置网站首页 > 海量文档  > 计算机 > 数据结构与算法

统计学k 近邻法概论.pdf 20页

本文档一共被下载: ,您可全文免费在线阅读后下载本文档。

  • 支付并下载
  • 收藏该文档
  • 百度一下本文档
  • 修改文档简介
全屏预览

下载提示

1.本站不保证该用户上传的文档完整性,不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值,立即自动返金币,充值渠道很便利
特别说明: 下载前务必先预览,自己验证一下是不是你要下载的文档。
  • 上传作者 小茗(下载加QQ:506618349)(上传创作收益人)
  • 发布时间:2019-04-26
  • 需要金币6(10金币=人民币1元)
  • 浏览人气
  • 下载次数
  • 收藏次数
  • 文件大小:1.51 MB
下载过该文档的会员
统计学k 近邻法概论
你可能关注的文档:
目录 1. k 近邻算法 2. k 近邻模型 3. k 近邻法的实现: kd 树 一、k 近邻算法 原理 特点 一般流程 K-Nearest Neighbors算法原理 K=7 Neighborhood K=1 Neighborhood Dependent of the data distributions. Can make mistakes at boundaries. 4 K-Nearest Neighbors算法特点 优点 精度高 对异常值不敏感 无数据输入假定 缺点 计算复杂度高 空间复杂度高 适用数据范围 数值型和标称型 K-Nearest Neighbors Algorithm 工作原理 存在一个样本数据集合,也称作训练样本集,并且样本 集中每个数据都存在标签,即我们知道样本集中每个数 据与所属分类的对应关系。 输入没有标签的新数据后,将新数据的每个特征与样本 集中数据对应的特征进行比较,然后算法提取样本集中 特征最相似数据 (最近邻)的分类标签。 一般来说,只选择样本数据集中前N个最相似的数据。K 一般不大于20 ,最后,选择k个中出现次数最多的分类, 作为新数据的分类 K近邻算法的一般流程 收集数据:可以使用任何方法 准备数据:距离计算所需要的数值,最后是结构化的数 据格式。 分析数据:可以使用任何方法 训练算法: (此步骤kNN )中不适用 测试算法:计算错误率 使用算法:首先需要输入样本数据和结构化的输出结果, 然后运行k-近邻算法判定输入数据分别属于哪个分类, 最后应用对计算出的分类执行后续的处理。 二、k 近邻模型 模型 距离度量 k 值的选择 分类决策规则 模型 距离度量 Lp距离: 欧式距离: 曼哈顿距离 L∞距离 距离度量 K值的选择 如果选择较小的K值  “学 习”的近似误差 (approximation error)会减小,但 “学习”的估计误差 (estimation error) 会增大, 噪声敏感 K值的减小就意味着整体模型变得复杂,容易发生过 拟 合. 如果选择较大的K值, 减少学习的估计误差,但缺点是学习的近似误差会增大. K值的增大 就意味着整体的模型变得简单. 分类决策规则 多数表决规则 (经验风险最小化) 分类函数 误分类率 三、k 近邻法的实现 :kd 树 构造 kd 树 搜索 kd 树 KD树 kd树是一种对K维空间中的实例点进行存储以便对其进 行快速检索的树形数据结构. Kd树是二叉树,表示对K维空间的一个划分 (partition).构造Kd树相 当于不断地用垂直于坐标轴的 超平面将k维空间切分,构成一系列的k维超矩形区 域.Kd树的每个结点对应于一个k维超矩形区域. KD树 构造kd树: l 对深度为j 的节点,选择x 为切分的坐标轴 例: KD树 {(2,3),(5,4),(9,6),(4,7),(8,1),(7,2)}, 建立索引 KD树搜索 Q & A

发表评论

请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
用户名: 验证码: 点击我更换图片

“原创力文档”前称为“文档投稿赚钱网”,本站为“文档C2C交易模式”,即用户上传的文档直接卖给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的收益归上传人(含作者)所有【成交的100%(原创)】。原创力文档是网络服务平台方,若您的权利被侵害,侵权客服QQ:3005833200 电话:19940600175 欢迎举报,上传者QQ群:784321556