[理学]第6讲 分类和预测.pptVIP

贝叶斯分类 贝叶斯分类利用统计学中的贝叶斯定理，来预测类成员的概率，即给定一个样本，计算该样本属于一个特定的类的概率。 朴素贝叶斯分类：假设每个属性之间都是相互独立的，并且每个属性对非类问题产生的影响都是一样的。 后向传播分类 后向传播是一种神经网络学习算法；神经网络是一组连接的输入/输出单元，每个连接都与一个权相连。在学习阶段，通过调整神经网络的权，使得能够预测输入样本的正确标号来学习。 优点 预测精度总的来说较高 健壮性好，训练样本中包含错误时也可正常工作 输出可能是离散值、连续值或者是离散或量化属性的向量值 对目标进行分类较快 缺点 训练（学习）时间长 蕴涵在学习的权中的符号含义很难理解 很难根专业领域知识相整合 其他分类方法 k-最临近分类 给定一个未知样本，k-最临近分类法搜索模式空间，找出最接近未知样本的k个训练样本；然后使用k个最临近者中最公共的类来预测当前样本的类标号 基于案例的推理 样本或案例使用复杂的符号表示，对于新案例，先检测是否存在同样的训练案例；如果找不到，则搜索类似的训练案例 遗传算法 结合生物进化思想的算法 粗糙集方法 模糊集方法 允许在分类规则中定义“模糊的”临界值或边界 什么是预测？ 预测是构造和使用模型评估无样本类，或评估给定样本可能具有的属性或值空间。 预测和分类的异同 相同点 两者都需要构建模型 都用模型来估计未知值 预测当中主要的估计方法是回归分析 线性回归和多元回归 非线性回归 不同点 分类法主要是用来预测类标号（分类属性值） 预测法主要是用来估计连续值（量化属性值） 线性回归、多元回归和非线性回归 线性回归：Y = ? + ? X 其中?和?是回归系数，可以根据给定的数据点，通过最小二乘法来求得 多元回归：Y = ? + ?1X1 + ?2 X2 线性回归的扩展，设计多个预测变量，可以用最小二乘法求得上式中的?，?1 和?2 非线性回归：Y = ? + ?1X1 + ?2 X22+ ?3 X33 对不呈线性依赖的数据建模 使用多项式回归建模方法，然后进行变量变换，将非线性模型转换为线性模型，然后用最小二乘法求解 评估分类法的准确性 导出分类法后，再使用训练数据评估分类法，可能错误的导致乐观的估计 保持方法 给定数据随机划分为两个集合：训练集(2/3)和测试集(1/3) 训练集导出分类法，测试集对其准确性进行评估 随机子选样：保持方法的一个变形，将保持方法重复k次，然后取准确率的平均值 k-折交叉确认 初始数据被划分为k个不相交的，大小大致相同的子集S1,S2…Sk 进行k次训练和测试，第i次时，以Si做测试集，其他做训练集 准确率为k次迭代正确分类数除以初始数据集样本总数 提高分类法的准确性 Bagging技术和boosting技术都通过将T个学习得到的分类法C1,C2…CT组合起来，从而创造一个改进的分类法C* Bagging技术 对训练集S进行T次迭代，每次通过放回取样选取样本集St，通过学习St得到分类法Ct 对于未知样本X，每个分类法返回其类预测，作为一票 C*统计得票，并将得票最高的预测赋予X Boosting技术 每个训练样本赋予一个权值 Ct的权值取决于其错误率 * * * * * * 第六章 分类和预测 分类 VS. 预测 分类： 预测分类标号（或离散值） 根据训练数据集和类标号属性，构建模型来分类现有数据，并用来分类新数据 预测： 建立连续函数值模型，比如预测空缺值 典型应用 信誉证实 目标市场 医疗诊断 性能预测 数据分类——一个两步过程 第一步，建立一个模型，描述预定数据类集和概念集 假定每个元组属于一个预定义的类，由一个类标号属性确定 基本概念 训练数据集：由为建立模型而被分析的数据元组形成 训练样本：训练数据集中的单个样本（元组） 学习模型可以用分类规则、判定树或数学公式的形式提供 第二步，使用模型，对将来的或未知的对象进行分类 首先评估模型的预测准确率 对每个测试样本，将已知的类标号和该样本的学习模型类预测比较 模型在给定测试集上的准确率是正确被模型分类的测试样本的百分比 测试集要独立于训练样本集，否则会出现“过分适应数据”的情况 第一步——建立模型 训练数 据集 分类算法 IF rank = ‘professor’ OR years 6 THEN tenured = ‘yes’ 分类规则 第二步——用模型进行分类 分类规则 测试集 未知数据 (Jeff, Professor, 4) Tenured? 有指导的学习 VS. 无指导的学习 有指导的学习（用于分类） 模型的学习在被告知每个训练样本属于哪个类的“指导”下进行 新数据使用训练数据集中得到的规则进行分类 无指导的学习（用于聚类） 每个训练样本的类编号是未知的，要学习的类集合或数量也可能是