机器学习与数据挖掘.pptVIP

机器学习与数据挖掘 特征选择与特征降维 维数灾难 Curse of Dimensionality 随着维数的增加，特征空间的体积指数增加，从而导致各方面的成本指数增加 样本数量 存储空间 计算量 …… 图灵可计算问题：多项式复杂度 涉及高维空间的算法是不可计算的！？ 维数灾难 维数灾难的几个表现 空间采样 维数灾难 维数灾难的几个表现 索引困难 维数灾难 维数灾难的几个表现 样本稀疏 总样本：1000 每维划分：4 1维：1000/4 = 250 样本/区间 2维：1000/(4*4) = 62.5 样本/区间 10维：1000/(4^10) = 0.001 样本/区间 维数灾难 维数灾难的几个表现 噪声影响 特征空间：101维 正负样本在第一维的距离：1 样本在其余维的噪声：10% “噪声距离”： ?即使噪声只有10%，高维空间的“噪声距离”足以掩盖正负样本的本质区别 维数灾难 高维空间的奇异特性 维数灾难 数学理论偏好较低维数的空间 要在特征空间进行合理密度的采样，特征维数超过5都是非常困难的 实际问题偏好较高维数的空间 问题的复杂性 特征的完备性 ?特征降维 维数灾难 更多的特征可能导致分类性能反而下降 维数灾难 特征降维的途径 去除无用特征 特征的必要性：不必要的特征对训练无用 特征选择 去除相关分量 特征的相关性：相关的多个特征可以变换成较少的不相关分量 特征变换/特征降维 特征选择 从整个特征集中选择最有效的子集 如何评价特征“有效性”？ 互信息量， 测试，…… 如何决定阈值？ 指定维数 指定“有效性”指标 指定性能 增量式、减量式性能评价 特征选择 特征有效性评价 从概率论的角度 协方差 两个随机变量不相关：协方差为0 随机变量相关度与协方差正相关 问题：协方差是两个变量的总方差 如果某变量方差大，则协方差也大 特征选择 特征有效性评价 从概率论的角度 相关系数（归一化协方差） 值域范围：[-1, +1] 绝对值越大，相关性越大 一般使用其平方作为特征选择指标 特征选择 特征有效性评价 从数理统计的角度（假设检验） 测试 T测试 ?自己翻课本查公式 与相关系数在理论上非常接近，但更偏重于有限样本下的估计 特征选择 特征有效性评价 从信息论角度 把机器学习过程看做通信 特征是编码 目标函数是信息 特征包含的有关目标函数的信息越多，则从特征解出的信息就越多?完全编码目标函数需要的额外特征就越少 各种信息量/熵衡量指标 特征选择 特征有效性评价 从信息论角度 条件熵 与“相关性”负相关 信息增益 相对信息增益 /tutorials/infogain.html 特征选择 特征有效性评价 从信息论角度 互信息量(Mutual Information) KL-距离 特征选择 特征有效性评价 IR领域的度量 （逆）文档词频(inverse document frequency) 特征选择 特征有效性评价 IR领域的度量 词强度(term strength) 已知一个词(特征)在某文档(实例)中出现，该词在同类(目标函数值相同)文档中出现的概率为词强度 特征选择 特征有效性评价 学习相关的度量 分类准确率 用单一维特征进行分类训练，某种分类准确率指标作为特征的有效性度量 复杂度较大 不一定有合适的准确率指标 特征选择 选择方法 独立选择 指定维数 如何确定？ 指定阈值 如何确定？ 特征的组合可能比单个的特征有效 ?联合选择 特征选择 联合选择 减量法 F ={全体特征} 计算在F上的分类性能 F? = F -{f} f可以用评价准则选择，也可以遍历所有特征 计算在F?上的分类性能 如果分类性能不降低： F=F?，循环 否则结束 特征选择 联合选择 增量法 F ={f1} 计算在F上的分类性能 F? = F +{f 2} f1、 f2可以用评价准则选择，也可以遍历所有特征 计算在F?上的分类性能 如果分类性能增加： F=F?，循环 否则结束 特征选择 联合选择 增/减量法优缺点 复杂度关于维数为 或 选单个特征采用评价准则排序的方式为一次 选单个特征采用测试全部特征的方式为二次 本质上是贪心算法 某些组合无法遍历 可能陷入局部极值 特征选择 联合选择 全组合遍历 NP难 特征选择 联合选择 模拟退火/遗传算法（通用的优化算法） 随机生成一批解 可以用梯度下降法迭代到局部极值 用现有解通过操作合成新的解 不要求合成操作具有任何理论依据 好的合成操作将极大提高解题效率 对新生成的解进行生存选择 同上，并可用梯度下降法迭代到局部极值 迭代直到收敛或已支付预期的计算量 特征选择 模拟退火/遗传算法 理论依据 梯度下降法（爬山法）往往陷入局部极值 非梯度下降手段使解“跳”到爬山法可求解范围 不同的非梯度下降手段产