机器学习-05-下-.ppt

在两条不同的直线上投影差别 维度约简 线性判别式分析 (LDA)（3） 两个类的问题 确定 w m1 and m1 are the means of samples from C1 before and after projection, respectively. Note that m1 ∈ Rd and m1 ∈R . We are given a sample X = {xt, rt} such that rt = 1 if xt ∈ C1 and rt = 0 if xt ∈ C2. 投到一维 变标量 标量 维度约简 线性判别式分析 (LDA)（4） 两个类的问题 确定 w The scatter（散布） of samples from C1 and C2 after projection are: 希望 ||m1 ? m2|| 大，s12 + s22 小 分散程度 维度约简 线性判别式分析 (LDA)（5） 两个类的问题 确定 w Fisher’s linear discriminant 最大化下式 投影到向量上，寻找理想的分界 维度约简 线性判别式分析 (LDA)（6） 两个类的问题 确定 w Fisher’s linear discriminant 重写分子 定义SB 为类间散布矩阵（between-class scatter matrix.） 维度约简 线性判别式分析 (LDA)（7） 两个类的问题 确定 w Fisher’s linear discriminant 重写分母 维度约简 线性判别式分析 (LDA)（8） 两个类的问题 确定 w Fisher’s linear discriminant 重写分母 维度约简 线性判别式分析 (LDA)（9） 两个类的问题 确定 w Fisher’s linear discriminant 判别式改写 对 w 微分，并令其为0 维度约简 线性判别式分析 (LDA)（10） 两个类的问题 确定 w Fisher’s linear discriminant 方程的解 当 ， 有判别式： 已被证明 维度约简 线性判别式分析 (LDA)（11） 推广到多类问题 对于 K 个类的情况 需要K-1个判别式 二类问题需要一个判别式 需要向 K-1 个 d 维矢量投影（需要 K-1条直线，K-1个分界） 由这些向量作为列向量组成矩阵 W X 向 W 投影 z 是 k 维，W 是 d × k. 维度约简 线性判别式分析 (LDA)（12） 推广到多类问题 对于 K 个类的情况 Ci 的类内散布矩阵 维度约简 线性判别式分析 (LDA)（13） 推广到多类问题 对于 K 个类的情况 类间散布矩阵 投影后的类间散布矩阵 投影后的类内散布矩阵 维度约简 线性判别式分析 (LDA)（14） 推广到多类问题 对于 K 个类的情况 要求最大化 希望 大，类均值相互远离 希望 小，类内样本接近均值 的最大特征向量是上式的解 维度约简 线性判别式分析 (LDA)（15） 推广到多类问题 对于 K 个类的情况 要求最大化 最优的W的列向量是下式的最大本征值对应的本征向量 可以求解普通的本征值问题得到本征向量 w 也可以直接求解特征多项式的根 三个三维分布被投影到二维平面上 the END 机器学习第五讲(下) 多维数据处理与维度约简 维度约简 维度约简 维度约简概述（1） 多种称谓 维度规约 dimensionality reduction 特征选择 feature selection 特征提取 feature extraction 统称 降维 降低维数，减少类别描述的特征数量 维度约简 维度约简概述（2） 输入的空间 输入输出均为二元的情况 需要降维吗？ 维度约简 维度约简概述（3） 输入的空间 神经网络的输入层 维度约简 维度约简概述（4） 降维的好处 理想情况下，降维不该是一个独立过程 常被看做预处理过程加以考虑 降低算法计算复杂度 简单模型，方差小，更鲁棒 特征少，易解释和学习 容易实现可视化 听说过维数灾难吗？ 嘭、嘭 维度约简 维度约简概述（5） 降维的可能性 特征描述存在冗余 特征变量相互依赖 对类别没有表征能力 无关的、错误的、表现力弱的…… 高维空间向低维空间映射 多维信息的融合、混合、揉合…… 还记得数据表的主键吗 单键、 组合键、