机器学习-05上.pptVIP

* * * * * * * * * * * * 线性边界 多维数据处理 多维数据分类（7） 举例：汽车销售 predict the type of a car 线性判别式 linear discriminant Decision regions of such a linear classifier are convex; namely, when two points are chosen arbitrarily in one decision region and are connected by a straight line, all the points on the line will lie in the region. 多维数据处理 多维数据分类（8） 举例：汽车销售 predict the type of a car 进一步简化 The term (xtj-mij)/sj has the effect of normalization and measures the distance in terms of standard deviation units. 多维数据处理 多维数据分类（9） 举例：汽车销售 predict the type of a car 进一步简化 The term (xtj-mij)/sj has the effect of normalization and measures the distance in terms of standard deviation units. 多维数据处理 所以类具有相等的对角协方差, 但方差不等 多维数据处理 轴对齐 多维数据分类（10） 举例：汽车销售 predict the type of a car 再次简化 多维数据处理 所以类具有相等的对角协方差, 相等的方差 多维数据处理 退化成圆 多维数据分类（11） 最近邻分类（nearest mean classifier ）形式  predict the type of a car 再次简化 多维数据处理 线性判别式 多维数据分类（12） 最近邻分类形式  predict the type of a car  多维数据处理 总结：控制模型的复杂度（1） 简化的结果 简化降低了方差，带来偏倚升高的风险 不简化，方差会很大，特别是小数据集上更严重 数据规模小时，这种假设更有效果 多维数据处理 多维数据处理 多维数据处理 总结：控制模型的复杂度（2） 简化的结果 多维数据处理 the END * * * * * * * * * * * * * * * * * * 机器学习第五讲(上) 多维数据处理与维度约简 我们的问题 什么是多维数据 如何处理多维数据 为什么要降维 如何绛维 多维数据处理 多维数据Multivariate Data（1） 定义 被观测的样本实例（instances）具有多个属性（d 1） 样本集可以描述成数据矩阵data matrix 不同属性代表不同的观测角度，测量上也许会有不同的尺度（单位或量纲） 可以是连续的数值也可以使离散的量 多维数据处理 多维数据（2） 定义 通常这些是相关的 可能的处理任务 属性约简（化简Simplification、降维Dimensionality Reduction） 分类：预测的量是离散的 回归：预测的量是连续的 多维数据处理 参数估计Parameter Estimation（1） 均值向量mean vector 属性间的协方差 Covariance The variance of Xi is denoted as σi2 the covariance of two variables Xi and Xj is defined as: 多维数据处理 参数估计（2） 协方差矩阵 Covariance Matrix denoted as Σ, whose (i, j)th element is σij: The diagonal terms are the variances, the off-diagonal terms are the covariances, and the matrix is symmetric.  多维数据处理 参数估计（3） 协方差矩阵 Covariance Matrix 使用向量矩阵记号 If two variables are related in a linear way, then the covariance will be po