模式识别第2讲教材.pptVIP

模式识别 模式识别——原理、方法及应用 第2次课程概要 模式判别 决策区域和决策函数 广义决策函数 分类超平面 特征空间尺度 协方差矩阵 决策区域 样本用特征空间Rd的特征向量表示 对于分类问题，将特征空间划分为与类对应的区域，这些区域被称为决策区域 决策函数 决策函数 决策函数 线性决策函数遇到什么情况没法有效分类？ 广义决策函数 广义决策函数 例1：应用二次决策函数的一个两类判别问题 广义决策函数 例2：广义决策函数为函数的线性组合的一个两类判别问题 广义决策函数 例3：广义决策函数为多项式的一个两类判别问题 多项式决策函数的计算量 如何解决多分类问题 第一种情况：绝对可分 任何一个类可以从其他所有的类中分离出来 如何解决多分类问题 第二种情况：成对可分 不能达到绝对可分，但可以成对线性可分 常用范数 能够度量特征向量之间距离的四种常用方法 乘方范数 p是控制各维度差异的权重，r则控制样本逐渐分开的时候，它们之间距离的增长速度。 r=p，明可夫斯基范数。 r=p=2，欧几里得范数。 r=p=1，棋盘格范数。 r=p?∞，切比雪夫范数。 欧几里得距离尺度下的等距离面和决策面 2维空间 类别数为2 两个类的均值点分别是 [1 2] [1.5 1] 欧几里得距离尺度下的等距离面和决策面 2维空间 类别数为2 两个类的均值点分别是 [1 2] [1.5 1] 棋盘格距离尺度下的等距离面和决策面 2维空间 类别数为2 两个类的均值点分别是 [1 2] [1.5 1] 切比雪夫距离尺度下的等距离面和决策面 2维空间 类别数为2 两个类的均值点分别是 [1 2] [1.5 1] 距离尺度的选择 我们观察样本，看样本是以什么形状聚集在类均值点周围的，然后根据不同距离尺度的性质，进行距离尺度选择。 有没有一种距离尺度适用性稍广一些，比如通过调整某些特定的参数，以适合不同的聚类形状？ 调整——线性变换 A为对称矩阵 马哈拉诺比斯距离尺度 当A为单位矩阵，就得到欧几里得距离尺度 要达到适合多种聚类形状的情况，可以通过选择合适的A实现 为了使得马氏距离公式符合距离的意义，A是正定矩阵 关于A，后面有更多讨论…… 比例尺（1） 一个二维两类的数据分布 直观得到，两个坐标轴使用的是同样的比例尺在欧氏距离尺度下， 两个特征对于距离的计算贡献是等价的。 比例尺（2） 修改PRT维度的比例尺（实际上是还原为原来的特征量PRT=PRT10*10） 在欧氏距离尺度下，参数N对于距离的计算没有贡献。 一种标准化方法 除了对特征N进行缩放外，常用的标准化方法还有 这种标准化方法在简单比例变换中的性质 给定特征xi，经过标准化后得到的yi有 将xi作简单比例变换，即变换矩阵是对角阵的线性变换，得到xi’，再将其标准化，得到 提出问题 不是作简单比例变换，即，假如不是作对角阵的线性变换 想要通过一种距离尺度，使得一般的线性变换不会改变原先的距离 马哈拉诺比斯距离 C：协方差矩阵 协方差和相关系数（1） 协方差描述两个随机变量（X和Y）之间关系的密切程度 等于0，则X和Y相互独立 不等于0，则X和Y相互不独立，X与Y存在一定关系 协方差的绝对值越大，X与Y的相关越密切。但是需要考虑到尺度的影响，需要标准化，得到相关系数 协方差和相关系数（2） 独立与不相关 独立与不相关都是随机变量之间相互联系程度的一种反映 独立：X与Y没有任何关系 不相关：X与Y没有线性相关关系 X与Y独立，则X与Y一定不相关 X与Y不相关，则X与Y不一定独立 对于正态随机变量而言，X与Y的独立性与不相关性是等价的 协方差矩阵 给定n个样本，两个特征之间的协方差可以用以下公式估计到 直观体验协方差（1） 对于任意一个特征向量，有 如果数据分布是圆形的，那么总能找到另一个特征向量（正交的）产生一个对应的-vij值（假设样本足够多）。 遵循以上规律，将会计算出协方差cij为0的结果。 直观体验协方差（2） 用类似的方法观察一个椭圆分布 长轴（主轴）附近方向分布着更多更大的正vij值 椭圆越扁，协方差的绝对值越大，特征之间的相关性也会很高 马氏距离度量的比例变化无关性（1） 一个例子：线性变换后的均值和协方差矩阵 马氏距离度量的比例变化无关性（2） 协方差矩阵估计中可能遇到的问题 若为了利用马氏距离完成分类等任务，需要估计样本中的协方差矩阵 样本个数小于维数时，这个协方差矩阵就可能奇异，不可逆 因此，每个类别的训练集中的最少样本为n=d+1 思考题 第2章习题 2.1 2.3 2.7 2.9 决策区域与决策函数 特征空间尺度 协方差矩阵 协方差矩阵 对称阵 对角线即相应特征的方差 决策区域与决策函数 特征空间尺度 协方差矩阵 决策区