第7章 非监督分类.pptVIP

非监督分类 电子科技大学 师 君 相似性度量 均值聚类 向量量化 最大流/最小割 其它分类方法 分类 基本的精神活动——发现样本之间的联系，相似性，差异性 非监督分类 将物品按照用途分类 生物、化学分类 非监督聚类： 根据相似性，对样本空间进行划分。 硬聚类 模糊聚类 谱系聚类 非监督分类 分类 分类的多样性。 非监督分类 距离测度 定义在特征空间×特征空间到实数的函数： 相似性测度 常用距离测度： 范数距离：任意范数可以定义距离。 其他距离测度： 相似性测度 常用距离测度： Hamming距离：。 相似性测度 编辑距离（Levenshtein/EDIT 距离）： 将序列A变为序列B的所有可能方法中，代价最小的一个。 相似性测度 寻找最短编辑距离 遍历法 相似性测度 寻找最短编辑距离 图的最短路径问题 动态规划法： 阶段：步数 状态：已处理节点集一步可达的新节点。 代价：1 相似性测度 栅格图： 横轴为目标字符串，纵轴为起始字符串。 节点标注了所有可能状态 状态为：节点横轴取值（包含）合并纵轴取值（不包含）（注意前后顺序） 水平、垂直边权重为1； 某节点水平与垂直对应符号相同其左下对角边权重为0，否则为1； 对角边权重为0的两个状态相同； 相似性测度 编辑距离的性质： 三角不等性： ED(x,y) ≤ ED(x,z) + ED(z,y)。 分裂不等性： ED(x,y) ≤ ED(x[1..i],y[1..j])+ED(x[i+1..n],y[j+1..m]) ED(x,y) ≤ m（目标与源字符串长度大的一个） ED(x,y) ≥ m-n ED(x,y)=0 iff x=y 如果两字符串等长， ED(x,y) ≤ HD(x,y)（海明距离） 相似性测度 Damerau–Levenshtein距离 除了替换、插入、删除外，允许交换相邻两个字符的位置。 /wiki/Damerau%E2%80%93Levenshtein_distance 相似性测度 相似性测度 相似性测度 常用相似测度： 内积： Tanimoto测度： 相似性测度 点到集合的距离： 最大距离： 最小距离： 平均距离： 相似性测度 点到平面的距离（支持向量机） 点到二次曲面的距离： 二次曲面： 代数距离： 相似性测度 垂直距离： 求解z得到： 相似性测度 径向距离（椭圆集特有）： 相似性测度 归一化径向距离（椭圆集特有）： 通过线性变换，将椭圆变成正圆， 计算正圆距离为： 归一化径向距离： 归一化距离与径向距离关系。 相似性测度 集合到集合的距离： 最大距离： 最小距离： 平均距离： 重心距离： 相似性测度 相似性度量 均值聚类 向量量化 最大流/最小割 其它分类方法 回顾KNN分类器： 已知类中心聚类（监督分类），x属于到各类重心最近的类。 均值聚类 clear all close all clc N = 300; %% 产生样本 for iii = 1 : N if iii 101 data(:, iii) = randn(2, 1) + [3; 4]; elseif (iii 200) data(:, iii) = randn(2, 1) + [-3; 4]; else data(:, iii) = randn(2, 1) + [-3; -4]; end end figure; plot(data(1, :), data(2, :), ro) %% Nc = 3; c1 = [3; 4]; c2 = [-3; 4]; c3 = [-3; -4]; cnt1 = 1; cnt2 = 1; cnt3 = 1; for iii = 1 : N dist(1) = norm(data(:, iii) - c1, 2); dist(2) = norm(data(:, iii) - c2, 2); dist(3) = norm(data(:, iii) - c3, 2); [a, b] = min(dist); switch b case 1 Class1(cnt1) = iii; cnt1 = cnt1 + 1; case 2 Class2(cnt2) = iii; cnt2 = cnt2 + 1; case 3 Class3(cnt3) = iii; cnt3 = cnt3 + 1; end end figu