非监督学习聚类分析.pdfVIP

非监督学习 聚类分析 张文生 研究员 中国科学院自动化研究所 监督学习 在具有标签的样本集基础上，学生对输入变量X推断输 出变量Y ，教师对学生的答案进行评判 设Pr(X,Y)是随机变量（X,Y ）的概率密度，监督学习 估计条件概率密度Pr(Y|X)，一般可以用位置参数表示为 µ(x ) arg min EY |X L(Y ,θ) θ 对监督学习算法的有效性有客观的评价标准，如错误 率、交叉验证 非监督学习 仅有输入变量X ，没有输出变量 设Pr(X)是随机变量X 的概率密度，要直接推断Pr(X) 的性质：对低维情况用非参数方法直接估计Pr(X) ；对高 维情况假设为简单模型或者推断Pr(X) 的简单性质 对非监督学习算法尚没有评价标准，在推导算法的同时 需要对其的结果进行合理的解释 菜篮子分析 设商店有P种商品，对应于购物单上的变量 X 1 ,Λ X p , X j ∈{0 ,1}, 对于观测i ，如果第j种商品在交易中售出，则 xij 1 ， 反之 xij 0 ；菜篮子分析的目标是寻找数据中最频繁 出现的变量X (X 1 ,Λ , X p ) 的联合值 有利于货物存贮，商品促销，商品目录设计及消费群体分类 原型方法 • 训练数据由N个数对(x ,g ), …,(x ,g )组成,其中,g 是 1 1 N N i {1,2,…N}中取值的类标号 • 用特征空间中的点表示训练数据，除了1-最近邻分类外,通常 这些原型都不是训练样本中的例子 • 每个原型都有一个相关连的类标号,查询点被分类到最近原型 所在的类 • 将每个特征标准化，使之在训练样本上具有均值0和方差1 • 如果原型被恰当定位以捕捉每个类的分布,那么这些方法可能 是非常有效的 • 主要挑战：使用多少个原型，把它们放在什么位置 –根据原型选择的数量和方式，这些方法各有不同 聚类分析 • 聚类分析也称数据分割 • 把一个对象集合分组或分割为子集或族，使得每一个族内部的对象之 间的相关性比它们与其它族中对象的相关性更紧密 • 把族整理为自然的层次结构 • 用于形成描述性统计数据，数据包含不同的子组且每个子组 有实质上不同的对象 • 核心是个体对象之间的相似度量，对不同的目标可以定义不 同的损失函数或者代价函数 邻近矩阵 •聚类分析中的数据可以是对象本身，也可以用每对对 象间的相似性来表示 • 假定邻近矩阵是一个表示相似性的对称矩阵，它对 角线上的元素为零，不对称的相似性矩阵D用 (D +DT )/2 来代替 基于属性的相异度 在聚类算法中要计算相 异度矩阵，需要度量每 对对象 之间的的差异度，就必 须定义每个属性值之间 的差异度 d (x , x ′ )。 j ij i j 定量型变量：用属性值 之间差的绝对值的单调 递增函数 d (x i , x i ′) l (| x i −x i ′ |); 序数型变量：用指定的 原始值的顺序来替换它 们的 个值 M i −1/ 2 , i 1,Λ , M ; M 分类型变量：必须明确 地描述每对值之间的差 异度，对M 个取值的情况，可以通 过M ×M 的矩阵来定义， L ′ L ′ , L 0, L