先进模式识别(II) - 聚类分析和弱监督学习.ppt

优化问题求解 优化问题求解 对算法的理解 Harmonic性：可以证明优化问题的解具有Harmonic特性 随机游走过程：定义节点之间的转移概率 随机游走 多示例学习Multi-Instance Learning 问题的提出 1997年，Dietterich在分子制药预测方面提出的； 背景：药物能否有效是由药物分子与蛋白质结合的紧密性决定的。 问题：在药物中，每个分子存在着多个低能量的形状；只能知道哪一种药物分子有效，但无法确切知道是哪个分子形状起的作用。 问题的描述 每个分子形状表示为一个特征矢量，称为示例（Instance）； 每个药物分子表示为一个示例包(Bag of Instances) 正例包：其中至少有一个示例是正例； 反例包：所有示例均为反例。 已知：每个示例包的标签； 未知：每个示例的标签。 图像识别 已知图像的标签，其中每个区域的标签未知。 示例包： 正例包中至少有一个示例是正例； 反例包中的示例都是反例。 问题： 判别示例包A是正例包还是反例包？ 判别示例y是正例还是反例？ 问题的表示 解决问题的思路 将示例包的标签传递给其中的每一个示例？ 将所有的示例连接成一个特征矢量？ 算法的分类 Bag Based Methods：将示例包作为一个整体，看作是空间中一个点； 将示例包空间视为度量空间，直接定义距离度量； 采用某种办法将示例包空间映射为欧氏空间，采用单示例分类器分类； Instance Based Methods：按照MI的定义，利用示例包学习一个示例的分类器，分类时对每个示例进行分类，然后再判断示例包的属性。 Citation k-NN 方法：直接定义示例包之间的距离 嵌入空间算法 CCE 聚类示例，包括正例包和反例包的所有示例； 按照每个示例包中包含各个聚类的示例情况，将示例包映射为一个矢量； 用所有示例包对应的矢量学习一个分类器； 重复聚类，映射和学习分类器的过程，得到多个分类器； 组合所有分类器。 方法：将示例包空间映射为一个矢量空间 CCE：Constructive Clustering based Ensemble APR: Axis-Parallel Rectangles 思想：构造APR，寻找一个超矩形，至少包含每个正例包中的一个示例，但不包含反例包中的任何示例。 APR 初始：计算正例包示例各维特征的最大值和最小值，构造一个包含所有正例包示例的最小超矩形； 循环，直到APR中不包含任何反例为止： 寻找能够排除某个反例，同时排除正例包示例数量最少的特征； 在此特征维度上缩小APR。 APR: Axis-Parallel Rectangles 初始APR 收敛APR DD: Diverse Density 思想：认为在示例空间中只有一个点是正例，正例包都包含（靠近）这一点，反例包的示例远离这一点。 DD: Diverse Density MI-SVM mi-SVM 学习：优化问题 约束： 正例包： 反例包： 分类： 其它的弱监督学习问题 Multi-Label Learning：每个示例有多个标签 Multi-Instance Multi-Label Learning：多标签、多示例学习，每个示例包有多个类别标签 Multi-Instance Semi-Supervised Learning：半监督多示例学习，部分示例包有标签，部分示例包无标签 Multi-Layer Multi-Instance Learning：示例包中的每个示例还是一个示例包，构成多层结构 Imperfect Oracle：每个示例可能由多个标注者给出标签，而不同的标注者则对不同的示例给出标签 * RatioCut的优化问题 严格的优化问题： 约束： 仍然是NP问题。 近似的RatioCut的优化问题 近似的优化问题：放松对h中元素的离散性约束 问题的解：最小k个特征值对应特征矢量。 NCut的近似谱求解：k=2 NCut的近似谱求解：k=2 NCut的近似谱求解：k=2 NCut的优化问题 严格的优化问题： 约束： NCut的近似优化问题 NCut的近似谱求解：k2 NCut的近似谱求解：k2 NCut的优化问题：k2 严格的优化问题： 约束: NCut的近似优化问题：k2 谱聚类算法 算法的实现 算法的实现 算法的实现 弱监督学习 统计学习过程 学习的过程 统计学习过程 统计学习过程 最大似然估计： 贝叶斯估计： 统计学习过程 弱监督学习过程 标签不是直接来自于Oracle，而是由Priesthood转达的。 弱监督的风险 弱监督经验风险的优化 半监督学习 Semi-Supervised L