统计自然语言处理-刘挺 NLP_6.pdf

聚类与分类 IRLAB 聚类 大纲 ? 聚类分析简介 ? 层次聚类 – 单连接和全连接聚类 – 组平均聚类 – 应用：改进语言模型 – 自顶向下聚类 ? 非层次聚类 – K-均值 – EM算法 什么是聚类分析? ? 聚类: 数据对象的集合 – 在同一个类中，数据对象是相似的 – 不同类之间的对象是不相似的 ? 聚类分析 – 一个数据集合分组成几个聚类 ? 聚类是一种无监督分类:没有预定义的类 ? 典型应用 – 作为一个独立的工具 透视数据分布 – 可以作为其他算法的预处理步骤 聚类在自然语言中的应用 ? 探测数据分析（exploratory data analysis ） – 例如词性标注，将相似的词作为同一种词性，对 前置词比较有效 – 对this和the 这种语法语义特征不一致的词，不总分 在一组的词不适合 ? 概化（generalization ） – 等价类，可以使用相同的上下文环境，解决数据 稀疏问题 – 同时聚类是学习的一种方法（推理Friday 的前置 词） 聚类算法类型 ? 层次聚类与非层次聚类 – 层次聚类的每一个节点是其父节点的一个子类， 叶节点对应的是类别中每一个单独的对象，常用 算法自底向上与自上向下（凝聚与分裂） – 非层次聚类只是简单的包括了每类的数量，体现 不了他们之间的层次关系，常用算法K-均值 ? 软聚类与硬聚类 – 硬聚类将每一个对象分到一个且只能是一个的类 别中，例如K-均值 – 软聚类刻画的是将对象归属不同类的程度，模糊 聚类（EM算法） 层次聚类和非层次聚类的比较 ? 层次聚类 ? 非层次聚类 – 适合于数据的详细 – 适合于大数据集合 描述 要求考虑效率较高 的情况 – 提供更多的信息 – K-均值是一种最简 – 没有单一的最好的 单的方法，并且有 算法 效的 – 效率没有非层次的 – K-均值采用欧氏 好 距，不能表达更广 泛的数据 – EM算法提供了类的 定义以及基于复杂 概率模型的数据的 分配 层次聚类 ? 自底向下的聚类 凝聚） – 每一项自成