5 聚类-k均值.pdf

机器学习 5. 聚类-k均值  分类/ 回归问题如何在概率框架下描述  分类/ 回归问题的贝叶斯决策器如何得到  描述贝叶斯分类最优的两种方式？  贝叶斯方法需要求的信息有哪些  朴素贝叶斯基本原理：为何朴素  MLE与MAP框架下的NB方法如何构造  Bag of words的基本思想  当特征连续时如何使用NB方法？ 主要内容  什么是聚类  层次聚类方法  k均值聚类  GMM聚类  EM算法 主要内容  什么是聚类  层次聚类方法  k均值聚类  GMM聚类  EM算法 什么是聚类  在以上点集中是否存在“类”  几个类？  每个类是什么？  怎样识别这些类？ 什么是聚类  聚类：将同类型的对象聚为不同类别的过程 高类内相似性 低类间相似性 一种无监督学习的常见学习形式 无监督学习： 从原始样本（无标注信息）中学习知识 一种对于科学、工程很多领域非常常见的学习目标  基因分类  用户甄别  文本主题分类  图片/视频目标分类  。。。 什么是聚类  下面的例子怎样聚类？ 什么是聚类  基本问题  什么是一群目标数据的自然聚类？  如何度量目标数据间的“关系”  数据如何表达  类数目如何度量？  聚类算法  算法是否收敛？ 什么是聚类  聚类是主观的！ 什么是聚类  聚类最重要的概念：  相似度  相似度的定义是一个哲学问题  依赖于数据表达方式与算法导向  如何实际操作？ 实际可能出现的中 你预期的中期答辩 期答辩 什么是聚类  距离！ 直观意义？ 什么是聚类  典型相似度度量（距离） 两个p维向量： Minkowski距离（Lp范数） 最常见的Lp范数 什么是聚类  L2距离（欧氏距离）：  L1距离：  L无穷距离（最大距离）： 什么是聚类  海明距离（曼哈顿距离）：对全部特征 为二值的向量对定义 基因表达 文本分类 关键词1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 文本1 1 0 0 1 1 1 0 1 1 0 0 0 1 1 1 文本2 1 1 0 1 1 0 1 0 0 0 1 1 1 0 0 海明距离= #01 + #10 = 9 什么是聚类  皮尔斯相关系数  余弦距离 什么是聚类  两类聚类问题  层次化方法 Hierarchical