黄海广10机器学习-聚类.pdfVIP

1 机器学习-聚类 黄海广 副教授 2022年02月 本章目录 2 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 1.无监督学习概述 3 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 1.无监督学习方法概述 4 监督学习和无监督学习的区别 监督学习 在一个典型的监督学习中，训练集有标签 ，我们的目标是找到能够 区分正样本和负样本的决策边界，需要据此拟合一个假设函数。 无监督学习 与此不同的是，在无监督学习中，我们的数据没有附带任何标签，无 监督学习主要分为聚类、降维、关联规则、推荐系统等方面。 1.无监督学习方法概述 5 主要的无监督学习方法 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的空间中？ ✓ 关联规则（Association Rules ） ✓ 很多买尿布的男顾客，同时买了啤酒，可以从中找出什么规律来提 高超市销售额？ ✓ 推荐系统（ Recommender systems） ✓ 很多客户经常上网购物，根据他们的浏览商品的习惯，给他们推荐 什么商品呢？ 1.无监督学习方法概述 6 聚类 主要算法 K-means、密度聚类、层次聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 1.无监督学习方法概述 7 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非 甲状腺疾病的数据集应用无监督学习时，可 以使用聚类算法来识别甲状腺疾病数据集。 1.无监督学习方法概述 8 聚类案例 2.市场细分 为了吸引更多的客户，每家公司都在开发易 于使用的功能和技术。为了了解客户，公司 可以使用聚类。聚类将帮助公司了解用户群 ，然后对每个客户进行归类。这样，公司就 可以了解客户，发现客户之间的相似之处， 并对他们进行分组。 1.无监督学习方法概述 9 聚类案例 3.金融业 银行可以观察到可能的金融欺诈行为，就此 向客户发出警告。在聚类算法的帮助下，保 险公司可以发现某些客户的欺诈行为，并调 查类似客户的保单是否有欺诈行为。 1.无监督学习方法概述 10 聚类案例 4.搜索引擎 百度是人们使用的搜索引擎之一。举个例子，当 我们搜索一些信息，如在某地的超市，百度将为 我们提供不同的超市的选择。这是聚类的结果， 提供给你的结果就是聚类的相似结果。 1.无监督学习方法概述 11 聚类案例 5.社交网络 比如在社交网络的分析上。已知你朋友的信息， 比如经常发email的联系人，或是你的微博好友、 微信的朋友圈，我们可运用聚类方法自动地给朋