人工智能机器人应用普及基础进阶科普知识大中小学生宣传教育课件PPT15.pptxVIP

foundationofartificialintelligence

让人工智能更智能CONTENT无监督机器学习的方法阿尔法狗背后的秘密

监督学习p需要训练数据的标注信息的学习过程，就是监督学习“计算机能不能自动将照片整理好？”?如：分类器从数据中学会了区分鸢尾花的品种?如：对图像、音频和视频的分类，都需要类别的标注信息，都属于监督学习p没有类别的标注信息供人工智能参考时，怎么办？无监督学习p没有标注信息的学习过程?无类别信息指导很难判断哪一些鸢尾花是相同品种

“计算机能不能自动将照片整理好？”聚类（clustering）p通过分析数据在特征空间的聚集情况，可以将一组数据分成不同的类。p旨在把一群样本分为多个集合，使得同一个集合内的元素尽量“相似”或者“相近”p是一种无监督学习过程?不需要数据的类别标注?不需要预先定义类别

K均值聚类算法K-meansclusteringalgorithm问题的提出算法主要思路p我们希望人工智能在不知道鸢尾花品种的前提下将这N朵鸢尾花分为K类，使得同一类样本的特征相似程度高，而不同类样本的特征相似程度低。p先从任意一组划分出发，通过调整，逐步达成上述目标p算法步骤1.先计算鸢尾花的聚类中心2.3.针对矛盾样本进行调整K均值聚类结果4.重复第2、3步骤，直到聚类中心与划分方式不再发生变化

K均值聚类算法K-meansclusteringalgorithm聚类算法示例（鸢尾花分类问题）2.针对矛盾样本进行调整1.先计算鸢尾花的聚类中心3.K均值聚类结果

K均值聚类算法K-meansclusteringalgorithm相册中的人脸聚类p只要我们能对照片中的人脸提取特征，用特征空间里的特征点表示每一张人脸，就能使用K均值算法将“相似”的人脸聚集起来了

K均值聚类算法K-meansclusteringalgorithmK值的确定----手肘法（elbowmethod）p聚类数量过大会导致照片划分得过细，这样就失去了实用性，需要在平均距离与聚类数量之间取得平衡p如图，在K=3的时候，曲线产生了一个明显的拐点，拐点后随着K的增加平均距离减少得非常慢，因此K=3是个合适的选择。

主题模型与潜在语义分析技术TopicModelandLatentSemanticAnalysisTechnology潜在语义分析技术pLatentsemanticanalysisp针对文本数据“多主题”的特点而设计p计算机可以借助该技术，从海量的文本数据中自动发掘潜在的主题，进而完成对文本内容的概括和提炼相关专有名词p语料库(corpus)：海量的文本数据p文档（document）：语料库中独立的文本p主题：文档的中心思想或主要内容

主题模型与潜在语义分析技术TopicModelandLatentSemanticAnalysisTechnology文本的特征p词袋模型词袋模型(bag-of-wordsmodel)是用于描述文本的一个简单的数学模型，常用文本特征提取方式之一。词袋模型将一篇文文件看作是一个“装有若干词语的袋子”，只考虑词语在文档中出现的次数，而忽略词语的顺序以及句子的结构。p利用词袋模型构建文本特征的基本流程文档词典删除停止词与低频词中文分词词袋中文分词词频特征中文分词词频率—逆文档频率特征

主题模型与潜在语义分析技术TopicModelandLatentSemanticAnalysisTechnology文本的特征p中文分词对中文文本进行词袋构建之前，我们还需要藉助额外的手段拆分词语，这项技术称为中文分词。中文分词方法大多基于匹配和统计学方法。p停止词与低频词?停止词：是文档常出现的，构成中文句子的基本字词，对区分不同文文件的主题没有任何帮助（不携带任何主题信息的高频词）?低频词：通常是一些不常用的专有名词，只出现于特定的文章中(比如姓名)，不能代表某一主题。p词频率与逆文档频率?反映一个词语对于一篇文档的重要性的两个指标?一个词语在一篇文文件中出现的频率即为词频率(teamfrequency)?借助逆文档频率（inversedocumentfrequency）来修正每个词语在每篇文档中的重要性

主题模型与潜在语义分析技术TopicModelandLatentSemanticAnalysisTechnology发掘文本中潜在的主题p主题模型（topicmodel）?是描述语料库及其中潜在主题的一类数学模型?将文文档词频、主题比重、主题词频三者的关系表示为：D=WT，这个等式建立了语料库与潜在主题之间的