AI建模师_素养手册(5)_从NLP领会隐藏空间 .pptx

目录;***本文摘自高焕堂的下列书籍***;从ML（机器学习） 观念出发;大数据 （历史数据）;-人们常常想知道一群X数据（以X[]表示），与另一群Y数据 （以Y[]表示）之间的关联性。 -例如，X代表身体的可能病症，而Y代表可用的药物。人们 很想知道：如何「对症下药」，也就是药物与病症的疗效 关联性。 -于是阅历更丰富的医师，将更熟谙其对症下药之道（潜藏之 规律）了。;-于是计算机机器就来观察、抽象，进而归纳出其中的规 律。;儿童 来学习;I like apple;I like apple I love apple;I like apple I love apple I hate banana;I like apple I love apple I hate banana;X空间;X空间;X空间;X空间;修正;?基于新的Wh和Wo权重，再进行第2回合的映射。;-当ML从X映射到Y时（第2回合），如果与历史数据Y仍有误差 时，就再度返回来修正Wo和Wh值。 ?就得到更新的Wo和Wh值了 。;?基于新的Wh和Wo权重，再进行第3回合的映射。;-当ML从X映射到Y时（第3回合），如果与历史数据Y仍有误差 时，就再度返回来修正Wo和Wh值。 ?就得到更新的Wo和Wh值了 。;yo yi y2 ym;Y;取出Wh，应用于新数据;-兹以NLP （自然语言处理）为例 ?首先从〈相似度〉出发…;-人们都可以一眼看出来：pl与P2的偏好相似性很高。 ?而p3与p4的偏好相似性很高。一样地，AI也能计算出他们 之间的相似度。请您按下〈Pearson相似度〉：;?上图里的Pearson相似度的值是在［-1, 1］之间。 ? 1表示最大的正相关性（即相似度最高）。 ?反之，-1表示最大的反相关性（即相似度最低）。 ?例如，pO与pl的相似度很高：0.97 ° ?而pO与p2的相似度很低：-0.82。;-刚才的大数据里，是每一个对3项水果都有评分。比较容易 看出相似度。 -然而经常情形是，当他（她）没买过某种水果，就不会给予 评分。如下图：;-上图里，Lily没有在我们商店里买过橘子和香蕉，所以就没有 对这两项评分了。 ,这时，ML也能够计算出那些人的偏好是比较相似的。相似度 高的一群人，具有同样的偏好（同好），就通称为：邻居。 ,请您按下〈Pearson相似度〉，就会计算出相似度：;?例如红色框里，pO与pl的相似度最高。pO与p2的相似度 稍微低一些。而pO与p3的相似度最低。;-请您按下〈找邻居〉，;?在上图红色框里，显示出来了，pO有两位很接近的邻居： pl和p2。 ?于是，ML就可以依据pl与p2的偏好来预估Lily(pO)的未知偏 好。 ?例如，pl对橘子的评分为1，就推估：pO对橘子的评分也可 能很低。 ?再如，p2对香的评分为5，就推估：pO对香蕉的评分也会 很咼。;体验NLP应用 --词(Word)相似度 一句(Sentence)相似度;-例如，有4个句子：;A;按下〈计算相似度〉:;;?其中值得注意的是： -这s2与s3的相似度非常高。但是，从句子的涵意来看，它们 之间的涵意却完全不相同。 ?这意味着，在NLP领域里，使用这样的方式来计算句子之间 含意的相似度，这方法是有缺陷的。;向量表示法 ,于是，就来介绍另一种方法，来表达单词和句子。 ?这称为：向量(Vector )表示法。 -首先来看看如何计算向量的相似度。基于向量的相似度计算 方法有很多种，在这里我们先介绍：Cosine相似度， ,例如，在一个向量空间里：;1;前在这空间里，其3个向量：;?把这3个向量的坐标呈现于Exce I表格里：;;?下图可以看到，vO与vl之间的夹角（蓝色）最小。所 以相似度最高。;One-hot向量编码 ?这称为：单一编码(One-hot-encoding) ° ?又翻译为：独热编码。 ?如果您只有2个单词(Word)，例如： ＜男〉和＜女＞ ° ?就可以使用向量［1, 0］代表＜男＞，并且使用向量［0, 1］代表＜ 女〉°;A;?如果您只有3个单词(Word)，例如： ＜公鸡〉、〈母鸡＞和＜ 小鸡〉。 ?就可以使用向量［1, 0, 0］代表〈公鸡〉，并且使用向量［0, 1, 0］ 代表〈母鸡〉，以及使用向量［0, 0, 1］代表＜小鸡〉。 ?于是，在一个向量空间里，这3个向量表示为：;(1, o, 0);-例如，有4个句子：;;6(0,1,0,0,0) 八“like;?接下来，就使用这些向量来表示刚才的4个句子，如下:;;?其中值得注意的是：;-由于这位人类儿童领悟到〃 like”和〃love”这两个词在妈 妈心中几乎是〈同义词〉。 -于是人类儿童将会听出来： ---高相似度的句子是：sO与s2，以及si与S3。 ---普通相似度的句子：sO与