清华社教学课件深入浅出大语言模型第三章 Transformer模型（二）.pptxVIP

第三章Transformer模型（二）马少平清华大学计算机系面向人工智能初学者的通俗讲座《计算机是如何实现智能的》之B站获取PPT跟我学AI公众号

3.2注意力机制认知心理学选择性注意现象

3.2注意力机制词的语义由其所在上下文中与其相关的词决定实现词向量的动态表示解决长距离依赖问题“一回到家我就吃了一个非常美味的苹果”“一回到家我就用苹果跟朋友联系”水果手机

3.2注意力机制注意力机制借用心理学的概念，按照重要性程度的不同，有选择地获取信息，用于概念的组合表示。“一回到家我就吃了一个非常美味的苹果”“一回到家我就用苹果跟朋友联系”水果手机

一个例子：中年人的平均收入序号姓名年龄年收入（万）1张三45302李四28403王五50454马六57355黄七39206钱八43337刘九60428孙十4750中年人40岁-55岁

一个例子：中年人的平均收入模糊求解不同年龄按照与“中年人”的相似度做加权处理查询、键、值问题按照查询与键的相似度计算的加权平均值查询：中年人键：年龄值：收入相似度越大越被注意——注意力机制?

注意力机制???

注意力机制???

注意力机制???

注意力机制注意力机制的矩阵表示结果为维度为d的行向量?

注意力机制???

3.3自注意力机制?

3.3自注意力机制???

敬请关注“跟我学AI”公众号