第5课 自注意力机制.pdfVIP

自注意力机制 Self-Attention 不同的输入形式 • 输入是一个向量 模型 数值或类别标签 • 输入是一串向量 模型 数值或类别标签 (长度不固定) 2 向量集合作为输入 this is a cat One-hot Encoding Word Embedding apple = [ 1 0 0 0 0 …… ]