第十二章词嵌入与语言模型 - 神经网络与深度学习.pdf

第十二章 词嵌入与语言模型 在深度学习的应用中，数据的形式多种多样。像图像、声音之类的数据很 自然地可以表示为一个连续的向量。比如图像直接将像素的颜色值（灰度值或 值）组成一个连续向量。而对于语言的表示则很难找到合适的表示方式。 语言可以看作是一个符号序列，每个字或词都看成是离散的符号。特别是计算 机内部，每个字都是表示为无意义的编码。以颜色表示为例，我们有很多词来 形容颜色的词，除了基本的“红”、“蓝”、“绿”、“白”、“黑”等之外，很有很多 比如红色、 白色、黑色、绿色，还有以地区或物品命名的，比如“中 国红”、“普鲁士蓝”、“咖啡色”、“奶油色”等等。据不完全统计，现有的颜色 命名已经有 多种 。假设我们有一组神经元，我们可以有两种方式来表示 这些颜色名字。 一种方式是用一个神经元来表示一个特定的颜色，即神经元和颜色名字是 ： “一对一”关系。我们把这种表示方式叫做局部表示 （ 间 时 ）。假设有 中颜色，我们就需要有 个神经元。局部表示有两 译 个不足之处：（）需要神经元数量很多，且不能扩展。如果有一个新的颜 编 色，我们就需要增加一个神经元来表示；（ ）不同颜色之间的相似度都为 ，即我们无法知道“红色”和“中国红”的相似度要比“红色”和“黑 色”的相似度要高。 另一种方式是用一组神经元来表示一个特定的颜色，即神经元和颜色名