词嵌入与语言模型.PDFVIP

第十五章 词嵌入与语言模型 在深度学习的应用中，数据的形式多种多样。像图像、声音之类的数据很 自然地可以表示为一个连续的向量。比如图像直接将像素的颜色值（灰度值或 值）组成一个连续向量。而对于语言的表示则很难找到合适的表示方式。 语言可以看作是一个符号序列，每个字或词都看成是离散的符号。特别是计算 机内部，每个字都是表示为无意义的编码。以颜色表示为例，我们有很多词来 形容颜色的词，除了基本的“红”、“蓝”、“绿”、“白”、“黑”等之外，很有很多 比如红色、 白色、黑色、绿色，还有以地区或物品命名的，比如“中 国红”、“普鲁士蓝”、“咖啡色”、“奶油色”等等。据不完全统计，现有的颜色 命名已经有 多种 。假设我们有一组神经元，我们可以有两种方式来表示 这些颜色名字。 一种方式是用一个神经元来表示一个特定的颜色，即神经元和颜