神经网络语言模型word2vec.pptx

神经网络语言模型简介 目录 语言模型 神经网络语言模型 词向量 分布假说 词的语义由其上下文决定（ a word is characterized by the company it keeps）  语言模型 判断一句话是不是一个正常人说出来的。 n-gram语言模型 统计语言模型的作用是为一个长度为 m 的字符串确定一个概率 分布 P(w1, w2, ..., wm)，表示其存在的可能性，其中 w1 到 wm 依次表示这段文 本中的各个词。一般在实际求解过程中，通常采用下式计算其概率值： P(w1, w2, ..., wm) = P(w1) P(w2|w1) P(w3|w1, w2). . . P(wi | w1, w2, ..., wi−1) . . . P(wm | w1, w2, ..., wm−1) 例：P(大家，喜欢，吃，苹果)=p(大家)p(喜欢|大家)p(吃|大家,喜欢)p(苹果|大家,喜欢,吃) 简化版本： n元模型，P(wi | w1, w2, ..., wi−1) ≈ P(wi | wi−(n−1), . . . , wi−1) 当n=1时，退化为一元模型：P(w1, w2, ..., wm) = P(w1)P(w2) . . . P(wm) 常用的为二元模型和三元模型 n元模型传统计算方法是采用频率计数的比例估算n元条件概率：  其中，