suc自然语言处理课程课件4_数据平滑技术.pdf

数据平滑技术 常宝宝 大学计算语言学研究所 chbb@pku.edu.cn 元模型 = | … … 1 2 1 3 1 2 −+1 −+2 −1 = ෑ( | … ) −+1 −+2 −1 =1 • 一元模型(=1, unigram) = …( ) …( ) 1 2 • 二元模型(=2, bigram) = … ….( | ) 1 2 1 −1 −1 • 三元模型(=3, trigram) = … … 1 2 1 −2 −1 −2 −1 数据稀疏 • 元组在语料中的分布是长尾分布 • 大多数元组在语料中的出现是稀疏的 • 最大似然估计(MLE)给训练语料中未出现的元组赋0概率 • 扩大语料规模并 完全解决数据稀疏问题 • 平滑技术 ①把在训练语料中出现过的元组的概率适当减小 ②把减小所得到的概率质量分配给训练语料中没有出现 过的元组 平滑技术概要 • 存在多种不同的数据平滑技术 • 简单平滑 – 加法平滑 – 留存平滑 – Good Turing平滑 – … • 组合平滑 组合不同阶别的模型，获得 – 插值平滑 更好的语言模型。 – 回退平滑 加法平滑 • Add-one平滑：规定n元组比真实出现次数多一次 _ − = _ − + 1 … 1 2 … = 1 −1 … 1 2 −1 ⇓ … + 1 1 2 … = +1 1 −1 … + || 1 2 −1 • 没有出现过的元组的概率不再是0 ，而是一个较