自然语言处理技术与应用手册（执行版）.docxVIP

自然语言处理技术与应用手册（执行版）

第1章自然语言处理基础概念与核心算法

1.1与概率机制

是自然语言处理中最核心的组件，它本质上是一个概率分布函数$P(w_1,w_2,,w_n)$，用于预测文本序列中下一个词的概率。在实际应用中，我们通常使用加性（AdditiveLanguageModel），即假设模型参数与上下文无关，每个词的出现概率仅取决于词本身的特征。为了计算具体概率，我们需要将词表映射为整数索引，并统计每个词在训练语料中出现的频率作为先验概率$P(w_i)$。例如，在“猫”这个词表中，“猫”出现频率为100次，则$P(\text{猫})=100/