现在分词知识点梳理.docVIP

现在分词知识点梳理

分词是自然语言处理中的基础任务，旨在将连续的文本切分成有意义的词汇单元。以下是分词阶段的知识点梳理：

一、分词的基本概念

1.定义：分词是将句子切分成词语的过程，是中文处理中的关键步骤。

2.重要性：分词质量直接影响后续的自然语言处理任务，如信息检索、机器翻译、情感分析等。

二、分词方法

1.基于规则的方法：

-最大匹配法：从左到右逐字匹配，优先匹配最长的词。

-最短匹配法：从左到右逐字匹配，优先匹配最短的词。

-双向最大匹配法：同时从左到右和从右到左进行匹配，取两者交集。

2.基于统计的方法：

-n-gram模型：利用词语的n-gram概率进行分词。

-隐马尔可夫模型（HMM）：通过状态转移概率和发射概率进行分词。

-条件随机场（CRF）：利用标注数据训练模型，进行序列标注。

3.基于机器学习的方法：

-支持向量机（SVM）：通过核函数将数据映射到高维空间进行分类。

-深度学习方法：如循环神经网络（RNN）、长短期记忆网络（LSTM）、Transformer等。

三、分词的难点

1.歧义性：

-句法歧义：如“飞机起飞”，可以是“飞机起飞”或“飞机/起飞”。

-语义歧义：如“苹果”，可以是水果或公司名称。

2.未知词：文本中可能存在未登录词，需要特殊处理。