词法分析及词法分析程序..课件.pptxVIP

词法分析及词法分析程序课件

目录

词法分析概述

词法分析的步骤

词法分析的算法

词法分析工具与资源

词法分析程序的设计与实现

词法分析的应用场景与案例

CONTENTS

词法分析概述

词法分析的步骤

1

2

3

将连续的文本切分为单独的词语，是词法分析的第一步。

分词

基于规则的方法、基于统计的方法和混合方法。

分词方法

分词的准确性对后续的句法分析和语义分析影响很大。

分词精度

停用词

在文本中出现频繁但对语义贡献较小的词语。

常见的停用词表

中文常见的停用词表包括哈工大停用词表、北大中文停用词表等。

去除停用词的目的

减少数据稀疏性和提高模型训练效率。

为每个词语赋予其对应的词性标签。

词