Python自然语言处理 课件 电子04-1 -中文分词.pptx

词法分析Python自然语言处理第四章 CONTENT目录 01中文分词02词性标注03命名实体识别 课前回顾机器学习简介传统机器学习中的分类器方法深度学习概述神经网络模型反向传播算法最优化算法深度学习平台课前回顾 中文分词0 1中文分词介绍规则分词统计分词混合分词中文分词工具——Jieba 中文分词介绍“词”的概念是什么？在自然语言的理解中，词是最小的能够独立活动的有意义的语言成份。因此，自然语言处理的第一步就是将词确定下来。英文处理比较简单，英文的单词可以视为“词”，且单词与单词之间有空格或其他符号隔开，因而可以很方便地使用各种符号进行英文分词。在汉语中，“字”是“词”的基本单位，而“词”可能是一个“字”，也可能是由两个或多个“字”组成。 中文分词介绍中文文本处理时，为什么要进行中文分词呢？汉语的结构与很多西方语言（也称为拉丁系语言）的体系结构有较大的差异。对中文文本分析时，一篇文章的语义表达和理解是以“词”来划分的。中文的词比较多样，且词与词之间没有像英文一样明显的分隔符，需将中文进行合理分词之后，即将句子分割，表示成词。才能像英文一样进行短语划分、概念抽取等操作，最终进行自然语言理解、文档分类等。 中文分词介绍如何进行中文分词呢？中文处理的基础就是中文分词，中文分词通过计算机自动识别出句子中的词，在词与词之间加入统一的分隔符（如“/”等）作为词的边界标记符，依次分隔出各个词