Python自然语言处理 课件 电子01-3- 自然语言处理相关知识的构成.pptx

自然语言处理基础Python自然语言处理第一章 02自然语言处理的发展历程CONTENT目录 01什么是自然语言处理04探讨自然语言处理的几个层面03自然语言处理相关知识的构成05自然语言处理与人工智能 课前回顾 什么是自然语言处理自然语言处理的研究任务自然语言处理的三大重要历程 自然语言处理相关知识的构成0 3基础术语知识结构 分词分词的准确度直接决定了自然语言处理后续的词性标注、句法分析、词向量以及文本分析的质量。词是最小的、能够独立活动的、有意义的语言成分，英文单词之间以空格作为分界符，除了某些特定词，如how many，New York等外，大部分情况下不需要考虑分词问题。而中文以字为基本书写单位，天然缺少分隔符，需要读者自行分词和断句。因此，同样存在分词的需求，但中文词语组合繁多，分词很容易产生歧义。中文分词一直以来都是自然语言处理的一个重点，也是一个难点。难点主要集中在分词标准，切分歧义和未登录词三部分。 词性标注其中：我/r 代表代词；爱/v 代表动词；北京/ns 和 天安门/ns 代表名词;r、v、ns都是标注。 命名实体识别命名实体是指从文本中识别具有特定类别的实体，例如人名、地名、专有名词等，是信息提取、问答系统、句法分析、机器翻译等应用领域的重要基础工具，在自然语言处理技术走向实用化的过程中占有重要地位。一般来说，命名实体识别的任务就是识别出待处理文