《Python自然语言处理》第04章-语法分析.pptVIP

谢谢观看 命名实体识别 Python自然语言处理 第四章 CONTENT 01 02 03 课前回顾 词性标注简介 词性标注规范 Jieba分词中的词性标注 命名实体类别 0 3 命名实体类别简介 什么是命名实体识别？ 命名实体识别（Named Entity Recognition，NER）与前面所讲的自动分词、词性标注一样，都是NLP中的基础任务。NER是信息提取、问答系统、句法分析、机器翻译等众多自然语言处理任务的重要基础组成部分。 命名实体识别，也可称作“专名识别”，是指识别文本中某些具有特定意义的实体。命名实体识别研究的对象一般分为三大类（实体类、时间类和数字类）和七小类（人名、地名、时间、日期、组织机构名、货币和百分比）。这些命名实体具有其独特的构成规律，且数量不断增加，无法在字典中完全列出，因此在词汇形态处理（如中文分词）中需要对这些词进行单独识别。 命名实体类别简介 命名实体识别并不是一个新的研究课题，已有较为合理的解决方法，但某些学者认为该问题并没有得到很好地解决，还需要不断地研究，主要原因在于： 当前取得的成果主要是针对某些实体类型（主要是人名和地名）和有限的文本类型（如新闻等语料）。 相对于其他信息检索领域，用于评测命名实体的语料较小，容易产生过拟合。 在信息检索领域，准确率和召回率都是评测指标，但准确率更重要。而命名实体识别更侧重于高的召回率。 目前的命名实体识别系统的通用性较差，无法识别多种类型的命名实体。 命名实体类别简介 命名实体识别的评测主要是看实体的边界是否划分正确以及识别的实体的类型是否标注正确。 与英文相比，中文命名实体的识别难度更大，目前还有很多未解决的难题。中文命名实体识别的难点主要有： 命名实体的数量众多、类型不一。 命名实体的构成规律复杂。中文命名实体识别中，最复杂的是组织机构名的识别和人名的识别。 命名实体长度不一。中文人名一般长度为二到四个字（部分少数民族人名可能更长），常用地名的长度一般也是二到四个字。 嵌套情况复杂。组织机构名中嵌套现象最为常见，如组织结构名嵌套人名、地名或其他组织机构名等。这种嵌套现象使得命名实体的构成更为复杂，也加大了命名实体识别的难度。 命名实体类别简介 命名实体识别的方法与中文分词的方法很类似，也分为规则方法、统计方法和混合方法三种。 + 基于规则的命名实体识别：命名实体识别最早期的有效方法是规则加词典。该方法是在手工设置规则的基础上，结合现有的命名实体库，通过分析实体与规则的匹配情况来识别命名识别的类型。 + 基于统计的命名实体识别：目前命名实体识别的主流方法是基于统计的方法，如隐马尔可夫模型、条件随机场、最大熵模型等。这些方法的基本思想是依赖人工标注的语料库，将命名实体识别任务转化为序列标注问题。 + 混合方法：目前的命名实体识别系统大多是基于规则方法和统计方法结合的混合方法，单一使用规则方法或统计方法的系统几乎没有。 命名实体类别 0 3 HMM将中文分词视为序列标注问题，并在解决过程中引入两个重要的假设：一是独立观察假设（输出观察值之间相互独立，不与其他时刻的输出相关），二是齐次马尔可夫假设（当前状态只与前一时刻状态有关，与其他时刻状态无关）。 基于这两个重要假设，HMM模型可以用来解决中文分词问题，且计算比较简单。当中文语料的规模很大时，观察值序列呈现出多重的交互特征，且观察元素之间存在着长程相关性（也称长期记忆性或持续性，即过去的状态可对现在或将来产生影响），这就导致HMM的效果受到影响。 基于条件随机场的命名实体类别 随机场的概念： 有若干个位置组成的整体，当给某一个位置按照某种分布随机赋予一个值后，该整体就被称为随机场。 为了解决HMM的缺陷，Lafferty等学者于2001年提出了条件随机场方法（CRF）。CRF是基于HMM的一种用来标记和切分序列化数据的统计模型。不同的是，HMM是给定当前状态计算下一个状态的分布。而CRF是给定当前观测序列，计算整个标记序列的联合概率。 基于条件随机场的命名实体类别 其中，??～??表示图??中与节点??有边相连的所有节点，??≠??表示除节点??以外的所有节点。 基于条件随机场的命名实体类别 HMM模型 HMM模型可以用来解决以下三类问题： 当参数StatusSet、TransProbMatrix、EmitRobMatrix和InitStatus已知的情况下，求解观察值序列。(常用求解算法是Forward-backward算法) 当参数ObservedSet、TransProbMatrix、EmitRobMatrix和InitStatus已知的情况下，求解状态值序列。(常用求解算法是Viterbi算法)