汉语自动分词与词性标注培训资料.ppt

词性和词形实体模型可以统一用7-30描述； 具体算法如p127； 7.4.4 专家知识 上面各模型的最大问题：数据稀疏严重，搜索空间太大，通过引入专家知识来限制候选实体的产生，从而达到提高系统性能和效率的目的。专家知识分为几类： 人名识别的专家知识 地名识别的专家知识 机构名识别的专家知识 人名识别的专家知识 476个中国人名姓氏列表和9189个日本人名姓氏列表，苏俄人名和欧美人名用字列表(经常出现的字，如斯，科，娃)中国人名最多8位，外国人名无限制。 地名识别的专家知识 一个含607个地名关键字列表、一个含407个单字地名的列表和一个介词、动词列表。 机构名识别专家知识 一个3192个机构名关键字列表，一组机构名模板(课本)； “上海的一家有限公司” 7.4.5 模型训练 命名实体模型有4个参数：P(WC)、P(TC)、P(T|TC)、P(W|WC)； 数据稀疏问题很严重，采用退避的数据平滑算法(Katz)，7-31； 7.4.6 测试结果 两种测试 封闭测试/ 开放测试 专项测试/ 总体测试 如果汉语自动分词与词性标注一体化进行， 对于词性标注来说，可以用“召回率”衡量词性标注系统的性能，但是，如果不是分词与词性标注一体化进行，而是词性标注系统对已经切分好的汉语词汇进行词性标注，那么，一般不采用“召回率”指标衡量词性标注系统的性能。 到目前为止，命名实体识别仍然是汉语分词中面临的最大难题，尤其是人名，地名，组织机构名和他专有名词(如产品名称)的识别。目前识别系统的性能还十分有限，离实用化要去还有较大差距。 P174 表7-5 2003年“863”计划评测部分结果 7.5 词性标注 词性标注就是在给定句子中判定每个词的语法范畴，确定其词性并加以标注的过程。 主要难点有以下三个方面： (1)汉语是一种缺乏词形态变化的语言(例如一tion结尾的单词多为名词)； (2)常用词兼类现象严重(兼类词占11%，但词次47%[4次])。 (3)研究者主观原因造成困难(不同语料库有不同规定和划分方法)。 这里介绍词性兼类的消除方法 主要有基于统计模型的标注方法、基于规则的标注方法、统计方法与规则方法相结合的方法、基于有限状态转换机的词性标注方法(第三章)。 7.5.2 基于统计模型的词性标注方法 在7.2.3节和7.2.4节中已经介绍了这种方法的基本思想，这里只说下参数的选择； HMM中确定各参数时采用随机初始化的方法，但是这将使词性标注问题过于缺乏现在，因此，通常采用词典信息约束模型的参数。 Jelinek方法(p131)，用最大似然估计来初始化HMM，并 假定每个词与其每个可能的词性标记出现的概率相等(把有5种词性，每种词性出现的概率为20%[实际肯定不是这样])。 还有一种采用将词汇分词若干等价类的策略，以类为单位进行参数估计。大大减少了参数的总个数。 把相同的可能的词汇划分为一组，成为元词(p132),对原词的处理和Jelinek方法一样。 优点是不需要为每一个单词调整参数，引入等价类后，参数的数量大大减少，使参数估计更加可靠。 缺点是不适合高频词的词性标注(会引入一些错误)，把100个高频词作为一类。 参数确定就可以用前向后向算法进行训练。 为了提高模型参数对训练语料的适应性，即对于不同领域的语料参数会随之变化。 两个训练语料C1、C2(C1为原有的训练语料，C2为新增加的训练语料)，N为不同词性的个数，模型参数估计如下(p133) 这种改进方法能够在新的语料(不管是否经过标注)引入时，方便地修改模型的参数，使之能够同时反映新的语料和原有训练语料的信息，提高模型的准确性。 另外，在基于三元的HMM词性标注中的效果进行研究，实验表明，在语料有限的情况下，不同的平滑方法对实验效果影响较大(可以多尝试几种平滑方法，选取最适合自己语料库的平滑方法)。 * 由字构词背后的思想 “…, the POC tags reflect our observation that the ambiguity problem is due to the fact that a hanzi can occur in different word-internal positions and it can be resolved in context.”——Nianwen Xue 中文词一般不超过4个字，所以字位的数量很少。 部分汉字按一定的方式分布。 利用相对固定的字推断相对不定的字的位置问题，如： “们”总是出现在一个词里最后的位置，由此可以推断： “们”与前面的字结合成词； “们”后面的字是下一个词的开头。 虽然不能将所有的词列入词典，但字是基本稳定的。 * 由字构词方法的