搜索引擎开发实践第九讲词性标注.pptVIP

概 述 作业讲解：从A抓取拼写检查词 采用TBL标注词性 采用隐马尔科夫模型标注词性 维特比算法 作业：统计语料库中的词性之间的二元转移概率 作业讲解：从A抓取拼写检查词 词性标注与标注集 词性标注可以部分消除词的歧义，例如“把”作为量词和作为动词表示的意思不一样。 不同的语言有不同的词性标注集。比如英文有反身代词，例如myself，而中文中则没有反身代词。 为了方便指明词的词性，可以给每个词性编码。例如《PFR人民日报标注语料库》中把“形容词”编码成a，名词编码成n，动词编码成v，... 词性标注 5×1×1×2×2×2×3＝120种词性标注可能性，哪种可能性最大？ 带词性频率的词典 把 v 11 p 1505 m 2 n 4 q 41 这 r 3948 篇 q 105 报道 n 54 v 671 编辑 v 15 n 26 一 c 249 m 8970 下 q 16 v 335 f 950 词性标注需要考虑的因素 TBL和HMM方法的标注都整合了两方面的特征来取得好的标注结果： 频率 这些/r 天/q 来/f 取得/vn 的/u 进展/n 你/r 来/v 吧/o 上下文 开始/v 对/p 计划经济/n 体制/n 进行/v 改革/vn 医药/n 卫生/an 改革/n 中/f 的/u 经济/n 问题/n 基于转换学习(TBL)的词性标注方法 先把每个词标注上最可能的词性，然后通过转换规则修正错误的标注，提高标注精度。 转换规则的例子 如果一个词左边第一个词的词性是量词(q)，左边第二个词的词性是数词(m)，则将这个词的词性从动词(v)改为名词(n) 他/r 做/v 了/u 一/m 个/q 报告/v 转换成： 他/r 做/v 了/u 一/m 个/q 报告/n 如果一个词左边第一个词的词性是介词(p)，则将这个词的词性从动词(v)改为名词(n) 可以通过语料库学习转换规则 转换规则的形式 转换规则由两部分组成 改写规则（rewriting rule） 激活环境（triggering environment） 转换规则的例子： 改写规则：将一个词的词性从动词（v）改为名词（n）； 激活环境：该词左边第一个紧邻词的词性是量词（q），第二个词的词性是数词（m） TBL词性标注算法 学习转换规则序列 1. 初始状态标注：用从训练语料库中统计的最有可能的词性标注语料库中的每个词 2. 考察每个可能的转换规则：选择能最多的消除语料库标注错误数的规则，把这个规则加到规则序列最后。 3. 用选择出来的这个规则重新标注语料库 4. 返回到2，直到标注错误没有明显的减少为止 得到应用于新数据的标注集序列，以及每个词最有可能的词性标注 标注新数据 1.每个词用最有可能的词性标注 2.应用每个可能的转换规则到新数据 错误减少的例子 TBL构想 想象画油画 蓝天、草地、白云 先把整块画布涂成蓝色， 然后把下面的三分之一用绿色覆盖，表示草地， 然后把上面的蓝色用白色覆盖，表示白云。 通过从大到小的修正，越来越接近最终的精细化结果。 TBL标注实现 public ListString tag(ListString words) { ListString ret = new ArrayListString(words.size()); for (int i = 0, size = words.size(); i size; i++) { String[] ss = (String[]) lexicon.get(words.get(i)); if (ss == null) ss = lexicon.get(words.get(i).toLowerCase()); if (ss == null words.get(i).length() == 1) ret.add(words.get(i) + ^); if (ss == null) ret.add(NN); else ret.add(ss[0]); } for (int i = 0; i words.size(); i++) { String word = ret.get(i); // rule 1: DT, {VBD | VBP} -- DT, NN if (i 0 ret.get(i - 1).equals(DT)) { if (word.equals(VBD)