第七章词汇分析一找出字符串中的词.pptVIP

* 3.3 对分词质量的评价 计算分词正确率的不同标准以字数或词数算以句数算 分词质量对NLP应用系统的影响分词质量对MT的影响分词质量对IR的影响 “移动电话” 从合 —— 对翻译、校对有利 从分 —— 对IR有利 * 小结 词语破碎处，无物存在 —— 引自海德格尔《在通向语言的途中》， 商务印书馆1997年版 从字串到词串，存在着多种可能性（不确定性），因而分词的过程也就是一个降低不确定性的过程，为了降低不确定性，需要为计算机提供确定的“语言知识”，这种知识可以是词典形式的，可以是规则形式的，也可以是统计数据形式的。 * 进一步阅读文献 刘开瑛，2000，《中文文本自动分词和标注》，商务印书馆，第1－6章 赵铁军，2000，《机器翻译原理》，哈尔滨工业大学出版社，第3章 冯志伟，2001，《计算语言学基础》，商务印书馆，第2章 何克抗 等，1991，《书面汉语自动分词专家系统设计原理》，载《中文信息学报》，1991年第2期。 白栓虎，1995，《汉语词切分及标注一体化方法》，载陈力为、袁琦主编《计算语言学进展与应用》，清华大学出版社。 孙茂松 等，1999，《高频最大交集型歧义切分字段在汉语自动分词中的作用》，载《中文信息学报》1999年第1期。 陈小荷，2000，《现代汉语自动分析》，北京语言文化大学出版社，第7章 语言学光标网站之词法分析板块 * 复习思考题 什么是词？请谈谈你对“词”这个概念的认识。 汉语的自动分词面临哪些困难，请举例说明。 写出汉语词语重叠形式的分析规则 归纳说明汉语产生新词的模式 在互联网上找一篇字数在3000到5000字之间的中文文章，进行人工分词，并列举、归纳碰到的问题。 * 最大概率法分词 S: 有意见分歧 W1: 有/ 意见/ 分歧/ W2: 有意/ 见/ 分歧/ Max(P(W1|S), P(W2|S)) ? 独立性假设，一元语法 * 最大概率法分词 词语 概率 … … 有 0.0180 有意 0.0005 意见 0.0010 见 0.0002 分歧 0.0001 … … P(W1) = P(有) * P(意见) * P(分歧) = 1.8 × 10-9 P(W2) = P(有意) * P(见) * P(分歧) = 1×10-11 P(W1) P(W2) * 提高计算效率 到达候选词wi时的累计概率 公式1 如何尽快找到概率最大的词串（路径）？ * 提高计算效率（续） 左邻词假定对字串从左到右进行扫描，可以得到 , , … , , , … 等若干候选词，如果 的尾字跟 的首字邻接，就称 为 的左邻词。比如上面例中，候选词“有”就是候选词“意见”的左邻词，“意见”和“见”都是“分歧”的左邻词。字串最左边的词没有左邻词。 最佳左邻词如果某个候选词 有若干个左邻词 , , … 等等，其中累计概率最大的候选词称为 的最佳左邻词。比如候选词“意见”只有一个左邻词“有”，因此，“有”同时也就是“意见”的最佳左邻词；候选词“分歧”有两个左邻词“意见”和“见”，其中“意见”的累计概率大于“见”累计概率，因此“意见”是“分歧”的最佳左邻词 * 最大概率分词算法 对一个待分词的字串 S，按照从左到右的顺序取出全部候选词w1, w2 , … ,wi, … , wn ； 到词典中查出每个候选词 的概率值P(wi) ，并记录每个候选词的全部左邻词； 按照公式1计算每个候选词的累计概率，同时比较得到每个候选词的最佳左邻词； 如果当前词wn是字串S的尾词，且累计概率P (wn)最大，则wn 就是S的终点词； 从wn开始，按照从右到左顺序，依次将每个词的最佳左邻词输出，即为S的分词结果。 * 最大概率分词算法示例 （1）对“有意见分歧”，从左到右进行一遍扫描，得到全部候选词： “有”，“有意”，“意见”，“见”，“分歧”； （2）对每个候选词，记录下它的概率值，并将累计概率赋初值为0； （3）顺次计算各个候选词的累计概率值，同时记录每个候选词的 最佳左邻词： P(有)=P(有)， P(有意) = P(有意)， P‘(意见)=P’(有) × P(意见)，（“意见”的最佳左邻词为“有”） P‘(见)=P’(有意) × P(见)，（“见”的最佳左邻词为“有意”） P(意见)P(见) （4）“分歧”是尾词，“意见”是“分歧”的最佳左邻词，分词过程