我家门前的小河很难过.pptVIP

我家门前的小河很难过 …… 语言信息处理—词处理（二） For 对外汉语专业本科生 2010年5月 本章提纲 词法分析概述 英语词汇处理 汉语词汇处理—自动分词 汉语词汇处理—未登录词识别 汉语词汇处理—词性标注 词法分析概述 词法分析在自然语言处理中的重要性 词是组成句子的基础单位，只有在对词进行分析的基础上，才谈得上进一步做其他的处理。 计算机有关自然语言的知识很大一部分是以机器词典（给出词的各项信息，包括句法、语义、语用等信息）的形式储存的。自然语言信息处理系统只有在词的基础上进行，才可能利用这些知识。 词法分析的首要任务是把输入的“字符串”变为“词串”。 词法分析是一个提高确定性的过程 汉字简繁转换系统。简繁转换中存在不对称性和不确定性，在词的基础上进行转换，确定性可大大增加。 文本校对系统。只有在词的基础上，才可能发现错字。 利用语料库研究词语的用法。 词法分析的阶段 词法分析第一阶段：将自然语言的字符串变成词串 将句子中的词离析出来； 进一步对词的内部构造形式进行分析，即分析出组成词的语素成分 词法分析第二阶段：按照某种标准，给句子中的词加上句法范畴标记，乃至语义范畴标志。 词法分析：字串----词串----词性标注串----义项标注串。 理论方面，什么样的语言单位算是词？一个词的义项如何确定？…… 实践方面，如何快速地将词识别出来？如何排除词串划分的歧义？如何排除词性标记串的歧义？…… 英语词汇处理 英语书写形式中，词的界限非常清楚 真实文本中词出现的复杂性 英语词汇处理包括两个过程： Tokenization：把字符串变为词串 I’m a student - I ’m a student Lemmatization：对词进行内部结构和形式分析 took - take + ed (past tense) Tokenization--识别出英语文本中的“词” 特殊字符及其描述 数字：分数、百分数、小数、整数、日期 缩略 字母—点号—字母—点号组成的序列：U.S， i.e 字母开头，点号结束：Mr.，prof. 包含非字母字符：ATT 带杠的词串：three-years-old 带撇号的词串：I’m, can’t 带空格的词串：and so on 特殊字符的描述、处理 上述1、2两种类型的字符串很难全部收入词典，因此需用规则的方法来描述清楚其内部的结构模式，通常可以用正则表达式来表示。 识别分数、日期的正则式：[0-9]+(/[0-9]+)+ e.g. 12/21 4/13/2010 识别百分数的正则式：(+|-)?[0-9]+.?[0-9]*% e.g. - 5.9% 91% 识别十进制数字的正则式：([0-9]+,?)+((.[0-9]+)|([0-9]+))* e.g. 12,345 识别“i.e.”这类缩略形式的正则式：[A-Za-z].([A-Za-z0-9].)+ 识别“Mr.”这类缩略形式的正则式：[A-Za-z]+. 正则表达式： [ ] 表示所含字符或数字只能出现1个 ( ) 表示所含字符或数字作为一个整体式一组 + 表示它左边的字符或数字至少出现1次 * 表示它左边的字符或数字出现0次或无限次 ? 表示它左边的字符或数字只出现一次 | 表示“或”，即它左右的符号串二选一 Tokenization的一般步骤 对一个待分析的字符串（S），从左到右进行扫描，读入当前字符（char）到候选词数组（W[ i ]），并将指针（pointer）前移，i=i+1； 看char是否为词分隔符（事先可以预定义空格以及一般标点均为词分隔符）； 如果char是词分隔符，并且W不是空格，将W中从起始位置到i-1位置的字符作为一个词汇单位输出，同时将S中的W部分删去，然后清空W，转入（1），如果char是词分隔符，且W是空格，将S中的W部分删去，清空W，转入（1）； 如果不是词分隔符，看指针是否已经指到字符流尾部； 如果指针已经指到字符流尾部，将当前W从起始位置到i-1位置的字符作为一个词汇单位输出，结束。 如果不是字符流尾部，转入（1）； Tokenization示例 Lemmatization--对识别出的词进行词形分析 Lemmatization是对W中的每个词（wi）的形式进行分析，使得每一个wi都能跟词典中的词条对应起来。这样就能为下一步的分析获得词典中的信息，同时也尽可能为下一步的句法分析提供一些初步的词法属性。 英语构词模式： {前缀}＋ {词根} ＋ {后缀} ＋ [词尾] 构词示例 boys（复数词尾） happiness（名词后缀） impossible（前缀） strongest（形容词最高级词尾） housewar