6词法分析讲义.ppt

词法分析;概述;英文的词法分析;英文的词法分析;英文词的识别——Tokenization;英文词的识别——Tokenization;英文词的识别——Tokenization;Tokenization问题;数字的识别;Tokenization算法;英文词形还原——Lemmatization;英文词形还原——Lemmatization;英文词形还原——Lemmatization;英文词形还原——Lemmatization;英文词形还原——Lemmatization;英文词形还原——Lemmatization;英文词形还原——Lemmatization;英文词形还原的程度;中文的词法分析;中文的词法分析;中文的词法分析;中文双字形容词的重叠形式;中文双字动词的重叠形式;中文单字动词的重叠形式 ;中文其他词类的重叠形式;中文重叠词的特点;汉语重叠词处理;中文词缀;中文离合词;中文分词;中文的切分歧义;交集型歧义字段的链长;真歧义和伪歧义;真实语料中歧义字段的分布;中文分词标准;中文分词标准;中文分词标准;中文切分的数据结构－词图;中文分词算法;全切分;最大匹配法;最大匹配法;交叉歧义检测法;基于记忆的交叉歧义排除法;最少分词法;最少分词法;基于N元语法的切分排歧;字串“中华人民共和国”的切分词网格 ;基于统计的词网格分词;基于N元语法的切分排歧;分词系统的评价;分词系统的评价;中文未登录词