基于词典的中文分词.pptxVIP

自然语言处理项目2中文分词与关键词提取

MOBILEPHONECONFERENCE品牌介绍MOBILEPHONECONFERENCE产品介绍MOBILEPHONECONFERENCE产品设计目基于词典的中文分词

简单来说，中文分词是指将汉字序列按照一定规范、逐个切分为词序列的过程。例如：南京市长江大桥，分词结果：南京市/长江大桥。不同于中文分词，英文分词就简单许多，因为英文单词之间以空格隔开，所以进行分词时可以利用空格作为切分单位。而中文是以字为基本单位，不像英文那样依靠天然的空格作为分隔符，因此中文分词一直是中文信息处理中比较困难的问题并且是一个尚未完全有效解决的问题。中文分词的关键问题：歧义切分字段处理、未登录词的处理什么是中文分词

基于词典的分词方法?正向最大匹配法01逆向最大匹配法02双向最大匹配法03基于词典的分词方法又叫机械分词方法，是目前使用最为广泛的一类按照一定的策略将待分析的字符串和一个已建立好的“大机器词典”中的词进行匹配的分词算法，若在词典中找到某个词条，则说明匹配成功，其优点在于识别速度快，方法简单，不过也存在严重依赖词典，无法很好的处理分词歧义和未登录词等问题。

基于统计的中文分词

N元文法模型如果认为一个词的出现仅仅与它左边的N-1个词有关，那么此时的语言模型就称为N元文法（N-gram）。当N=1时，出现在第i个