分词方法基于字符串匹配分词基于理解分词基于统计分词.pptVIP

  • 79
  • 0
  • 约2.43千字
  • 约 21页
  • 2020-09-16 发布于福建
  • 举报

分词方法基于字符串匹配分词基于理解分词基于统计分词.ppt

中文分词相关研究 吕先超 目录 中文分词概况 分词算法 分词难 已经存在的项目 基于CRFs的中文分词算法 中文分词概况 中文分词( Chinese Word Segmentation)指的是将一个汉字序列切分成一个一个 单独的词。词是最小的能够独立活动的有意义的语言成分,分词就是将连续的字序 列按照一定的规范重新组合成词序列的过程。我们知道,在英文的行文中,单词之 间是以空格作为自然分界符的,而中文只是字、句和段能通过明显的分界符来简单 界,唯独词没有一个形式上的分界符,虽然英文也同样存在短语的划分问题,不 过在词这一层上,中文比之英文要复杂的多、困难的多。中文分词是汉语自然语言 垂处理的基础性任务,分词的准确度直接影响到后续处理任务,分词的速度影响一些系 统的实际应用因此,中文词语分析是中文信息处理的基础与关键 中文在基本文法上有其特殊 与英文为代表的拉丁语系语言相比,英文以空格作为天然的分隔符,而中文 汉字之间没有 在中文里,“词”和“词组”边界模糊 中文分词概况 中文分词是文本挖据的基础,对于输入的一段中文,成功的进行中文分词,可以达 到电脑自动识别语句含义的效果 中文分词技术属于自然语言处理技术范畴 对 于一句话,人可以通过自己的知识来 明白哪些是词,哪些不是词,但如何让计算机也能理解?其处理过程就是分词算法。 中文分词对于搜索引擎来说 要的并不

文档评论(0)

1亿VIP精品文档

相关文档