中文分词简介.pptx

;;Part1;;人工智能;例子;Part2;;;Part3;;“词”这个概念一直是汉语语言学界纠缠不清而又挥之不去的问题。“词是什么”（词的抽象定义）及“什么是词”（词的详细界定），这两个基本问题有点飘忽不定，迄今拿不出一种公认的、具有权威性的词表来。

重要困难出自两个方面：首先是单字词与词素之间的划界，另首先是词与短语（词组）的划界。此外，对于汉语“词”的认识，一般说话人的语感与语言学家的原则也有较大的差异。有关专家的调查表明，在母语为汉语的被试者之间，对汉语文本中出现的词语的认同率只有大概70％，从计算的严格意义上说，自动分词是一种没有明确定义的问题。