1分词词典设计.PDFVIP

第二军医大学硕士研究生论文 建立起来的，而汉语是非形态语言，用西方传统的形态语言学的理论来描述汉语 是行不通的。他提出语义块的概念，认为理解就是消解模糊的过程。在语言的理 解中，必须消解五大模糊:发音模糊、音词转换模糊、词的多义模糊、语义块构 成的分合模糊以及指代冗缺模糊，而后三种恰恰是文本理解的重点。黄先生还提 出，HNc理论中对语义块的分析过程中，自然而然的就解决了中文的分词问题， 而与其它理论不同。 HNC理论是针对中文提出来的，形成了一个完整的体系，无论以后应用前 景如何，都极大地推动了汉语语义分析。目前国内了解此理论的人不多，应用也 刚刚起步。 4.2 知识分词系统研究及实现 鉴于知识分词系统的主要目的是找出文章中能反映文章主题和表达确定语 义的词，然后对这些词进行筛选和学习。这样一种目的决定了我们要能够准确提 取出那些能够反应专业范围但词典中并不包含的词，分词精度在满足某一范围的 前提下并不作太高的要求。因此我们采取词频统计和机械匹配相结合的分词方 法。 4.2.1分词词典的设计 知识分词系统中用于分词的主要有三部词典:常用词词典、专有名词词典、 用户个性词典。这三部词典在含词量、词的范围、种类以及分词时的用途方面有 较大的区别。