《主观题自动评阅系统设计》20000字.docx

主观题自动评阅系统设计

摘要：中文是没有词间空格的，因此在许多自然语言处理应用中，包括单语言和跨语言信息检索以及文本到语音系统中，找到词的边界是必不可少的第一步。这个分词问题已经成为计算语言学研究的一个活跃领域近二十年，是一个活跃的研究课题在世界各地。由于汉语中“词性”的概念本身就存在着激烈的争论，因此确定一个汉语句子的“词”的正确划分是非常复杂的。评阅使用了四个语料库，分别使用简体字和繁体字。简体中文语料库由北京大学和微软北京研究院提供。传统中文语料库由台湾中央研究院和香港城市大学提供。每个提供者提供单独的训练和真相数据集。每个语料库的详细信息在表1-1中提供。除了一个例外，所有的语料库