汉语词语时代特征的自动获取和利用研究--先秦和现代.pdf

摘要 I III IIIIIIIII IIIl 111111ILIIIIII 摘要 传统意义上说，词语的时代特征(或称为“时代色彩”)能够体现词语所在 社会的发展状况和时代气息，但该定义却会导致“词语的时代特征就是时代”这 个结论。我们认为词语的时代特征理应包含其诞生、成长直到消亡的全过程。这 样能够从更全面的角度考察词语变化发展的面貌，也便于我们进行客观的量化研 究。时代特有词语是一类特殊的词语，是研究词语时代特征重要的一个方面，也 是词语时代特征研究中最有价值的一个方面。本文分别从先秦和现代汉语语料入 手，主要使用TF和TFIDF值获取先秦和现代汉语特有词语，并以此为基础研究 了自动获取(也就是量化)词语时代特征的有效方法，实验表明我们的方法是令 人满意的。时代特征是词语附加义中重要的组成部分，自然语言理解的重点和难 点就是对于语义的理解，如果能够能有效解决词语的时代附加义的自动获取与理 解，将对自然语言处理中的语义研究有很大的帮助。我们还在词语时代特征的基 础上，进行了应用研究，使用向量相似度和朴素贝叶斯分别对先秦25种文献年 代进行自动判断，实验结果表明朴素贝叶斯分类器的性能更好，是一种有效的判 定文献年代的方法。 关键词： 先秦，现代汉语，词汇，时代特征，年代判定，向量空间 模型 Abstract Abstract Intraditional oftimesisan of meanings，words’propertyimportanttype additional which the oftimes．Butthiswill toa meaningrepresentsspirit lead conclusion oftimes meanstimes”．Wesaw of thatwords’property words’property timesasawholefrom totheir this of words’appearance view, disappearance．Inpoint wecan the more a studywords’changing comprehensively．Andquantification methodon oftimesismucheasier．Peculiaroftimesmost words’property words are inthe of oftimes．Westartedwith important studywords’property pre—Qincorpus and ModemChineseandwelearnedthatTFand TFIDF didwellin corpus