基于70年报刊语料的现代汉语历时稳态词抽取与考察extractionand.pdfVIP

基于70 年报刊语料的现代汉语历时稳态词抽取与考察* 饶高琦，李宇明 北京语言大学，北京，100083 摘要：本文基于70 年跨度的历时报刊语料库，使用9 种统计方法计算了词语的历年使用情况，并通过对稳 定性、覆盖度和时间区分性能的考察筛选获得了规模3015 词的历时稳态词候选词集。该词集中动词与名词 各占约三分之一（其余为形容词、副词与虚词），平均词长约 1.7 字，前密后疏得分布于历时语料库总频 序表的前7609 位，覆盖了近九成语料。该部分词语中包含大量构造句子结构的核心词语。它们塑造了稳态 词在词长和词类上的特性。稳态词的提取可以加深对语言生活底层与基础词汇的认识，对汉语教学、中文 信息处理和语言规划都具有重要意义。 关键词：稳态词，历时语料库，语言监测 Extraction and Investigation of Steady-state Words based on Diachronic Corpus of Newspapers across 70 Years Rao Gaoqi，Li Yuming Beijing Language and Culture University, Beijing, 100083, China Abstract: Based on the diachronic corpus of modern newspaper across 70 years, 9 statistic methods were applied to compute the stability of word use to gain candidate sets of steady -state words. 3015 words were obtained by evaluating their corpus cover age, time sensitivity and diachronic classification. In this set, verb and noun take one third respectively (the rest consists of adjectives and function words). Word length is 1.7 characters in average. Steady-state words are distributed in top 7609 in frequency list, covering 90% of corpus. Basic morphemes and core words shape the features of the set in POS and length. Extraction of steady -state words benefits Chinese teaching, NLP and language planning. Key Words: steady-state word, diachronic corpus, language monitoring 1 引言 汉语演变的历程中，词语使用受时间影响的程度不一，表现为词语在时间维度上的分布 不同。词汇系统中很多词语使用稳定，受时间影响小，更新和变异缓慢，构成了现代汉语词 [1] 汇系统的底层，起到基础和主干的作用。张普 先生的研究中将这部分词语被称作稳态词。 [2] 在自然语言处理中的直接相关研究较少。Fumiyo 等 使用卡方检验从30 年的MedLine 英文文档集中筛选具有时间显著性的名词。Degaetano-Ortlieb[3]等在SciTex 中挖掘了与时间 [4] 相关的词类串和用词特征，并使用相关分析协助选择。谢晓燕 则使用词语生命度方法计算 了词在各时间点上的活跃程度，辅之以问卷调查