语料库-北京大学中国语言学研究中心.pdfVIP

第六讲第六讲 语料库语料库 詹卫东 /doubtfire/ 提纲  11 什么是语料库什么是语料库  2 语料库的发展简史  3 语料库的设计  44 语料库的加工语料库的加工  5 语料库的应用 2 1 什么是语料库 在在今天今天，仅仅将语料库视为存放语言材料的仓库仅仅将语料库视为存放语言材料的仓库， 是令人无法忍受的观点。新一代的兆亿级的大规 模语料库可以作为语言模型的训练和测试手段模语料库可以作为语言模型的训练和测试手段，， 来评价一个语言模型的质量；此外，诸如困惑度 之类的统计方法也可利用语料库来评估一个语法 模型对语料的解释能力模型对语料的解释能力。 —— Geoffrey Leech, The State of The Art in CorpusCorpus LinguisticsLinguistics, InIn AijmarAijmar, KK. and Altenbe