大规模平衡语料收集分析及文本分类方法研究.pdfVIP

摘要 语料库和词典是进行自然语言处理研究的重要资源。语言学的研究必须以语 言事实作为依据，语言现象的复杂性决定了要全面的了解其特点必须有大规模语 料库的支持．否则只能是无源之水、无本之木。尤其是随着统计模型在鲁然语言 处理领域的应用，大规模语料库的作用更加突出，无论对于语言现象压身的研究， 还是对于信息检索、机器翻译、文本分类、自动分词等应用系统的研究祁开发， 都具有非常重要的意义。同样，词典开发不仅是自然语言处理研究的基础性工作， 也是字典编纂、语言教学等工作的重要环节。医此，本论文从事於大规模平翁语 料的收集和分析工作，以及在该工作基础上开展的文本分类技术研究，具有重要 的理论惹义和实用价值。 本文首先在欧共体项目(LC—STAR)的资助下，开展了大规模汉语平衡语 半|的发集与分析工作，其主要目的是建立一个反映现代汉语语言特点的、i青Ef_{于 汉语语言分析、语音识别和语音合成的汉语标注语料库，并以此为基础建立一部 相应的信息词典。该工作主要包括：(1)在对大规模汉语平衡语料收集方法进行 调研和分析的基础上，收集并标注了规模达3087万字的汉语平衡语料：(2)以 收集的语料为基础，建立了一个大规模(10多万词)的现代汉语信息词典，诟 条标注信息包括词性、注音、词频和专用词