分层次汉语功能块描述库构建分析.docVIP

分层次汉语功能块描述库构建分析 　　摘要：现有功能块分析器对于不同长度和不同结构功能块的分析性能研究袁明，长的结构复杂的功能块正是功能块自动分析的难点所在。由此，我们设计了新的分层次的功能块体系，并从清华句法树库TCT中自动生成了新的功能块语料库。通过对新的功能块语料库长度分布、内部结构分布分析，以及与单层次功能块语料库的相互关系的研究，我们证实了新的分层次功能块描述体系具有结构简单、长度短且分布均匀的优良特点。这些性质对功能块分析器的性能提高将会有很大的帮助。 　　关键词：计算机应用；中文信息处理；部分分析；功能块；分层次描述 　　中图分类号：TP391　文献标识码：A 　　 　　1　引言 　　 　　句法分析作为自然语言处理的基础研究，被广泛应用于信息抽取、信息检索等应用领域。由于自然语言所具有复杂性和不确定性，目前的完全句法分析器在性能与效率上还无法达到令人满意的效果。由于目前实现完全句法分析所存在的巨大困难，句法分析技术的一个发展趋势就是避开现实存在的巨大障碍，由完全句法分析转向浅层句法分析(shallow Parsing)或部分句法分析(Partial Parsing)。 　　完全句法分析分析整个句子的句法结构，揭示句子中各个成分之间的关系。而部分句法分析从句子的局部着手，使用“分而治之”的策略，从而降低了分析的难度。基于语块(Chunk)的句法分析属于浅