《基于启发式搜索与预标注的中文CCG句法分析-论文》.pdfVIP

第31卷第9期 计算机应用与软件 Vo1．31 No．9 2014年 9月 ComputerApplicationsandSoftware Sep．2014 基于启发式搜索与预标注的中文 CCG句法分析 周金龙 邱锡鹏 (复旦大学计算机科学技术学院 上海 201203) 摘 要 针对中文组合范畴语法 (CCG)分析困难的特点，研究如何将两种彼此相互独立的技术共同应用在 中文CCG句法分析 上。首先使用预标注算法，使用对数线性模型通过去除那些概率较低的词汇范畴来对句子的潜在分析空间进行剪枝。然后应用启 发式搜索算法进一步加速分析过程。最后从时间效率和分析精度两个维度对所使用的方法进行验证。实验表明，基于启发式搜索 与预标注的句法分析算法可以显著地提高分析效率与分析精度。 关键词 中文句法分析 组合范畴语法 启发式搜索 预标注 中图分类号 TP391 文献标识码 A DOI：10．3969／j．issn．1000—386x．2014．09．058 CHINESE CCG PARSING BASED oN A SEARCH AND SUPERTAGGING ZhouJinlong QiuXipeng (SchoolofComputerScience，Fudan ，Shanghai201203，China) Abstract ChineseCCG isdifficulttoparse，inlightofthischaracter，inthepaperweinvestigatethewaytointegratetwoindependent techniquesonChineseCCG parsing．Firstlythesupertaggingisused，andbyeliminatingwithlog—linearmodelthosewordscategorieswhose possibilityislow，thelatentparsingspaceofsentencesispruned．Secondly，A searchisappliedtofurtheracceleratetheparsingprocedure． Atlasttheverificationsaredoneontheapproachusedfrom thedimensionsofbothtimeefficiencyandparsingaccuracy．Experimentsindicate thattheparsingalgorithm basedonA searchandsupertaggingcansignificantlyimprovetheefficiencyandaccuracy． Keywords Chineseparsing Combinatorycategorialgrammar(CCG) A search Supertagging 预标注时所使用的序列标注模型仅仅考虑了词汇范畴的局部词 0 引 言 汇与词性特征，而并没有语法约束，我们通过预标注所得到的词 汇范畴序列可能无法导出任何合法的句法分析结果，因此我们 对组合范畴语法 (CCG)…进行高效的句法分析是当前 自 需要控制预标注方法进行词汇范畴剪枝的力度。实验表明，如 然语言处理领域的一大难题。相较于一般的上下文无关语法 ， 果能合理地进行参数设置，预标注的方法可以在不损失精度的 组合范畴语法的句法分析要困难得多。主要原因在于其产生的 前提下(甚至能够提高精度)有效地提高句法分析的效率。 另一方面，我们也会考虑如何从句法分析器本身提高分析 非终结符和语法规则的数量要远远大于普通的上下文无关语 法，从而使得其