基于最大熵模型的汉语句子分析-中国科技论文在线.PDFVIP

第 ll期 电 子 学 报 V01．31 No．11 加回 车 l1月 A(lA EIECIR0NICA驯 CA Nov． 200B 基于最大熵模型的汉语句子分析 徐延勇，周献 中，井祥鹤，郭忠伟 (南京理工大学 自动控制系，江苏南京 210094) 摘 要 ： 文中运用浅层句法分析理论 ，把汉语句子分析划分为标注、组块 、构造和检查三个过程 ．并针对 已有概 率评价模型的特征类型少 ，不能充分利用上下文中对分析有用 的信息等问题 ，提出了基于最大熵的概率评价模型来评 估分析过程中每个行为的概率．在该模型中，对分析有用的任何信息都可以成为模型中的一个特征；定义了静态模板 结构的特征集和训练集，给出了相应的特征选择策略和基于GIS的参数估计算法；采取BFS算法高效搜索概率值最高 的候选句法树作为最终的句法分析结果 ．实验结果表 明：该模型具有较高的分析效率和准确性 ． 关键词： 自然语言处理 ；最大熵模型；组块 ；句法分析 ；广度优先搜索 中图分类号 ： TP391．1 文献标识码 ： A 文章编号 ： 0372-2112(2o03)11．1608-05 ChineseSentenceParsingBasedonMaximum EntropyModel XU Yan—yong，ZHOUXian-zhong，JING Xiang-he，GUO Zhong-wei ( 砌 口ofAutomat／on，Nan3~ of andTedmo／ogy，Nanking，J／an~ 210094， Ⅺ) Abstl~ *- Theshallow Irsillgtheoryisapplied topartitionChinesesentenceparsingintothreeprocedures：TAG，CHUNK， BUILD andCHECK．Toresolvetheproblem otlackingfeaturetypesforavail~leprobabilistiemodelsandmakethebestofusefulin— fom~tlonfor lrsillgincontext，wepresentprobabilistiemodelbasedonIn~Jlnum entropytoevaluatetheprobabilityoteachactionin theoarsi,~procedures．Inthismode1．anyusefulinfolmationforparsi,~ inacontextcouldbeltlflactualfeature；thefeaturesandtrain— ingeventsflaredefined；thestrategyotfeatureselectionandthealgorithm ot mm es痂 0nbasedonGeneralizedIterativeSeal— ing(GlS)aregiven；Thefinalresult parsingistheparsetreewiththe],ltl~estprobabilitysearchedwithB~ firstse,irch(B~)． Themodelisexperimentallyproved鞠 挑 inbothparsingeflleiencyandprecision． KeywO ： naturalhnguage 0cessiI】g；m蹦inmm entropymodels；chunk；senterieeparsing；BFS 型，以该模型评价每棵候选句法树存在的可能性 ，给出了