基于最大熵方法的中英文基本名词短语识别.pdfVIP

维普资讯 第40卷第3期 计 算 机 研 究 与发 展 Vo1．40。No．3 2003年3月 JOURNALOFCOMPUTERRESEARCHANDDEVELOPMENT Mar．2003 基于最大熵方法的中英文基本名词短语识别 周雅倩 郭以昆 黄萱菁 吴立德 (复旦大学计算机科学与工程系 上海 200433) (archzhou@yahoo．o0m) 摘 要 使用 了基于最大熵的方法识别中文基本名词短语．在开放语料 ChineseTreeBank上 ，只使用词性标注，达到 了 平均87．43％／88．09％的查全率催 确率．由于，关于中文的基本名词短语识别的结果没有很好的可比性，又使用相同的 算法，尝试了英文的基本名词短语识别．在英文标准语料TREEBANK lI上，开放测试达到了93．31％／93．04％的查全率 ／准确率，极为接近国际最优水平．这既证明了此算法的行之有效，又表明该方法的语言无关性． 关键词 最大熵 ；基本名词短语；自然语言处理 中图法分类号 TP391 ChineseandEnglishBaseNP RecognitionBased onaM aximum EntropyM odel ZHOUYa—Qian，GUO Yi—Kun，HUANGXuan—Jing，andWU Li—De (DepartmentofComputerScienceandEngineering，FudanUniversity，Shanghai200433) Abstract A maximum entropymodeIinChineseBaseNPrecognitionisusedinthispaper．Theopentest onChinees TreeBank，thepubliccorpus，indicatestheaveragerecallandprecisionof87．43％ and88．09％ respectivelywithlimitedknowledge(textiteslfanditsPOStag)．BecauesoftheincomparabilityofChinese BaseNP recognitionresults，thesamealgorithm isapplied inEnglishBaseNP reocng ition．Theteston TREEBANK 1IshoWSthattherecallandprecisionare93．31％and93．04％，whichareclosetothestate ofthe art．This notonly proves the availability ofthe algorithm ，butalso indiactes itslanguage independence． Keywords maximum entropy；BaseNP；naturallanguageprocessing 文本，更能反映文本的语义． 1 引 言 在美国国家标准局召开的一年一度的文本检索 会议(TER C)中，专门研究了自然语言理解技术在 在 自然语言处理领域，名词短语对机器翻译、文 信息检索中的应用．权威的TER C会议的评测结果 本检索、信息抽取和文本分类等应用领域有重要作 表明，许多系统使用复合索引项 (短语)可以显著提 用．首先，短语具有更丰富的语义，而且它不能简单 高检索性能，所有系统的表现都超过作为基准的 地由短语的成分词来表示 ，例如英文中由动词和介 SMART系统．大多数系统运用了短语抽取技术，有 词 (小品词、副词)等组成的短语．其次，许多专有词 些还加入了句法分析．而改进的SMART系统也使 汇本身就是以短语的形式存在，如 “自然语言