面向层次分类标签的词性标注系统.pdfVIP

第 35 卷第 21 期 计算机工程 2009 年 11 月 VoL35 No. 2J Computer Engineering November 2009 ·人工智能及识别技术· :t.蝙号 I 100伽幽幽3428(2009)21 -0 197刷-03 文献标识码 IA 中阳分自险号: TP391 面向层次分类标签的词性标注系统 捕炜，就越 (复旦大学讲算机种学~_[程系，上海 200433) 摘 要:网络的发展导敛大最不规则知语义本的产生，针对现有词性栋t靠工具在层次分类体系标靠在语料七 11能不位的问姐，提出一种基于 最大俐的简单算法。 51 入一个新标记，综合从 Wordnct 和维幕词科提取的 2 类特征，使性能得到提升。实验结巢表明，系统在 UMoz 上的 准确率达到 93.77% 。 关键词:层次分类标签;词性标法;簸à娟模现 POS Tagging System on Hierachical Classification Labels PAN Wei, SHEN Chao (Department ofComputer Scíence and Engíneerin息， Fudan University, Shanghai 200433) (Abstract]ηle devclopment of Intemct gives birth ωmany unconventíonal datasets likc hierarchical classitication lahels. Current Part Of Speech(POS) tagging tool8 fail 00 these datasets. To solve this problem, this paper proposes a simple method using Max Entropy Model(MEM) framework, which introduces a new tag and two new featurcs extracted from Wordnet and Wikipcdia, and comes up with a significant improvement. Experiment且 1 results show that 由 e precision reaches 93.77% on DMol. (Key words] hierarchical classification lahcls; Part OfSpccch(POS) tagging; Max Entropy Modcl(MEM) 1 概述 长句上取得 96.6% 的准确亭，但在 Dmoz 标第 J: 就 F 降 作为种语言现象，短语文本经常出现在文章标题、产 到 56.11% 。 品标练以及日常对话中，俩是长久以来都不被模悔。近年来， 2 姐语文本与长句的院别 随着 Internet 的发展，它们出现的敬岛生和种类越米越多，一 本文研究的数据对象，即层次分类体系的