面向商务信息抽取的产品命名实体识别研究_刘非凡.pdfVIP

中　文　信　息　学　报 第20 卷第1 期　 JOURNAL OF CHINESE INFORMATION PROCESSING Vol.20 No.1 文章编号:1003-0077 (2006)01-0007-07 面向商务信息抽取的产品命名实体识别研究 1 1 1 1 2 2 刘非 , 赵　军 , 吕碧波, 徐　波 , 于　浩, 夏迎炬 (1.中国科学院自动化研究所模式识别国家重点实验室北京　100080;2.富士通研究开发中心有限公司 北京　1000 16) 摘要:市场信息化使得商务信息抽取、市场内容管理日益成为信息科学领域的一个研究热点。 产品命名 实体识别作为其中非常重要的关键技术之一也逐渐受到人们的关注。 本文面向商务信息抽取对产品命名实 体进行了定义并系统分析了其识别任务的特点和难点, 提出了一种基于层级隐马尔可夫模型(hierarchical hid- den Markov model)的产品命名实体识别方法, 实现了汉语自由文本中产品命名实体识别和标注的原型系统。 实验表明, 该系统在电子数码和手机领域均取得了令人满意的实验结果, 对产品名实体、产品型号实体、产品 品牌实体整体识别性能的F 值分别为79.7 %, 86.9%, 75.8%。 通过和最大熵模型相比较, 验证了HHMM 对于 处理多尺度嵌套序列有更强的表征能力。 关键词:计算机应用;中文信息处理;产品命名实体识别;商务信息抽取;层级隐马尔可夫模型 中图分类号:TP391　　　　文献标识码:A Study on Product Named Entity Reco nition for Business Information Extraction 1 1 1 1 2 2 LIU Fei-an , ZHAO Jun , LV Bi-bo , XU Bo , YU Hao , XIA Ying-ju (1.National Laboratory o Pattern Recognition, Inst itute o Automation, Chinese A cademy o Sciences, Beijing 100080, China; 2.FUJITSU RD, Beijing 1000 16, China) Abstract:Electronic business has ueled increasing research interest recently in business in ormation extraction and market intelligence management.As one o the key techniques, product named entity recognition (product NER)has also begun to draw more attention in the ield o natural language processing.In the paper, characteristics and challenges in product NER are explored and analyzed deliberately, and a hierarchical hidden Markov model (HHMM)based approach to product NER rom Chinese ree text is presented.Experimental results in both digital and mobile phone domains show that our approach per orm