基于语料库的字母词语自动提取的研究.pdfVIP

第一届全国信息检索与内容安全学术会议 基于语料库的字母词语自动提取研究 郑泽之。2 张普2杨建国2 (】 太原师范学院计算机系。太原030012 2．北京语言大学Dcc博士研究室．北京100083) 摘要：奉文分析了字母谢语的组成情况的复杂特征和自动识别的难点，结合字母词语的各种统计特征，提出了规则 加统计辅助的字母词语自动提取的算法。算法简单．但有效。召回率为100％，准确率在80％以上。 关■宇：字母词语识别与提取 自然语言处理 The On ResearchLettered．word Extractionin Text Chinese ZHENGZezhil，2 Pu2 ZHANGYANG Jiangu02 (1 0300122 andculture Taiyuanteacher’scollege．TAtYUANDCCLab。Beijingllmguageuniversity,Berin9100083) Abstract：This the featuresofChinese discussesthedifficultiesin complex lettered—word，and paperanalyzes extracting wordsThen for is lettered an Chineselettemd·word is algorithmautomaticallyidentifying presented．Thealgorithmsimple， 2002 butitiseffective。Theofour letlered-wordshowsthatthe andrecallofthe practice peoplesdaily extracting precision reaches82％and algorithm 100％reapeetively． words：Lettered—word．Extracting＆Identification．NLP Key i引言 随着科学技术迅猛发展，很多最新的术语和专有名词。首先以字母词语的形式出现在汉语中， 并日益J。‘泛应用。目前字母词语在汉语中的使用呈飙升的趋势，很多分同、检索软件开发者都注意 到了这一现象，但至今对字母词语的自动提取的研究却不多见。字母词语多数是汉语自动分词中的 未登录词。其正确识别，将有助于提高中文分词、信息检索、搜索引擎、机器翻译等应用软件的质 量。例如，当输入串为： “十五”国家重点项目，年产10万吨的亚洲最走墼鲎筮壁鲑生产线 因此在IT业尚未在全球兴起的时候 ：篮延：三曼￡莶夔么韪副总设计师荆木春 由中国大学生体育协会主办、学生三人篮球管理中心组织推广的丝生：盐生堡丛中国太 学生三人篮球联赛 如果不做字母词语的提前识别的话，其中加下划线的部分往往被切碎；对于搜索引攀则影响到查准 率、查全率；对机器翻译则引起专名翻译的多对一或不准确等问题。 《人民日报》用语较规范，据我们的考察，其2002年约2千6百万字文本中的含字母语块的出 授，博士生导师。杨建国．男，湖南武冈人，副研究员，