基于局部性原理的有意义串提取方法研究.pdfVIP

基于局部性原理的有意义串提取方法★ 黄玉兰L2，龚才春3，许洪波1，程学旗1 (1．中困科学院计算技术研究所北京100190：2．中国科学院研究生院北京100190) ’ (3．北京市计算中心北京100005) E—mail：huan毅ulan@sofiware．ict．ac．cn 摘要：本文提出基于局部性原理的有意义串提取算法。本文发现有意义串遵循空间局部性原理和时间局 部性原理，并用LE值量化字符串的局部性。在此基础上，利用LE值和其他统计璺共同提取有意义串。 实验证明局部性原理能够提离查找有意义串的准确率，并且可以有效提取低频有意义串。 关键词：有意义串，局部性原理，准确率 on AMeani I Stri Extracti onAI i thmBased ngfu ng got LocaI i ty HUANGYh．1an坨，GONGCai-chun¨，XU Hong-bo‘，CHENGXue-qil (3．BeijingComputingCenter,Beijing,100005) E-mail：huangv—ulan，q一／,；software．ict．ac．cn’ Abstract：A extraction basedOn is inthis strings string algorithm localitypresentedpaper,Meaningful meaningful and LEvalueis toestimatethe foreach observe locality．A proposed localitydegree string．The￡E temporalspatial with showthat carl valueCanbeusedtOextract otherstatistical佗atures．Experimentslocality meaningfulstrings canbeextracted this the by addition，Low-frequentmeaningfuls廿ings effectivelyalgorithm． improveprecision．In Keywords：meaningfulstring；locality；precision． 1 引言 词汇抽取是自然语言处理的基础，各种模型都要面临词汇抽取问题，如词性标注、句法分 析等。中文语料中没有空格标识词的边界，因此从中文语料中抽取词汇的难度更大。现在已有不 少学者开展了词汇抽取的研究工作，并将抽取结果用于信息检索【1】、文本分类【2】、机器翻译【3】 领域。 词汇抽取的任务是从语料中提取具有特定语义、能够独立使用的字符串。符合这种性质的字 String,MS)。具体来说，有意义串具有；DT几个特点： 符串称为“有意义串”(Meaningful 1) 具有一定的流通度，在真实语料中频繁出现：