无词典中文特征词自动抽取的桥接模式滤除算法.pdfVIP

第24卷第7期 计 算 机 应 用 研 究 Vol.24No.7 2(X)7年7月 APPlicationResearchofCompute邝 JulyZ(X)7 无词典中文特征词自动抽取的 桥接模式滤除算法* 宣照国，党延忠 (大连理工大学系统工程研究所，辽宁大连116023) 摘 要:提出一种不依赖于词典的抽取文本特征词的桥接模式滤除算法(BPFA)。该算法统计文本中的汉字结 合模式及其出现频率，通过消除桥接频率得到模式的支持频率，并依此来判断和提取正确词语。实验结果显示， BPFA能够有效提高分词结果的查准率和查全率。该算法适用于对词语频率敏感的中丈信息处理应用，如文本 分类、文本自动摘要等。 关键词:自动分词;桥接模式滤除算法;中文信息处理 中图分类号:T玛91 文献标志码:A 文章编号:1001一3695(2oo7)O7一0168一03 Bridge一connectionPatternsFilteringAlgorithmfor ChineseWordsEx1ractionWithoutThesaurus XUANZh如一即0，DANGYan一zhong (俪瓜嘛of如te。召刀创矛记己八矛堵，Da如nUn舰。勿of了’eCh刀刀崛y，Da加nL必oni叮116023，以ina) Abstract:Thispaperputfo、ardabridge一connectionpatternsfiltedngal即rithm(BpFA)forextrac tinghigh一equencywords withoutthesaurus.Fi叹ly，thefrequenciesofco一occuoncepattemsofChinesecharac te。，recountedl沁m山cuments，tlle” thebridge一connectionfrequencieswereeliminatedandthere1breobtainslhesupportfrequenciesofpatterns.Afterwards，the wordswereidentifiedandacquiredaccordingtothesuPPortfrequenciesinsteadOftheprim卿 appearingfrequencies.Theex- perimentalresultsshowthatBPFA canimprovebothprecisionandrecallOfextractedlexicalsettosomeextent.Thisal即rithm canbeappliedtotextcate即rizationandautomaticsumfnarization. Keywords:automaticwordse脚entation;bridge一connectionPatternsfilteringal即rithm;Chineseilll’OrnlationProcessing 0 引言 1 汉字结合模式的获取 汉语与英语不同，英语文本中词与词之间是明显分隔开 获取汉字结合模式之前，首先要对文档内容进行一些预处 的，而在中文文本中则没有这种分隔标记，因此在进行中文信 理。文档预处理是把文本中不能参与构词的字符，如标点符 息处理时，要根据应用并按一定的规范进行词语切分，即分 号、数字以及其他非汉字字符统一替换为一个标准分隔符。文 词川。中文自动分词是机器翻泽、信息检索、文本自动标引、 档经过预处理后得到格式化的文本字符串子=s，5:，…，5二，5E‘ 自然语言理解等中文信息处理领域的基础研究课题。传统的 Hu{口}。其中H为汉字全集，口为分隔符。 分词