基于双拼映射的中文多模式模糊匹配算法.pdfVIP

第一届全国信息检索与内容安全学术会议 ———————————————————————————————————一————————————————————————————————一 基于双拼映射的中文多模式模糊匹配算法 扬忠伟，王轩，姚霖 (哈尔滨工业大学深圳研究生院．深圳邮政编码518055) 摘要； 本文针对中文信息过滤中遇到的关键字模糊匹配问题，提出了一种改进的多模式匹配方法，该 方法将双拼映射和DFSA多模式匹配算法相结合·可以对中文文本实现高速的关键字模糊匹配。该算法已被 成功地应用到宽带网络内容审计系统中，取得了良好的效果。 关t词： 信息过滤；多模式匹配：模糊匹配 A Pattern Match Multiple Similarity AlgorithmShuangpin Using Mapping ZhonDvci Yao Yang，XuallWang，Lin (HarbmInstimteOf1hhnobgyShenZhenGmdumeSchool，ShenZhen 51805Y) Abstract．Forthe of inChineseinformation devises problemsimilaritymatching fiitering,．thispaper amethodbasedSHUANGPIN forChinesekeyWord Thismethodcould1日Dlement mapped similaritymatching fast combinewith Chinesekeywordsimilaritymatching nmltiplepatternsmatchingalgori曲m．Thisalgorithm hadbeen usedinnetworkcontentaudit withwidebindand result． successfully system getgood words：lnfon俐on mafchjng；Srn／l“tymatching key fiRcring：panerns 1引言 关键字匹配是信息过滤技术的一个非常重要的应用，尤其是在网络安全产品上，大部分的网络 内容安全产品都是建立在关键字匹配技术上的。但是随着网络信息的大量增加，出现了一些对抗关 键字过滤技术的手段，很多涉及敏感主题的文章，通过将一些敏感的关键字进行特殊处理，从而避 开矢键字匹配。网络上文字信息的变形技术很多，基于拼音的变形处理占有相当大的比例。针对这 种情况，本文提出了一种进的多模式匹配方法，该方法基于汉字到双拼的映射，可以实现剥中文文 本的高速模糊匹配，并能够应付各种常见的关键字变形手段。 本文首先介绍了常见的关键字特殊处理手段，然后介绍了基于有限状态自动机的多模式匹配算 ．72． 第一届全国信息检索与内容安全学术套议 法。最后对基于有限状态自动机的多模式匹配算法进行改进，使得改进后的多模式匹配算法即保持 了高效的匹配性能，又能对常见的关键字特殊处理手段处理过的关键字进行过滤。 2常见的关键字处理 关键字变形处理的手段，常见于各种网络媒体。下面，本文将对互联网上常见的关键字特殊处 理手段进行分析。因为关键字特殊处理的目的是为了躲开关键字过滤程序，所以不会变形的太厉害， 至少得让人_ff]flt够认出是什么关键字。所以常见的关键字变形方式有三种。见表1