36AC自动机：如何用多模式串匹配实现敏感词过滤功能？.pdfVIP

36|AC自动机：如何用多模式串匹配实现敏感词过滤功能？ 36|AC 自动机：如何用多模式串匹配实现敏感词过滤功能？ 很多支持用户发表文本内容的网站，比如BBS ，大都会有敏感词过滤功能，用来过滤掉用户输入的一些淫秽、反动、谩骂等内容。你有没有想过，这个功能是怎 么实现的呢？ 实际上，这些功能最基本的原理就是字符串匹配算法，也就是通过维护一个敏感词的字典，当用户输入一段文字内容之后，通过字符串匹配算法，来查找用户输 入的这段文字，是否包含敏感词。如果有，就用“***”把它替代掉。 我们前面讲过好几种字符串匹配算法了，它们都可以处理这个问题。但是，对于访问量巨大的网站来说，比如淘宝，用户每天的评论数有几亿、甚至几十亿。这 时候，我们对敏感词过滤系统的性能要求就要很高。毕竟，我们也不想，用户输入内容之后，要等几秒才能发送出去吧？我们也不想，为了这个功能耗费过多的 机器吧？那如何才能实现一个高性能的敏感词过滤系统呢？这就要用到今天的多模式串匹配算法。 基于单模式串和Trie树实现的敏感词过滤 我们前面几节讲了好几种字符串匹配算法，有BF算法、RK算法、BM算法、KMP算法，还有Trie树。前面四种算法都是单模式串匹配算法，只有Trie树是多模式串 匹配算法。 我说过，