jiaoben-python-实现敏感词过滤的方法.pdfVIP

python实实现现敏敏感感词词过过滤滤的的方方法法

今天小编就为大家分享一篇python实现敏感词过滤的方法，具有很好的参考价值，望对大家有所帮助。一起跟随小编过来看看吧

如如下下所所示示：：

#!/usr/bin/python2.6

#-*-coding:utf-8-*-

importtime

classNodeobject):

def__init__self):

self.children=None

#TheencodeofwordisUTF-8

defadd_wordroot,word):

node=root

foriinrangelenword)):

ifnode.children==None:

node.children={}

node.children[word[i]]=Node)

elifword[i]notinnode.children:

node.children[word[i]]=Node)

node=node.children[word[i]]

definitpath):

root=Node)

fp=openpath,r)

forlineinfp:

line=line[0:-1]

#printlenline)

#printline

#printtypeline)

add_wordroot,line)

fp.close)

returnroot

#TheencodeofwordisUTF-8

#TheencodeofmessageisUTF-8

defis_containmessage,root):

foriinrangelenmessage)):

p=root

j=i

whilejlenmessage)andp.children!=Noneandmessage[j]inp.children):

p=p.children[message[j]]

j=j+1

ifp.children==None:

#printword,message[i:j]

returnTrue

returnFalse

defdfa):

printdfa

root=init/tmp/word.txt)

message=四处乱咬乱吠，吓得家中11岁的女儿躲在屋里不敢出来，直到辖区派出所民警赶到后，才将孩子从屋中救出。最后在征得主人同意后，民警和村民合力将这只发疯的狗打死

#message=不顾

print***message***,lenmessage)

start_time=time.time)

foriinrange1000):

res=is_containmessage,root)

#printres

end_time=time.time)

printend_time-start_time)

defis_contain2message,word_list):

foriteminword_list:

ifmessage.finditem)!=-1:

returnTrue

returnFalse

defnormal):

printnormal

path=/tmp/word.txt

fp=openpath,r)

word_list=[]

message=四处乱咬乱吠，吓得家中11岁的女儿躲在屋里不敢出来，直到辖区派出所民警赶到后，才将孩子从屋中救出。最后在征得主人同意后，民警和村民合力将这只发疯的狗打死

print***message***,lenmessage)

forlineinfp:

li