关于站内搜索的那些事儿.docVIP

关于站内搜索的那些事儿 然后现在用的是Python了，所以需要迭代一下。网上搜索了下，相关的还真不少，还有pylucene，但是相比较而言，whoosh更为出色。那今天就用它吧。 安装它也比较简单。 pip install whoosh 这样就可以了。 目标： 对自己的博客进行“站内搜索”，来稍微改善一下CSDN站内查找的缺点。 模块化 最近越来越喜欢把任务模块化了，这样单个的功能也比较容易管理，而且整合的时候对集成测试也比较方便。或者添加新功能，重构，都很方便。 针对上面的需求，我这里设计了几个小模块，待会逐个进行解释。 登录模块 登录模块是有点必须的，这是因为在获取博客详细内容的时候，需要有一个已经登录的session会话来支撑，否则拿不到数据。 先前也写过一点关于CSDN模拟登陆的例子，当时完成的功能有 模拟登陆 顶、踩文章 发评论 获取博主详情 为了不让别有用心的人拿代码做坏事，我这里就不贴代码了。技术方面欢迎私信，或者在文章下面发评论。 下面把模拟登陆的代码补上。 class Login(object): Get the same session for blogs backing up. Need the special username and password of your account. def __init__(self): # the common headers for this login operation. self.headers = { Host: , User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.110 Safari/537.36, } def login(self, username, password): if username and password: self.username = username self.password = password else: raise Exception(Need Your username and password!) loginurl = /account/login # get the token for webflow self.session = requests.Session() response = self.session.get(url=loginurl, headers=self.headers) soup = BeautifulSoup(response.text, html.parser) # Assemble the data for posting operation used in logining. self.token = soup.find(input, {name: lt})[value] payload = { username: self.username, password: self.password, lt: self.token, execution: soup.find(input, {name: execution})[value], _eventId: submit } response = self.session.post(url=loginurl, data=payload, headers=self.headers) # get the session return self.session if response.status_code == 200 else None 博客扫描模块 博客扫描这个模块不需要登录状态的支持，完成的功能是扫描博主的文章总数，以及每个文章对应的URL链接。因为接下来会用它来获取文章的详情。 class BlogScanner(object): Scan for all blogs def __i