Python爬虫技术：Beautifuoup库安装与基础应用详解.pdfVIP

一前言

面的几篇文章中我介绍了如何通过分析源代码来爬取博客、百科

和，其文章如下：

其中代码如下：

[python]viewincopy

1.#coding=utf-8

2.importurllib

3.importre

4.

5.#静态HTML网页

6.url=

7.content=urllib.urlopen(url).read()

8.open(csdn.html,w+).write(content)

9.#获取标题

10.title_pat=r(?=title).*?(?=/title)

11.title_ex=pile(title_pat,re.M|re.S)

12.title_obj=re.search(title_ex,content)

13.title=title_obj.group()

14.printtitle

15.#获取超内容

16.href=rahref=.*?(.*?)/a

17.m=re.findall(href,content,re.S|re.M)

18.fortextinm:

19.printunicode(text,utf-8)

20.break#只输出一个url

输出结果如下：

[python]viewincopy

1.

2.CSDN.NET-全球最大中文IT社区，为IT专业技术人员最全面的信息和

3.登录

4.

的代码如下：

[python]viewincopy

1.importos

2.importurllib

3.classAppURLopener(urllib.FancyURLopener):

4.version=Mozilla/5.0

5.urllib._urlopener=AppURLopener()

6.url=

pg

7.filename=os.path.basename(url)

8.urllib.urlretrieve(url,filename)

但是上面这种分析HTML来爬取内容的方法存在很多弊

端，譬如：

1.正则表达式被HTML源码所约束，而不是取决于更抽象的

结构；网页结构中很小的改动可能会导致程序的中断。

2.程序需要根据实际HTML源码分析内容，可能会遇到字符

实体如;之类的HTML特性，需要指定处理如span/span、

图标超、下标等不同内容。

3.正则表达式并不是完全可读的，更复杂的HTML代码和查

询表达式会变得很乱。

正如《Python基础(第2版)》采用两种解决方案：第一

个是使用Tidy(Python库)的程序和XHTML解析；第二个是使用

BeautifulSoup库。

二.安装及介绍BeautifulSoup库

BeautifulSoup是用Python写的一个HTML/XML的

解析器，它可以很好的处理不规范标记并生成剖析树(parse

tree)。它简单又常用的导航naviing，搜索以及修改剖析

树的操作。它可以你的编程时间。

正如书中所说“那些糟糕的网页不是你写的，你只是试图从中获

得一些数据。现在你不用关心HTML样子的，解析器帮你实

现”。

地址：

wnload/4.3/

安装