源代码python语言beautiful soup输出架构-peaker.pdfVIP

#源代码#python语言BeautifulSoup输出文档架构

Peaker

在很多数据库中我们可以获得非常有价值的信息和数据，但是并

不是所有的数据库都提供，或者及时提供，往往也没有必要。

比如我们有一组药物列表，想要知道这些药物的药理作用，drugbank

是一个非常好的选择，而且提供，然而的文件包含现已知全

部退市药物以及上市药物的信息，不仅占用内存，而且浪费时间，在

数据文本处理提取过程中也非常麻烦。那么这时候网页提取就是一个

非常有效的。

网页提取的原理非常简单，例如我们用python语言提取网页信息，

常规的方法说用urllib包中的urlopen来获取网页源代码，然后通过re

包实现正则表达式的语句，通过正则表达式从网页源代码中提取目的

信息。代码如下所示

但是并不是所有的网页都可以很方便的利用正则表达式进行提取，因

为很多网页HTML并不是按照规矩来写的，非常随意，这为我们提取

造成一定麻烦，但是好在python语言提供了一个神奇的工具，专门对

这些’随意’的网页进行，那就是今天我们要介绍的

BeautifulSoup.

你可以使用str函数将BeautifulSoup文档（或者它的子集）转换为字

符串，或者使用它的codeprettify或renderContents。你也可以使用

unicode函数以Unicode字符串的形式获得。

prettify方法添加了一些换行和空格以便让文档结构看起来更清晰。它

也将那些只包含空白符的，可能影响一个XML文档意义的文档节点

(nodes)剔除(stripsout)。str和unicode函数不会剔除这些节点，他们也

不会添加任何空白符。

看看这个例子：

可以看到使用文档中的tag成员时str和renderContents返回的结果是

不同的。

当你调用__str__,prettify或者renderContents时，你可以指定输出的编

码。默认的编码(str使用的)是UTF-8。下面是处理ISO-8851-1的串并

以不同的编码输出同样的串的例子。

如果原始文档含有编码，BeautifulSoup会将原始的编码改为

新的编码。也就是说，你载入一个HTML文档到BeautifulSoup后，

在输出它，不仅HTML被清理过了，而且可以明显的看到它已经被

转换为UTF-8。

这是HTML的例子：

这是XML的例子：

喜欢本文吗？欢迎加入云生信跟大家一起进步~