pythonlxml中etree的简单应用.pdfVIP

pythonlxml中etree的简单应⽤ 我⼀般都是通过xpath解析DOM树的时候会使⽤lxml的etree，可以很⽅便的从html源码中得到⾃⼰想要的内容。 这⾥主要介绍⼀下我常⽤到的两个⽅法，分别是etree.HTML()和etree.tostrint()。 1.etree.HTML() etree.HTML()可以⽤来解析字符串格式的HTML⽂档对象，将传进去的字符串转变成_Element对象。作为_Element对象，可 以⽅便的使⽤getparent()、remove()、xpath()等⽅法。 如果想通过xpath获取html源码中的内容，就要先将html源码转换成_Element对象，然后再使⽤xpath()⽅法进⾏解析。例如， 这⾥有⼀段最简单的html源码：htmlbodyh1This is a test/h1/body/html，现在想要得到h1标签中的⽂本，可 以这样实现： # encoding=utf8 from lxml import etree html = htmlbodyh1This is a test/h1/body/html #将html转换成_Element对象 _element = etree.HTML(html) #通过xpath表达式获取h1标签中的⽂本 text = _element.xpath(//h1/text()) print result is: , text 结果： result is: [This is a test] 通过结果可以知道，xpath()⽅法放回的结果是⼀个列表，所以通常在取xpath()⽅法结果的时候，只取列表中的第⼀个元素。 2.etree.tostring() etree.tostring()⽅法⽤来将_Element对象转换成字符串。⼀般通过简单的xpath表达式⽆法得到想要的内容的时候我就会⽤该 ⽅法。例如，将上⾯的html⼩改动⼀下： ，这时候如果想要得 到h1中的⽂本该怎么办呢？使⽤“//h1/text()”试试（将上⾯的html保存并⽤⽕狐浏览器打开，然后在FirePath中输⼊该xpath表达 式） ： 通过截图左下⾓的提⽰可以知道，使⽤xpath表达式“//h1/text()”只能得到h1标签中⽂本的“This”和“test”，⽤代码实现看看： # encoding=utf8 from lxml import etree html = htmlbodyh1This ais a /atest/h1/body/html _element = etree.HTML(html) text = _element.xpath(//h1/text()) print result is: , text 运⾏结果： result is: [This , test] 确实，使⽤xpath()⽅法，只能得到h1中部分⽂本内容，我们再试试使⽤“//h1//text()”看看： 然后通过代码实现看看： # encoding=utf8 from lxml import etree html = htmlbodyh1This ais a /atest/h1/body/html _element = etree.HTML(html) text = _element.xpath(//h1//text()) print result is: , text 运⾏结果： result is: [This , is a , test] 通过“//h1//text()”表达式确实可以得到想要的内容，但是得到的是⼀个列表，还需要将列表中的所有元素“拼”起来才⾏，是不是 有点⿇烦。这时候，就可以考虑使⽤etree.tostring()⽅法了，etree.tostring()⽅法可以传递多个参数，包括element_or_tree、 encoding、method等，其中method参数为text的时候，表⽰返回_Element对象中的所有⽂本，所以可以这样： # encoding=utf8 from lxml import etree html = htmlbodyh1This ais a /atest/h1/body/html _element = etree.HTML(html) # 先找到h1对象，然后通过etree.tostring⽅法找到h1对象中的所有⽂本 _h = _eleme