深入解析网页结构解析模块beautifulsoup.docxVIP

深化解析网页结构解析模块beautifulsoup 前言 beautifulsoup（以下简称bs），是一款网页结构解析模块，它支持传统的Xpath，css ?selector 语法，可以说很强大了，下面我们就来着重引见下它的用法。 安装 ???bs 可以使用pip 或者easy_install安装，便利快捷。 pip?install?Beautifulsoup4? 基本用法 一般就是先由requests 猎取到网页源码后然后对页面进行解析，如图： 这样就基本上拿到了页面的源码了。 1.依据标签直接猎取元素，如下图： 2.依据find，find_all方法查找 前者前往一个结果，后者前往全部结果 find( name , attrs , recursive , text , **kwargs ) name :要查找的标签名（字符串、正则、方法、True） attrs: 标签的属性 recursive: 递归 text: 查找文本 **kwargs :其它 键值参数 由于class是关键字，所以要写成class_=value, 等同于attrs={class:value} 这里的参数适用于find find_all两种方法。 只不过find_all 还有其他参数，比如限制查找前往数量 的limit方法，标签内容string方法。 3.依据select方法查找 soup.select(div) 所出名为 的元素 soup.select(#aa) 全部 id 属性名为aa的元素 soup.select(.oo) 全部class 属性名为oo的元素 soup.select(div ?p) 全部在 元素之内的 元素 soup.select(div p) 全部直接在 元素之内的 元素，两头没有其他元素 soup.select(input[name]) 所出名为 FORMTEXT ?????，并有一个 name ? 属性，其值无所谓的元素 soup.select(input[type=button]) 所出名为 FORMTEXT ?????,并有一个 type ? 属性，其值为 button 的元素 soup.select(a)[0].get_text() # 猎取首个a元素的文本 soup.select(a)[0].attrs[href] # 猎取首个a元素的链接地址 4.关系节点名 find_parents()前往全部祖先节点的列表，find_parent()前往直接父节点 print(soup.title.find_parent()) print(soup.title.find_parent().find_all(link)[1]) print(soup.title.find_parents()) find_next_siblings()前往后面全部兄弟节点的列表，find_next_sibling()前往后面第一个兄弟节点 print(soup.title.find_next_sibling()) print(soup.title.find_next_siblings()) find_previous_siblings()前往前面全部兄弟节点的列表，find_previous_sibling()前往前面第一个兄弟节点 print(soup.title.find_previous_sibling()) print(soup.title.find_previous_siblings()) find_all_next()前往节点后全部符合条件的节点的列表, find_next()前往节点后第一个符合条件的节点 print(soup.title.find_next(link)) print(soup.title.find_all_next(link)) find_all_previous()前往节点前全部符合条件的节点, find_previous()前往节点前第一个符合条件的节点 print(soup.title.find_previous(link)) print(soup.title.find_all_previous(link)) 5.对象品种 tag(标签) navigablestring(标签内字符串) beautifulsoup(对象) comment(备注) rep=requests.get(/info/1014243481#Catalog,timeout=3) soup=BeautifulSoup(rep.text,html.parser) print() #beautifulsoup 对象 tr=soup.div print(type(tr),tr) #tag对象 标签 print(tr.get_attrib