BeautifulSoup的CSS选择器大数据采集技术与应用59课件讲解.pptxVIP

BeautifulSoup的CSS选择器大数据采集技术与应用

1.运用BeautifulSoup库中的CSS选择器功能进行数据定位。

BeautifulSoup的CSS选择器CSS选择器是一种用来定位HTML文档中特定元素的模式（Pattern）。HTML文档是一个复杂的结构，就像一座城市，里面有各种建筑（标签）。CSS选择器就是详细的地址，可以让你准确地找到“市中心广场（ID为?main-square）旁边那栋红色屋顶（class为?red-roof）的办公楼（div?标签）里的所有窗户（span?标签）”。在BeautifulSoup中，我们使用?.select()?这个方法来执行CSS选择器。这个方法的功能与?find_all()?类似，但语法完全遵循CSS标准。关键特点：语法简洁：?对于复杂的层级关系查找，语法比?find_all()?连续调用要短得多。功能强大：?支持绝大多数现代CSS选择器语法，可以实现非常精确的元素定位。返回类型：?.select()?方法总是返回一个列表（ResultSet），即使只找到一个元素或没有找到任何元素（返回空列表）。这一点与返回单个对象的?.find()?不同。

BeautifulSoup的CSS选择器要素语法示例描述标签选择器tagsoup.select(p)选择所有?p?标签。类选择器.classnamesoup.select(.content)选择所有?class?属性包含?content?的标签。ID选择器#idnamesoup.select(#main-title)选择?id?属性为?main-title?的标签(ID在HTML中应唯一)。属性选择器[attribute]soup.select([href])选择所有带有?href?属性的标签。[attr=value]soup.select(a[target=_blank])选择?target?属性值正好是?_blank?的?a?标签。[attr*=value]soup.select(a[href*=])选择?href?属性值包含??字符串的a标签。后代组合器AB?(空格)soup.select(divp)选择?div?标签内部的所有?p?标签。子代组合器ABsoup.select(ulli)选择?ul?标签的直接子级?li?标签。

BeautifulSoup的CSS选择器选取新浪首页导航栏的部分结构作为例子。

BeautifulSoup的CSS选择器获取所有导航链接(标签+类组合)需求：获取ul列表中的所有a链接。思路：先定位到列表，再找里面的a标签。使用后代组合器。links=soup.select(.nav-channel-lista)forlinkinlinks:print(f文本:{link.get_text()},链接:{link[href]})输出：文本:新闻,链接:/文本:首页,链接:/文本:军事,链接:/文本:财经,链接:/文本:体育,链接:/文本:娱乐,链接:/文本:科技,链接:/文本:汽车,链接:/

BeautifulSoup的CSS选择器获取所有要在新窗口打开的链接(属性选择器)需求：找到所有`target`属性为`_blank`的链接。思路：使用属性选择器`[attribute=value]`。#查找所有target=_blank的a标签

blank_links=bs.select(a[target=_blank])

forlinkinblank_links:

print(link)输出：ahref=/target=_blank新闻/aahref=/target=_blank首页/aahref=/target=_blank军事/aahref=/target=_blank财经/aahref=/target=_blank体育/aahref=/target=_blank娱乐/aahref=/target=_blank科技/aahref=“/”target=“_blank”汽车/a

BeautifulSoup的CSS选择器获取特殊的列表项(多类选择器)需求：?找到那个特殊的、同时拥有?nav-channel-item?和?special-item?两个类的?li?标签。

思路：?在CSS中，连续的?.class?名称表示“和”的关系。#.nav-channel-item.special-item表示class属性中必须同时包含这两个类名special_item=soup.s