2025年AI数据采集工具使用（Python）实操考核卷及答案.docxVIP

2025年AI数据采集工具使用（Python）实操考核卷及答案

考试时间：______分钟总分：______分姓名：______

一、基础操作与HTTP请求

1.请编写Python代码，使用`requests`库发送一个GET请求到`/todos/1`，将获取到的JSON响应内容解析为Python字典，并打印输出该字典。

2.在上述请求中，请添加一个自定义的`User-Agent`头部信息：`MyAIDataCollector/1.0`。

3.请编写代码，使用`requests`库向`/post`发送一个POST请求，请求体包含键值对`{key:value}`，使用`json`参数传递。请打印输出响应的文本内容。

二、网页数据抓取（使用BeautifulSoup）

4.假设有一个网页的HTML内容如下（用字符串表示）：

```html

html

headtitleTestPage/title/head

body

divclass=product-list

divclass=product

h3class=product-nameProductA/h3

pclass=product-price$19.99/p

ahref=/product/aclass=product-linkViewDetails/a

/div

divclass=product

h3class=product-nameProductB/h3

pclass=product-price$29.99/p

ahref=/product/bclass=product-linkViewDetails/a

/div

/div

/body

/html

```

请编写Python代码，使用`BeautifulSoup`库解析上述HTML内容，提取所有产品的名称（`product-name`类）和价格（`product-price`类），并将它们作为列表的列表（即`[[ProductA,$19.99],[ProductB,$29.99]]`）打印输出。

5.现在假设需要抓取的网页内容存储在名为`example.html`的本地文件中。请编写代码，使用`BeautifulSoup`读取该文件，并找到所有包含类名为`news-title`的`h2`标签，提取并打印出每个标签的文本内容。

三、动态内容抓取与数据清洗

6.假设需要抓取一个依赖JavaScript渲染数据的网页，例如`/dynamic-content`。请编写Python代码，使用`Selenium`库（假设已安装并配置好WebDriver，如ChromeDriver）打开该网页，等待最多10秒钟直到页面中的特定元素（例如ID为`data-container`的元素）出现，然后提取该元素的文本内容并打印。请使用隐式等待和显式等待（`WebDriverWait`）两种方法分别实现。

7.假设通过上述动态页面抓取，获取到了如下格式的JSON字符串表示的数据列表（包含多个字典）：

```json

[{id:101,name:Item101,price:25.50,category:Electronics},{id:102,name:Item102,price:,category:Books},{id:103,name:Item103,price:9.99,category:Home}]

```

请编写Python代码，使用`pandas`库将该JSON字符串转换为DataFrame，然后进行以下操作：

a.将`price`列的数据类型转换为浮点数，并将无法转换的原始值设置为NaN。

b.删除`price`列中包含NaN值的行。

c.为所有`name`字段为空的行添加默认名称`UnknownItem`。

d.最后，打印输出清洗后的DataFrame。

四、综合应用

8.请编写一个完整的Python脚本，实现以下功能：

a.使用`requests`库从`/users`获取用户列表数据（JSON格式）。

b.解析JSON数据，提取所有用户的`id`和`name`字段，并将它们存