Request库解析JSON大数据采集技术与应用37课件讲解.pptxVIP

Request库解析JSON大数据采集技术与应用

1.掌握Request库解析JSON方法

Request库解析JSONHTTP请求与响应流程客户端?向服务器的特定API端点发起一个HTTP请求（Request），以获取或提交数据。服务器?在处理该请求后，会返回一个包含所需数据的HTTP响应（Response）。JSON：标准化的数据交换格式为了确保不同技术栈（如Python后端、JavaScript前端）构建的客户端和服务器能够无障碍地通信，数据需要以一种双方都能理解的标准化格式进行封装。JSON(JavaScriptObjectNotation)?正是为此而生的、目前业界最主流的数据交换格式。它具备以下关键特性：语言无关性几乎所有编程语言都有解析和生成JSON的库。可读性强其文本格式清晰，便于开发者阅读和调试。易于解析结构简单，便于机器高效地解析和生成。

Request库解析JSONJSON是一种文本格式它看起来和Python的字典、列表非常相似，但它本质上只是一个字符串。核心思想：键值对(Key-ValuePairs)就像查字典一样，每个“值”（Value）都有一个对应的“键”（Key）来描述它。name:“John?(name是键,“John是值)两种基本结构对象(Object):?由?{}?包裹的一系列无序的键值对。数组(Array):?由?[]?包裹的一系列有序的值。{name:Alice,id:12345,is_student:true,courses:[Math,Physics],contact:{email:alice@}}

Request库解析JSON处理流程我们使用?requests.get()?或?post()?发送请求。服务器返回一个Response对象。响应的内容（原始JSON字符串）存储在?response.text?属性中。importrequests

url=/ip

response=requests.get(url)

print(f请求状态码:{response.status_code})

print(f原始响应文本(.text):{response.text})

data=response.json()

ip_address=data[origin]

print(f\n解析后的数据类型:{type(data)})

print(f我的公网IP是:{ip_address})请求状态码:200原始响应文本(.text):{origin:97}解析后的数据类型:classdict我的公网IP是:97

Request库解析JSONimportrequests

#获取Google在GitHub上的公开仓库列表

url=/users/google/repos

response=requests.get(url)

repos_list=response.json()

print(f成功获取到{len(repos_list)}个仓库。)

print(\n---前5个仓库的名称---)

#遍历列表，并从每个字典中提取name键的值

forrepoinrepos_list[:5]:

print(repo[name])成功获取到30个仓库。---前5个仓库的名称---.allstar.github0x0g-2018-badgeaarch64-esr-decoderaarch64-paging

Request库解析JSONimportrequests

url=/j/chart/top_list

#定义查询参数：获取评分最高的20部剧情片

params={

type:20,#剧情片对应的类型编号

interval_id:100:90,#评分区间

start:0,#从第0个开始

limit:20,#一共获取20条

}

headers={

User-Agent:Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/91.0.4472.124Safari/537.36

}

response=requests.get(url,params=params,headers=headers)

ifresponse.status_code==200:

#.json()将返回的JSON数组转换为Python列表

movies_l