四小时学python爬虫爬取信息系列（第一天）.pdfVIP

四⼩时学python爬⾍爬取信息系列（第⼀天） 四⼩时学python爬⾍爬取信息系列（第⼀天）（全是⼲货） 1.安装requests库（可以在电脑python，我是进⼊anaconda我建的虚拟环境） anaconda虚拟环境法流程： conda activate py36 //进⼊我的py36环境 pip install requests -i /simple //安装requests库 电脑python流程：直接cmd，输⼊下⾯命令，可能会提⽰你升级pip ，可以升级 #如果需要升级pip输⼊：python -m pip install --upgrade pip -i /simple pip install requests -i /simple //安装requests库 2.验证安装，爬取csdn的主页验证⼀下（直接在命令⾏python或者在python idle进⾏输⼊） import requests r = requests.get(/) r.status_code #返回状态为200，证明访问成功，返回值⾮200则失败 #输⼊：type(r) #return class requests.models.Response #检测返回值类型， #如果输⼊：r.headers 则return页⾯头信息 r.encoding=utf-8 r.text #抓取成功，显⽰如下图（我在cmd操作的） 3.r=requests.get(url) 解析：先构造⼀个请求向服务器资源的Request对象，return⼀个包含资源的Response对象。 request.get(url,params=None,**kwargs) #url:⽹页链接 #params:链接中的额外参数，可选字典或字节流格式 #**kwargs:12个控制访问的参数 返回的Response对象有五种常⽤属性 r.status_code #HTTP请求的访问状态，只有200是成功 r.text #HTTP响应的内容，就是⽹页页⾯ r.encoding #HTTP header中猜测响应内容编码⽅式 r.apparent_encoding #从内容中分析出的响应内容编码⽅式，备选的编码⽅式 r.content #HTTP响应内容的⼆进制形式 #测试⼀下 import requests r=requests.get(/) r.status_code r.encoding r.apparent_encoding #在r.encoding不能正确得到编码时就⽤r.apparent_encoding csdn的页⾯r.encoding return ‘UTF-8’ ,再试⼀试r.apparent_encoding return ‘utf-8’, Requests库的异常 requests.ConnectionErroe #⽹络连接错误 requests.HTTPError #HTTP错误 requests.URLRequired #URL错误 requests.TooManyRedirects #超过最⼤重定向次数，产⽣重定义定向异常 requests.ConnectTimeout #连接远程服务器超时 requests.Timeout #请求URL超时产⽣异常 实例测试，还是爬csdn主页 import requests def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() #200则正常，⾮200返回requsets.HTTPError r.encoding=r.apparent_encoding return r.text except: return Error if __name__ == __main__: url = / print( getHTMLText(url) ) 效果截图： 4.Requests库，基于HTTP协议，超⽂本传输协议“请求与响应”模式的⽆状态的应⽤层协议，我个⼈觉得就像qt中signal和slot⼀样。 HTTP:connect(my,SIGNAL(request()),Internrt_server,SLOT(return_Response