教学课件10：动态网页数据采集-selenium基础.pptVIP

正版课件 内容可修改;动态网页的爬取;;动态网页的爬取方法;动态渲染页面爬取;1、了解selenim的安装部署过程 2、理解selenim的基本使用过程 3、学会利用css选择器定位元素 4、熟悉常用的操纵元素的方法;1;selenium的安装部署;selenium的安装部署;浏览器驱动的下载安装 Chrome浏览器驱动的下载地址为/mirrors/chromedriver，也可百度搜索“ChromeDriver”关键字进行下载。按照Chrome的版本号以及操作系统，选择不同的版本下载。如图所示。 下载完成后解压缩，将ChromeDriver.exe拷贝到指定目录，后续编写代码要指定驱动所在目录。;1;声明浏览器对象 Selenium支持多个浏览器，比如：Chrome、Firefox、Edge等，还可以支持Android、BlackBerry等手机段浏览器。另外也支持无界面浏览器PhantomJS。 具体的初始化方式如下： 其中，executable_path表示：浏览器驱动器存放位置（上一步驱动器的位置）。 以上步骤实现了浏览器对象的初始化，并将其赋值为browser对象。 ;访问页面 Selenium使用get()方法请求网页，具体的语法如下： 访问页面的实现方式如下： 运行程序后，弹出了Chrome浏览器并且自动访问了百度，然后输出百度网页的源代码，最后关闭浏览器。;1;Selenium的元素定位;Selenium的元素定位;Selenium的元素定位;Selenium的元素定位;Selenium的元素定位;Selenium的元素定位;Selenium的元素定位;1;Selenium操纵元素;节点交互 Selenium可驱动浏览器执行一些操作，即可以让浏览器模拟执行一些动作，常见的操作及方法如下： 输入文字：使用send_keys()方法实现 清空文字：使用clear()方法实现 点击元素或按钮：使用click()方法实现 ;节点交互 输入文字：使用send_keys()方法实现;使用selenium实现百度首页模拟登录，然后获取你所在城市的今日天气。百度首页在没有登录前，不会显示你所在城市的天气，所以必须先实现模拟登录。如用户没有百度的用户名和密码，需要先注册。 【任务分析】 百度登录设计安全性较高，如果使用逆向分析法实现模拟登录难度较大。使用selenium可以很好的实现模拟登录的任务。;模拟登录核心任务是确定需要操纵元素的CSS选择器，然后通过click()和sendkeys()函数操纵元素???进而实现模拟登录功能。登录完成后通过页面解析实现今日天气的获取。 ;案例精讲-百度首页登录;案例精讲-百度首页登录;2.3 自动输入用户名和密码，使用开发者工具分析用户名、密码以及登录按钮的CSS标识 ;案例精讲-百度首页登录;小结;