教学课件11：动态网页数据采集-selenium多窗口.pptVIP

正版课件 内容可修改;动态网页数据采集– selenium多窗口;Selenium查找网页元素的方法？ Selenium操纵元素的方法? ;1、理解selenim的3种等待方式，掌握强制等待方式 2、学会分析多窗口iframe页面结构 3、熟悉selenium的窗口切换代码 4、了解无界面浏览器模式的原理及代码 ;1;selenium的等待方式;selenium的等待方式;selenium的等待方式;selenium的等待方式;1;网页中有一种节点叫作iframe，也就是子Frame，相当于页面的子页面，它的结构和外部网页的结构完全一致。 Frame框架：页面框架布局中最基本的框架； Iframe框架：又称内嵌框架，其框架的主要标记为Iframe标记（又称为浮动帧标记）。 ;selenium的窗口切换;selenium的窗口切换;selenium的窗口切换;1;Selenium的无界面模式;Selenium的无界面模式;QQ邮箱案例要求实现收件箱列表的爬取，爬取一页信息即可。爬取信息包括发件人、发件人邮箱、邮件标题、收件日期。存储方式自定，爬取的目标网址为。参考页面如下图6所示。 ;QQ邮箱收件箱爬虫编写的整体思路为获取收件箱列表信息、收件箱数据解析以及数据存储。获取收件箱列表信息就是使用selenium实现模拟登录、点击收件箱链接、获取收件箱列表的html过程。收件箱数据解析我们selenium 的定位方法进行数据解析。数据存储采用任何存储方式都可以。 使用selenium实现QQ邮箱的登录是我们需要重点关注的问题。从操作上来看,QQ邮箱登录分为QQ登录和QQ未登录2种状态。QQ登录时，登录QQ邮箱只需要点击QQ登录图标就可实现邮箱登录。如图所示。 ;QQ未登录时，登录QQ邮箱必须输入QQ邮箱的用户名和密码。如图所示。 实现QQ登录必须分别考虑2种情况的处理。登录完成后就简单点击下邮箱列表左侧的收件箱链接即可。整个过程必须在合适环节增加时间等待，如点击登录按钮后、点击收件箱列表后。需要注意的时使用selenium频繁登录QQ邮箱依然会激活滑动验证码，依然通过人为滑动跳过此技术难点。 ;案例精讲-QQ邮箱;案例精讲-百度首页登录;案例精讲-百度首页登录;案例精讲-百度首页登录;小结;