大数据爬虫技术第7章 爬取动态内容.pptVIP

在Python.exe文件同目录下，生成了一张名为changcheng.png的图片。 01 单击此处添加标题，文字是您思想的提炼 02 单击此处添加标题，文字是您思想的提炼 CONTENTS 入门操作 （10）调用键盘按键操作，首先引入Keys包。 from mon.keys import Keys （11）通过模拟Control + a 键全选输入框内容。 driver.find_element_by_id(kw).send_keys(Keys.CONTROL, a) （12）通过模拟Control + x 键剪切输入框内容，往输入框重新输入搜索关键字“itcast”: driver.find_element_by_id(kw).send_keys(Keys.CONTROL, x) driver.find_element_by_id(kw).send_keys(itcast) （13）模拟点击“Enter”回车键。 driver.find_element_by_id(kw).send_keys(Keys.RETURN) （14）清除输入框内容，使用clear方法。 driver.find_element_by_id(kw).clear() （15）使用get_cookies方法获取当前页面的Cookie。 print(driver.get_cookies()) （16）使用current_url属性获取当前页面的URL。 print(driver.current_url) （17）使用close方法关闭当前页面，如果只有一个页面，会关闭浏览器。当浏览器使用完毕时，应使用quit方法关闭浏览器。 driver.close() driver.quit() Selenium 的WebDriver中提供了各种方法来定位页面上的元素。 方法 find_element_by_id find_elements_by_name find_elements_by_xpath find_elements_by_link_text find_elements_by_partial_link_text find_elements_by_tag_name find_elements_by_class_name find_elements_by_css_selector 有些时候，我们需要在页面上模拟一些鼠标操作，比如双击、右击、拖拽甚至按住不动等，这些可以通过使用ActionChains类来实现。 from selenium.webdriver import ActionChains * 第7章 抓取动态内容 了解 熟悉 掌握 掌握 了解 动态网页 1 2 掌握 selenium和PhantomJS安装配置 掌握 selenium和PhantomJS基本使用 3 4 熟悉 selenium和PhantomJS 01 动态网页介绍 02 selenium和PhantomJS概述 03 selenium和PhantomJS安装配置 04 selenium和PhantomJS基本使用 CONTENTS 目录页 01 动态网页介绍 02 selenium和PhantomJS概述 03 selenium和PhantomJS安装配置 04 selenium和PhantomJS基本使用 思考 什么是动态网页？什么又是静态网页呢？ 静态网页 在网站设计中，纯粹HTML格式的网页通常被称为“静态网页”。静态网页是标准的HTML文件，它的文件扩展名是.htm、.html，可以包含文本、图像、声音、FLASH动画等。 动态网页 本章所指的动态网页是指在网页中依赖JavaScript脚本动态加载数据的网页。与传统单页面表单事件不同，使用了JavaScript脚本的网页能够在URL不变的情况下改变网页的内容。 JavaScript jQuery 动态网页上使用的技术主要包括以下几种： AJAX DHTML 01 动态网页介绍 02 selenium和PhantomJS概述 03 selenium和PhantomJS安装配置 04 selenium和PhantomJS基本使用 Selenium是一个Web的自动化测试工具，可以按指定的命令自动操作，支持所有主流的浏览器。 Selenium 官方参考文档地址是http://selenium-python.readthedocs.io/index.html。 Selenium自己不带浏览器，不支持浏览器的功能，它需要与第三方浏览器结合在一起才能使用。但是，我们有时候需要让它内嵌在代码中运行，所以我们可以用一个叫 PhantomJS 的工具代替真实的浏览器。 Phant