《数据采集与处理：基于python》 课件 付东普 第8--10章 网络数据采集、 关系数据库连接与访问、 大数据存储与访问技术.pptx

第八章

网络数据采集;;爬虫的相关概念与知识;爬虫的基本概念;爬虫的基本概念;爬虫相关知识;浏览网页及获取内容流程;浏览网页及获取内容流程;浏览网页及获取内容流程;爬虫的总体知识与思维导图;基础爬虫框架;HTML与JavaScript基础;HTML与JavaScript基础;HTML基础;HTML基础;HTML基础;HTML基础;HTML基础;HTML基础;HTML基础;JavaScript基础;JavaScript基础;JavaScript基础;JavaScript基础;JavaScript基础;JavaScript基础;JavaScript基础;静态网页内容爬取与解析;urllib基本应用与爬虫案例;urllib的基本应用;urllib的基本应用;urllib的基本应用;urllib的基本应用;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;BeautifulSoup用法简介;requests基本操作与爬虫案例;requests基本操作;requests基本操作;requests基本操作;requests基本操作;requests爬虫案例;网页JSON数据爬取与解析;网页JSON数据爬取与解析;网页JSON数据爬取与解析;pandas读取table标签内容;正则表达式与网页内容解析;正则表达式与网页内容解析;正则表达式与网页内容解析;正则表达式与网页内容解析;正则表达式与网页内容解析;正则表达式与网页内容解析;正则表达式与网页内容解析;正则表达式与网页内容解析;网站爬虫声明;网站爬虫声明;动态网页内容爬取;动态HTML介绍;动态HTML介绍;动态HTML介绍;动态HTML介绍;Selenium基本应用;Selenium基本应用;Selenium基本应用;Selenium基本应用;Selenium基本应用;网站操作模拟;网站操作模拟;爬虫框架Scrapy与应用;scrapy爬虫概述

;Scrapy原理

;Scrapy原理;Scrapy原理;Scrapy原理;Scrapy原理;Scrapy原理;Scrapy原理;Scrapy的开发与实现;Scrapy常用命令介绍

1)创建一个新工程：scrapystartprojectname

2)在工程下创建一个爬虫：scrapygenspidernamedomain

3)获得爬虫配置信息：scrapysettings

4)运行已创建好的爬虫：scrapycrawlspider

5)列出工程中的所有爬虫：scrapylist

;scrapy爬虫与案例;scrapy爬虫案例;scrapy爬虫案例;复习与思考;第九章

关系型数据库连接与访问;;关系型数据库概述;关系型数据库概述;关系型???据库简介;关系型数据库简介;关系型数据库简介;关系型数据库简介;关系型数据库简介;关系型数据库操作;关系型数据库操作;SQLite数据库连接与访问;SQLite数据库简介;Python访问SQLite操作;Python访问SQLite操作;Python访问SQLite操作;pandas与关系型数据库访问;MySQL数据库连接与访问;MySQL数据库简介;MySQL数据库简介;Python访问MySQL操作;Python访问MySQL操作;MySQL数据库简介;MySQL数据库简介;MySQL数据库简介;MySQL数据库简介;MySQL数据库简介;119;第十章

大数据存储与访问技术;;;大数据技术;1.1大数据概述

;大数据发展历史;大数据的影响;大数据的特征;1).数据量大Volume

大数据中的数据量大，就是指的海量数据。

大数据之“大”还表现在其采集范围和内容的丰富多变，能存入数据库的不仅包含各种具有规律性的数据符号，还囊括了各种如图片、视频、声音等非规则的数据。

;2).数据类型繁多Variety

大数据包括结构化数据、半结构化数据和非结构化数据。

;;大数据应用

;1.2大数据关键技术

1）大数据采集

;;;4）大数据分析挖掘

;大数据计算模式;谷歌大数据计算模式;;;;大数据的意义

;大数据的企业意义;我国大数据市场的预测;大数据的产业链分析

;运营分析

;非关系型数据库简介;NoSQL数据库简介

;CAP定理

;CAP定理

;NoSQL数据库分类

;MongoDB数据库连接与访问;3.1MongoDB数据库简介

;3.1MongoDB