数据采集与预处理全套教学课件.pptx

课程学习方法;;国内大数据行业发展的如火如荼，作为互联网时代新型的产业，大数据行业其实是互联网和计算机结合的产物，互联网实现了数据的网络化，计算机实现了数据的数字化，两者结合赋予了大数据生命力。 大数据时代的到来，简单的说是海量数据完美计算能力结合的结果。确切的说是移动互联网、物联网产生了海量的数据，大数据计算技术完美的解决了海量数据的收集、存储、计算、分析的问题。大数据时代开启人类社会利用数据价值的另一个时代。 因大数据计算技术可以完美地解决海量数据的收集、存储、计算、分析的问题，所以移动通信、导航、电商、社交等互联网现状无一不在推动着大数据行业的快速发展。简单来说，大数据的发展是因为可以迎合互联网时代的刚需。;大数据相关岗位;职业发展趋势;职业发展趋势;职业发展趋势;职业发展趋势;;课程主要模块;课程主要模块;课程主要模块;;课程考核;学习方法;;概述;;概述;;1、理解数据 什么是数据？ 只要承载了一定的信息，这些数字、图片、文本、声音等都可以认为是数据。没有承载信息的数字是不能作为数据的，认识清楚这个问题，是踏入大数据之门的第一步。 数据从哪里来？ 从微观层面看，我们每个人都在生产着数据：早上8点，你使用支付宝购买了早餐；上午10点，你给100086打一次电话咨询话费余额；下午六点，你乘坐的公共交返回家中。然后，支付宝获取了你的使用习惯和消费能力，时时向你推荐花呗等应用；10086获取了你的咨询需求，推出了自助话费查询功能；公共交通将你的信息提供给了保险公司，就有了后来的“先生/女士，现向你推荐一款公共交通安全险.....” ;数据从哪里来？ 从宏观层面看，各种行业以几何倍数爆发增长的速度在制造着数据，比如互联网（社交，搜索，电商）、移动互联网（微博）、物联网（传感器）、医学影像、安全监控、金融（银行，股市，保险）电信（通话，短信）都在疯狂的产生着数据，已经不能用G或T来衡量，数据量已经从TB（1024GB=1TB）级别跃升到PB（1024TB=1PB）、EB（1024PB=1EB）乃至ZB(1024EB=1ZB)级别。;数据来源和格式;数据来源和格式;数???来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;数据来源和格式;教学内容;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;数据采集的相关概念;教学内容;数据清洗的相关概念;数据清洗的相关概念;数据清洗的相关概念;数据清洗的相关概念;数据清洗的相关概念;教学内容;数据采集与清洗的流程和场景;现在各行各业都在收集自己的相关数据，数据采集应用领域非常广泛： 工业领域 工业生产中，涉及到多种环境因素，且这些因素会影响到产品的生产过程和参与生产过程的安全： 设备的电能消耗数据采集 生产场所的温湿度、气压的数据采集 农业领域 农作物生产分不同的阶段，不同阶段需采集不同的数据： 种植准备的阶段：采集土壤数据 种植和培育阶段：采集温度、湿度、CO2等数据 农作生长阶段：采集环境信息、养分信息和病虫情况等 ;金融领域 大数据在金融领域的应用，一般认为有精准营销和大数据风控两个方面： 基于行为数据去预测用户的偏好和兴趣 大数据风控的两个应用，信用风险和欺诈风险 电商领域 网络电商平台 电商APP 用户信息;在数据分析的时候常常会涉及数据清洗，使用场景非常广泛，例如： 工业领域 工业产生的数据非常巨大，采集的数据非常多，但是采集的数据不一定直接可用，需要进一步清洗： 机器运行数据 产品统计量 农业领域 农产品的产量 土壤的数据量;健康数据 身体指标 血液检测指标 运动数据 天气数据 气温 湿度 空气成分 ;小结：;;HTTP基本原理;1、常见的数据来源和格式有哪些？ 2、数据采集的常见方法有哪些？;;1、网络爬虫的定义 网络爬虫（ Crawler，又被称为网页蜘蛛--Spider、网络机器人），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 网络爬虫经典的应用案例，如Google、百度、Bing（必应）。 ;网络爬虫的概念及原理;网络爬虫的概念及原理;网络爬虫的概念及原理;网络爬虫的概念;;网络爬虫的分类;网络爬虫的分类;网络爬虫的分类;网络爬虫的分类;网络爬虫的分类;;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;网页相关概念;;网络爬虫策略;网络爬虫策略;网络爬虫策略;网络爬虫策略;网