2.1数据采集概述.pdf

大数据财务分析

主讲：李盼盼

爱岗敬业诚实守信坚持准则提高技能

廉洁自律客观公正参与管理强化服务

项目二数据采集

任务一数据采集概述

数据采集概述

一、什么是数据采集？

数据采集

又称数据获取，是指将数据从数据源采集到可以支持大数据架构环

境的过程。

爱岗敬业诚实守信

数据采集概述

一、什么是数据采集？

数据采集

是数据挖掘、数据分析的一个环节，在数据处理过程中是非常基

本的操作步骤，也是数据分析道路上的重中之重。再好的分析原

理、建模算法，没有高质量的数据都是没有用的。数据采集的质

量直接决定了后续的分析是否准确。

廉洁自律客观公正

数据采集概述

二、数据采集的特征

采集规模大采集范围全采集维度细采集时效准

充分考虑企业规模数据的数量较多，而数据更重要的是能满足分析提高数据采集的及时

和数据规模的增长，且能够代表整体数据需求。灵活、快速自定义数性，从而提高后续数

提前做好数据信息的各个部分，数据面据的多种属性和不同类型，据应用的及时性。

积累的准备。足够支撑分析需求。从而满足不同的分析目标。

坚持准则提高技能

数据采集概述

三、数据采集的数据源

内部数据

数据

源

外部数据

结构化数据

数据

类型半结构化数据

非结构化数据

参与管理强化服务

数据采集概述

三、数据采集的数据源

爱岗敬业诚实守信

数据采集概述

四、数据采集的工具

廉洁自律客观公正

数据采集概述

四、数据采集的工具

爬虫的概念

爬虫（网络爬虫的简称），是一种按照一定规则，自动抓取网络信

息的程序。爬虫可以理解为一只在网络上爬行的蜘蛛。互联网就像

一张大网，爬虫便是在这张网上爬来爬去的蜘蛛。如果遇到猎物（

即所需的资源），它就会将其抓取下来。所以爬虫的目的在于将目

标网页数据下载至本地，以便进行后续的数据分析。

Python是一门非常适合爬虫的编程语言，它能提供许多与爬虫相

关的库（Requests库），可以高效实现网页爬取，并且可以用极短

的代码完成网页标签过滤功能