3.3.1 数据采集基础《财务大数据分析》教学课件.pptxVIP

财务大数据分析第三章 大数据采集 03上市公司数据采集数据采集基础 1数据采集的重要性数据采集基础2数据采集来源3数据的结构形式 什么是数据采集？为什么要做数据采集呢？大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。想要利用大数据信息，首先就要采集这些数据信息。 我们平时工作与生活，需要数据吗？我们什么时候对数据有需求？我们需求什么数据？课题研究时，需要行业或企业的业务、财务数据高考填报志愿时，需要高校往年的招生分数线数据就业推荐时，需要招聘网站的某地市或某岗位的招聘数据 采集的数据质量决定了我们数据分析挖掘的上限。01采集客户群特征数据（年龄、性别、收入等）02计算分析客户群特征03制定相适宜的营销策略数据采集基础一、数据采集的重要性 在当今的大数据时代，数据的采集源往往是高度多样化的，而不同的数据源也往往需要不同的采集手段来进行针对性的采集。端上数据12开放数据3主观数据4其他平台数据5物理数据6数据库数据数据采集基础二、数据采集来源 数据采集基础三、数据的结构形式 123非结构化数据半结构化数据结构化数据数据采集基础三、数据的结构形式 非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所有格式的办公文档、文本、图片、各类报表、图像和音频、视频信息等等。数据采集基础三、数据的结构形式（一）非结构化数据 数据采集基础三、数据的结构形式（一）非结构化数据非结构化数据提取清洗加工半结构化数据结构化数据 结构化数据往往被称为行数据，是由二维表结构来逻辑表达和实现的数据，其严格遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理。 比如说大学生的选课系统中，学生，课程，选课，导师等等数据都可以抽象为结构化数据。数据采集基础三、数据的结构形式（二）结构化数据特点数据以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。常见的结构化数据库Oracle\MySQL\SQL Server等 半结构化数据是结构化的数据，但结构变化很大。 即是在半结构化数据中，同一类的不同实体数据的结构可能会有一定程度的不同，即不同实体所具有的属性会有一定程度的不同，而同时，对于这些实体来说，不同的属性之间的顺序是并不重要的。数据采集基础三、数据的结构形式（三）半结构化数据 数据采集的重要性数据采集来源数据的结构形式本节小结数据采集基础 数据采集基础 大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。 麦肯锡研究表明，在医疗、零售和制造业领域，大数据每年可以提高劳动生产率0.5-1个百分点。大数据在核心领域的渗透速度有目共睹，然而调查显示，未被使用的信息比例高达99.4%，很大程度都是由于高价值的信息无法获取采集。因此在大数据时代背景下，如何从大数据中采集出有用的信息已经是大数据发展的关键因素之一。那么如何采集这些数据呢？ 感谢观看