第二章大数据导论数据获取与治理.pdfVIP

数据获取与治理 报告人：王宏志 wangzh@hit.edu.cn 目录 01 概述 02 大数据的来源与多源 方式 03 数据集成和跨界应用的数据集成方法 04 数据的预处理 05 教学方法的思考 06 习题 概述 关于数据进入数据库之前的故事… 三个内容 数据获取 数据集成 数据预处理 知识点 大数据的来源 大数据的获取手段 数据离散化 数据集成相关理论与方法 数据变换 数据质量 概述 课程重点 重点1 大数据的不同来源 重点2 不同种类大数据的采集方法以及离散化的动机 重点3 数据集成的概念 重点4 数据预处理的必要性和基本技术 重点5 数据质量的相关概念 课程难点： 难点1 不同大 方法的对象和考虑因素 难点2 传统数据集成和跨界数据集成的区别 难点3 不同数据清洗方法针对的错误类型 目录 01 概述 02 大数据的来源与多源 方式 03 数据集成和跨界应用的数据集成方法 04 数据的预处理 05 教学方法的思考 06 习题 大数据的来源 世上本没有数据，一切数据都是人为的 对现实世界的测量 • 通过感知设备获得数据 人类的记录 • 由人录入计算机形成数据 计算机生成的数据 • 计算机通过现实世界模拟等程序生成数据 大数据的来源 现实世 人类记 计算机 界 录 生成 规模极大 规模较大 规模可控 更新极快 更新较快 速度可控 质量参差 质量很低 质量很高 不齐 语义较为 语义不明 语义明确 明确 确 价值密度 价值密度 价值密度 较低 很低 不定 多源数据的采集  是指从真实世界对象中获得原始数据的过程。  的过程要充分考虑其产生主体的物理性质，同时要兼顾数据应 用的特点。 限制因素 目标 特殊要求 • 资源有限