对大数据的透彻理解.pdf

对大数据的透彻理解 对大数据的透彻理解 一、 大数据基本概念 大数据 Big Data 是指大小超出了常用的软件工具在运行时间内可以承受的收集，管理和处 理数据能力的数据集 ;大数据是目前存储模式与能力、计算模式与能力不能满足存储与处理现有数 据集规模产生的相对概念。 大数据的预处理 主要完成对已接收数据的辨析、抽取、清洗等操作。 (1) 抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助我们将这些复杂的 数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。 (2) 清洗：对于大数据，并不全是有价值的，有些数据并不是我们所关心的内容，而另一些数 据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。 大数据带来的数学问题 在数学上来看，计算机中存在不断变大的数据集，不存在绝对的大数据，计算机中的所有数 据集都是有限集合。 大数据采样——把大数据变小、找到与算法相适应的极小样本集、采样对算法误差的影响 大数据表示——表示决定存储、表示影响算法效率 大数据不一致问题——导致算法失效和无解、如何消解不一致 大数据中的超高维问题——超高维导致