大数据分析的流程浅析之一：数据采集过程分析.docxVIP

大数据分析的流程浅析之一：大数据采集过程分析 数据采集，就是使用某种技术或手段，将数据收集起来并存储在某种设备上，这种设备可以是磁盘或磁带。区别于普通的数据分析，大数据分析的数据采集在数据收集和存储技术上都是不同的。具体情况如下： 1.大数据收集过程 在收集阶段，大数据分析在时空两个方面都有显著的不同。在时间维度上，为了获取更多的数据，大数据收集的时间频度大一些，有时也叫数据采集的深度。在空间维度上，为了获取更准确的数据，数据采集点设置得会更密一些。 以收集一个面积为100平方米的葡萄园的平均温度为例。小数据时代，由于成本的原因，葡萄园主只能在葡萄园的中央设置一个温度计用来计算温度，而且每一小时观测一次，这样一天就只有24个数据。而在大数据时代，在空间维度上，可以设置100个温度计，即每个1平方米一个温度计； 在时间维度上，每隔1分钟就观测一次，这样一天就有144000个数据，是原来的6000倍。 有了大量的数据，我们就可以更准确地知道葡萄园的平均温度，如果加上时间刻度的话，还可以得出一个时间序列的曲线，结果看起来使人很神往。 2.大数据的存储技术 通过增加数据采集的深度和广度，数据量越来越大，数据存储问题就凸现。原来1TB的数据，可以使用一块硬盘就可以实现数据的存储，而现在变成了6000TB，也就是需要6000块硬盘来存放数据，而且这个数据是每天都是增加的。这个时候计算机技术中的分布式计算开始发挥优势，它可以将6000台甚至更多的计算机组合在一起，让它们的硬盘组合成一块巨大的硬盘，这样人们就不用再害怕大数据了，大数据再大，增加计算机就可以了。实现分布式计算的软件有很多，名气最大的，目前市场上应用最广的，就是hadoop技术了，更精确地说应该是叫hadoop框架。 hadoop框架由多种功能性软件组成，其自身只是搭建一个和操作系统打交道的平台。其中最核心的软件有两个，一个是hdfs分布式文件系统,另一个是mapreduce分布式计算。hdfs分布式文件系统完成的功能就是将6000台计算机组合在一起，使它们的硬盘组合成一块巨大的硬盘，至于数据如何在硬盘上存放和读取，这件事由hadoop和hdfs共同完成，不用我们操心，这就如我们在使用一台计算机时只管往硬盘上存放数据，而数据存放在硬盘上的哪个磁道，我们是不用关心的。 mapredce分布式计算则就实现让6000台计算机一起协同工作起来，hadoop在设计mapredce时，最基本的思想就是让分析师不用操心程序设计问题，这些问题需要和最底层的程序打交道的，且只有优秀的程序员才能解决的，而是让大数据分析师专注于业务流程进行简单的mapredce程序编写，也就是说大数据分析师只需要知道简单的mapreduce程序设计流程就可以了，不需要成为优秀的JAVA、Python程序员。hadoop框架的这种简单的设计思想，再加上它开源的特性，使其一开始就受到很多主流的互联网公司所采用，接下来的事情就顺理成章了，它成为全球最成功的解决大数据分析的分布式计算技术。 区别于小数据采集，大数据采集不再仅仅使用问卷调查、信息系统的数据库取得结构化数据，大数据的来源有很多，主要包括使用网络爬虫取得的网页文本数据、使用日志收集器收集的日志数据、从关系型数据库中取得的数据和由传感器收集到的时空数据等等，而一些图像和语音数据由于需要高端技术才能使其变成可以被普通的大数据分析师所需要的数据而变得不那么亲切，因此从现有的应用看可以暂时不用考虑。 CDA-hadoop 大数据分析师培训团队 2015年5月7日