云计算下的大数据-精品文档.docVIP

云计算下的大数据 　　随着云计算、物联网等计算机技术的兴起，各类智能移动终端设备不断被研发，互联网数据量大大增加，而“大数据”是指增长迅速、规模巨大且与传统数据处理架构不相适应的信息数据，通过对其进行数据分析，人们可以从中发现有价值的相关信息。本文主要深入分析云 　　计算下的大数据处理技术。 　　大数据“4V”特征 　　数据量巨大 （Volume Big）。就目前而言，大数据的数据储存量已高达PB级别，部分已达到ZB级别，其储存容量比传统数据库大好几倍，因此，大数据的数据量被称为“超量数据”。由于量变过程最终会导致质变产生，随着海量数据的增长速度不断加快，传统数据技术必然无法满足巨大数据量的管理和存储需求。 　　数据类型多样 （Variable Type）。大数据还具有数据类型多样的显著特点，大数据中包括大量结构化数据、半结构化数据和非结构化数据等，这些数据一般以图表、文本、视频、语音、动态数据、传感器数据、移动终端数据等形式存在，且多样数据间的关系也十分复杂。 　　数据价值高、密度低 （Value High and Low Density）。在大数据的处理分析过程中，很可能需要同时处理一部分没有意义的数据，经过大量的没有意义的数据分析处理，才有可能会得出无意义数据中所包含的那一部分高价值数据，进而得出高价值的数据分析结果。 　　数据具有动态性 （Velocity）。科学技术的飞速发展，促使计算机、传感器设备、移动终端设备、的数据搜集频率和上传速度不断加快，导致大数据中包含的各类数据无时无刻都在实时更新和增加，即大数据中的数据信息具有显著的实时动态性。 　　大数据与云计算的关系 　　云计算技术是指根据按需分配的原则通过集中式远程计算机数据资源池向终端用户提供强大而廉价的计算服务技术。作为一种数据处理技术，云计算技术具有如下特点：① 从物理方面分析，数据资源池对终端用户是完全透明的，用户可根据自己所需从资源池中获取相应数据；② 云计算技术可以为各行各业提供优质的规模化计算服务，而且其服务能力具有重大发展潜力；③ 云计算技术应用部署迅速便捷，能根据终端用户对服务方式和服务质量的要求进行定制，具有强大的弹性伸缩能力；④ 用户可轻易获取云端数据，同时可实现资源共享，数据使用成本低。 　　纵观现今各种计算机数据处理技术，云计算技术可谓是目前最大型的信息数据存储、传输和处理平台，它能为大数据处理提供优质服务，是大数据处理的必然之选。首先，云计算可以为大数据提供接近“无限”的存储空间，数据处理速度快速，可满足大数据的超大容量存储要求和复杂数据分析处理需求，而这一点正是传统数据存储方式无法实现的。其次，云计算技术注重数据的计算处理，而大数据正是需要强大的数据处理能力，因此，云计算能满足大数据的需要，促进云计算的数据处理类型的多样化发展。 　　云计算下的大数据分析过程 　　数据采集。大数据的采集过程是整个数据分析过程的重要基础，目前，互联网技术的发展日新月异，随着各种终端设备的不断普及，数据产生速率越来越高，数据产量也日益增多，数据间关系变得更为复杂，唯有全面提高数据采集速度和精度才能满足大数据的处理需求。 　　数据处理与集成。大数据的处理与集成是对采集到的数据进行一定的格式化处理、去噪处理和进一步的集成存储处理。由于采集到的数据具有多样化，且各类数据的结构也不统一，对后续的数据分析进行有一定阻碍。因此，需要对数据进行处理，将无效数据预先去除，提高后续数据分析的可靠性和精度。 　　数据分析。完成对数据的采集和初步处理后，必须对数据进行分析，以得出大数据中的重要价值。数据分析过程的对象是经初步处理与集成的具有统一格式的数据，该过程能够根据用户所需的数据应用需求和价值体现方向进一步对原始样本数据进行深入处理和分析。 　　数据解释。数据解释是指对分析后得出的数据结果进行解释并向用户展现，在数据处理过程中，对数据结果的解释是指需要进行大数据分析的用户能够直观了解分析结果的过程。传统的数据分析结果显示方式通过文本方式体现的，但由于数据量的迅速增加，传统数据分析的结果也变得越来越复杂，传统的数据显示方法根本无法满足这样的大数据分析结果展示，而大数据中的可视化技术则能够有效解决这一问题。 　　云计算下的大数据处理关键技术分析 　　采集技术。事实上，数据的采集方式有两种，包括集中式和分布式，从灵活性考虑，分布式较集中式好；从全局性考虑，集中式较分布式好。基于云计算的大数据采集对象一般为组织系统内部及各自相互独立组织系统间的各类数据，而云计算恰好具备数据并行处理的显著特点，因此，大数据通过云计算可以采用混合式采集方式实现数据的高效采集。 　　具体工作原理为：大数据在组织系统内部应用集中式数据采集方式，并以组织系统内部的数据