大数据技术及应用解决方案(图文).pdf

大数据技术及应用解决方案(图文) 2020-01-07 13:55 | 人气：724 分享至： 收藏 1、大数据概述 1.1. 概述 大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响，并将成为云计算、物联网之后信息技 术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提升、云计算、物联网应用 更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。 数据技术发展历史如图一所示： 图一 1.2. 大数据定义 “大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定 义为4个V，即大量化（Volume）、多样化（Variety）、快速化（Velocity）及由此产生的价值（Value）。如图二; 图二 要理解大数据这一概念，首先要从大入手，大是指数据规模，大数据一般指在10TB （1TB=1024GB）规模以上的数据量。大数据同过去的海量数据有所 区别，其基本特征可以用4个V来总结（Vol-ume、Variety、Value和Veloc-ity），即体量大、多样性、价值密度低、速度快。 • 数据体量巨大。从TB级别，跃升到PB级别。 • 数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。 • 价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。 • 处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布 地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。 大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的 大数据不仅指数据本身的 规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性 发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。 1.3. 大数据技术发展 大数据技术描述了一种新一代技术和构架，用于以很经济的方式、以高速的捕获、发现和分析技术，从各种超大规模的数据中提取价值，而且未来急剧增长 的数据迫切需要寻求新的处理技术手段。如图三所示： 图三 在“大数据” （Big data）时代，通过互联网、社交网络、物联网，人们能够及时全面地获得大信息。同时，信息自身存在形式的变化与演进，也使得作为信息 载体的数据以远超人们想象的速度迅速膨胀。 云时代的到来使得数据创造的主体由企业逐渐转向个体，而个体所产生的绝大部分数据为图片、文档、视频等非结构化数据。信息化技术的普及使得企业更 多的办公流程通过网络得以实现，由此产生的数据也以非结构化数据为主。预计到2012年，非结构化数据将达到互联网整个数据量的75%以上。用于提取 智慧的“大数据”，往往是这些非结构化数据。传统的数据仓库系统、BI、链路挖掘等应用对数据处理的时间要求往往以小时或天为单位。但“大数据”应用突出 强调数据处理的实时性。在线个性化推荐、股票交易处理、实时路况信息等数据处理时间要求在分钟甚至秒级。 全球技术研究和咨询公司Gartner将“大数据”技术列入2012年对众多公司和组织机构具有战略意义的十大技术与趋势之一，而其他领域的研究，如云计算、 下一代分析、内存计算等也都与“大数据”的研究相辅相成。Gartner 在其新兴技术成熟度曲线中将“大数据”技术视为转型技术，这意味着“大数据”技术将在未 来3—5年内进入主流。 而 “大数据”的多样性决定了数据采集来源的复杂性，从智能传感器到社交网络数据，从声音图片到在线交易数据，可能性是无穷无尽的。选择正确的数据来 源并进行交叉分析可以为企业创造最显著的利益。随着数据源的爆发式增长，数据的多样性成为“大数据”应用亟待解决的问题。例如如何实时地及通过各种 数据库管理系统来安全地访问数据，如何通过