数字信文号处理综述.docx

迎接大数据的时代——王艳涛，1202120902随着信息化技术的不断进步，数字化现在已经深深的渗透进了我们生活中的点点滴滴。生活在Web2.0时代的我们，已经不仅仅是一个信息的被动接受者，同时还是一个信息的创造者。全球每秒钟发送2.9百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年。每天会有2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3年。推特上每天发布5千万条消息，假设十秒钟浏览一条信息，这些信息足够一个人昼夜不息的浏览十六年。同时每天亚马逊上将产生6.3百万笔订单，每个月网民在Facebook上要花费7千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB，Google上每天需要处理24PB的数据。这些由我们创造的信息背后产生的就是海量的数据，这些海量的数据早已经远远超越了目前人力所能处理的范畴。如果人类每年产生的数据增量基本不变的话，本身不足以开启“大数据时代”，因为在增量恒定的情况下，随着前期积累数据量的增长，后期数据的增量是逐渐下降的。但是IDC经过多年的研究，告诉了我们一个极为恐怖的现象：全球数据量大约每两年翻一番，而且这个速度还会继续保持下去。意味着人类在最近两年产生的数据量相当于之前产生的全部数据量，全球数据量的增速而不是增量是恒定的，每年产生的数据量是按指数增长的。大数据的浪潮已经的的确确影响到了很多企业。根据中国大数据技术大会的报告，淘宝目前每天的活跃数据量已经超过50TB，共有4亿条产品信息和2亿多名注册用户在上面活动，每天超过4000万人次访问；百度每日新增数据10TB，每天系统需要处理1PB的数据，每天提交10000+jobs，而每周有近百块硬盘故障；上海证券交易所每秒处理近9万笔业务，每日成交笔数达到3亿笔以上。除了企业内部数据量的暴增以外，在这其中，还裹挟着一个更为重要的趋势，即数据的社会化。用户的消费习惯、兴趣爱好、关系网络以及整个互联网的趋势、潮流都?将成为互联网从业者关注的热点，而这一切的获取和分析都离不开大数据。一方面，社会化媒体基础上的大数据挖掘和分析将会衍生很多应用；另一方面，基于数据分析的营销咨询服务也正在兴起。这些专注于数据挖掘和数据服务的公司将成为电子商务乃至互联网第三方服务业中的新兴力量。从博客论坛到游戏社区再到微博，从互联网到移动互联网再到物联网，人类以及各类物理实体的实时联网已经而且还将继续产生难以估量的数据。对于时刻关注市场走向的企业来讲，他们需要关注的数据显然已经不仅限于企业内部数据库中的业务数据，还要包括互联网（以及未来的物联网）上各类网络活动所产生的相互数据记录。数据的社会化在很大程度上模糊了企业数据的边界。随着数据量的暴增和企业数据边界的模糊，大数据俨然已经成为一个非常严肃的问题，根据IDC预测，全球在2010年正式进入ZB时代，预计2011年全球数量将达到1.8ZB，预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍。我们正处于大数据时代的边缘。如此庞大的数据量首先在存储上就会是一个非常严重的问题，根据目前最为成熟的光存储介质，如果把35ZB的数据全部刻录到容量为9GB的光盘上，其叠加的高度将达到233万公里，相当于在地球与月球之间往返三次。大数据主要有三个数据来源：企业内部的经营交易信息，物联网世界中商品、物流信息，互联网世界中人与人交互信息、位置信息等等是大数据的三个主要来源。其信息量远远超越了现有企业IT架构和基础设施的承载能力，其实时性要求则大大超越现有的计算能力；企业内部的信息主要包括联机交易数据和联机分析数据。就数据本身的格式来讲，是结构化的，通过关系型数据进行管理和访问。这些数据价值密度高，但都是历史的、静态的数据。通过对这些数据的分析，我们只能过去发生了什么，很难说未来将发生什么；来自于社交网站，新浪微博、Facebook等的数据，是大量的、鲜活的，代表了一个个具体网民的想法，反映了他们想做的事情。这些数据价值密度低，但事关未来。大数据时代的来临已经毋庸置疑。我们即将面临一场变革，新兴大数据将成为企业发展的当务之急，而常规技术已经难以应付Pb级的大规模数据量。这一变化所带来的挑战，是成功的企业在未来发展过程中必须要面对的。只有那些能够运用这些新数据形态的企业，方能打造可持续的重要竞争优势。在IDC的报告中，他们对大数据进行了一个简单的描述：大数据是一个看起来似乎来路不明的大的动态过程。仅是实际上，，大数据并不是一个新生事物，虽然他确确实实正在走向主流和引起广泛的注意。大数据并不是一个实体，而是一个横跨很多IT边界的动态活动。大数据，首先要从大入手，大首先是指数据体量大，指代大型数据集，一般在10TB左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成