大数据及其应用.pdfVIP

大数据及其应用 大数据的概念 “大数据”是指以多元形式，自许多来源搜集而来的庞大数据组，往往具有实时性。在 企业对企业销售的情况下，这些数据可能得自社交网络、电子商务网站、顾客来访纪录，还 有许多其他来源。这些数据，并非公司顾客关系管理数据库的常态数据组。 从技术上看，大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然 无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘， 但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。(在维克托 ·迈 尔-舍恩伯格及肯尼斯·库克耶编写的 《大数据时代》中大数据指不用随机分析法 （抽样调 查）这样的捷径，而采用所有数据的方法）大数据的 4V特点：Volume（大量）、Velocity （高速）、Variety（多样）、Value（价值）。 早在1980年，著名未来学家阿尔文·托夫勒便在 《第三次浪潮》一书中，将大数据热 情地赞颂为 “第三次浪潮的华彩乐章”。不过，大约从2009年开始，“大数据”才成为互 联网信息技术行业的流行词汇。美国互联网数据中心指出，互联网上的数据每年将增长50%， 每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。此外，数据又并非 单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感 器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也 产生了海量的数据信息。 大数据的意义是由人类日益普及的网络行为所伴生的，受到相关部门、企业采集的，蕴 含数据生产者真实意图、喜好的，非传统结构和意义的数据 。2013年5月10日，阿里巴 巴集团董事局主席马云在淘宝十周年晚会上，将卸任阿里集团CEO的职位，并在晚会上做卸 任前的演讲，马云说，大家还没搞清PC时代的时候，移动互联网来了，还没搞清移动互联 网的时候，大数据时代来了。 借着大数据时代的热潮，微软公司生产了一款数据驱动的软件，主要是为工程建设节约 资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看，从微 软团队致力于研究开始，可以看他们的目标不仅是为了节约了能源，更加关注智能化运营。 通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据，捕捉如何杜绝能源浪费。 “给我提供一些数据，我就能做一些改变。如果给我提供所有数据，我就能拯救世界。”微 软史密斯这样说。而智能建筑正是他的团队专注的事情。 从海量数据中“提纯”出有用的信息，这对网络架构和数据处理能力而言也是巨大的挑 战。在经历了几年的批判、质疑、讨论、炒作之后，大数据终于迎来了属于它的时代。2012 年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将 “大数据战略” 上升为国家战略。奥巴马政府甚至将大数据定义为 “未来的新石油”。 大数据时代已经来临，它将在众多领域掀起变革的巨浪。但我们要冷静的看到，大数据的核 心在于为客户挖掘数据中蕴藏的价值，而不是软硬件的堆砌。因此，针对不同领域的大数据 应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信，在国家的统筹规划与 支持下，通过各地方政府因地制宜制定大数据产业发展策略，通过国内外IT龙头企业以及 众多创新企业的积极参与，大数据产业未来发展前景十分广阔。 大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持 敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开 始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。 基本介绍 随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。《著云台》的分析 师团队认为，大数据（Bigdata）通常用来形容一个公司创造的大量非结构化和半结构化数 据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云 计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百 或甚至数千的电脑分配工作。 简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明 白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。 大数据的4个 “V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升 到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。 第三，价值密度低。以视频为例，连续不间