大数据时代已经到来你准备好了吗？.pdfVIP

大数据时代已经到来，你准备好了吗？ 一、大数据出现的背景 进入 2012 年，大数据(big data)一词越来越多地被提及，人们用它来描述和 定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。它已经 上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身 在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司等写进了投资 推荐报告。 数 据正在迅速膨胀并变大，它决定着企业的未来发展，虽然现在企业可能 并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越 来越多的意识 到数据对企业的重要性。大数据时代对人类的数据驾驭能力提出 了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与 潜力。 最 早提出大数据时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据， 已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海 量数据的 挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到 来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行 业存在已有时日， 却因为近年来互联网和信息行业的发展而引起人们关注。 大数据在互联网行业指的是这样一种现象：互联网公司在日常运营中生成、 累积的用户网络行为数据。这些数据的规模是如此庞大，以至于不能用 G 或 T 来衡量，大数据的起始计量单位至少是 P(1000 个 T)、E(100 万个 T)或 Z(10 亿 个 T) 。 1 二、什么是大数据？ 信息技术领域原先已经有“海量数据”、“大规模数据”等概念，但这些概念只着 眼于数据规模本身，未能充分反映数据爆发背景下的数据处理与应用需求，而“大 数据”这一新概念不仅指规模庞大的数据对象，也包含对这些数据对象的处理和 应用活动，是数据对象、技术与应用三者的统一。 1、大数据(bigdata)，或称巨量资料，指的是所涉及的资料量规模巨大到无 法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮 助企业经营决策更积极目的的资讯。大数据对象既可能是实际的、有限的数据集 合，如某个政府部门或企业掌握的数据库，也可能是虚拟的、无限的数据集合， 如微博、微信、社交网络上的全部信息。 2 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能 力的海量、高增长率和多样化的信息资产。从数据的类别上看，“大数据”指的是 无法使用传统流程或工具处理或分析的信息。它定义了那些超出正常处理范围和 大小、迫使用户采用非传统处理方法的数据集。 亚马逊网络服务(AWS)、 大数据科学家 JohnRauser 提到一个简单的定义： 大数据就是任何超过了一台计算机处理能力的庞大数据量。研发小组对大数据的 定义：“大数据是最大的 宣传技术、是最时髦的技术，当这种现象出现时，定义 就变得很混乱。”Kelly 说：“大数据是可能不包含所有的 信息，但我觉得大部分 是正确的。对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负 载，这是 AWS 的定义。 2、大数据技术，是指从各种各样类型的大数据中，快速获得有价值信息的 技术的能力，包括数据采集、存储、管理、分析挖掘、可视化等技术及其集成。 适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网， 分布式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。 3、大数据应用，是 指对特定的大数据集合，集成应用大数据技术，获得有 价值信息的行为。对于不同领域、不同企业的不同业务，甚至同一领域不同企业 的相同业务来说，由于其业务 需求、数据集合和分析挖掘目标存在差异，所运 用的大数据技术和大数据信息系统也可能有着相当大的不同。惟有坚持“对象、 技术、应用”三位一体同步发展，才 能充分实现大数据的价值。 当你的技术达到极限时，也就是数据的极限” 。大数据不是关于如何定义，最 重要的是如何使用。最大的挑战在于哪些技术能更好的使用数据以及大数据的应 用情况如何。这与传统的数据库相比，开源的大数据分析工具的如 Hadoop 的崛 起，这些非结构化的数据服务的价值在哪里。 3 三、大数据的类型和价值挖掘方法 1、大数据