大数据时代第一章浅析.doc

第一章 第一节大数据概述： 当今世界已经进入了大数据时代。大数据无处不在，它正在深刻影响：人们的工作、生活和学习，并将继续产生更大的影响。专业技术人员身处大数据时代，需要更好地认识大数据、掌握大数据、利用好大数据。大数据产生的背景 （→大数据产生的技术背景大数据不是某一天突然产生的随着互联网信息的急速增长，机器设备信息的实时采集，产生了大量数据，这些数据如何存储、挖掘以及利用成为一个人们必须解决的问题，文本、图片、音频、视频等多媒体信息对存储技术提出了新的要求，而位置信息、关系信息使得数据种类越来越丰富，其价值挖掘也日益受到人们的重视。大数据的理念和方法正是在这种 环境中产生的。互联网是一种最为突出的大数据环境。在200年前后，互联网网页呈现爆发式增长，到2000年年底，全球网页数达到和亿个，而且每天以 大约m万个网页的速度飞速增长。在这种情况下，用户查找信息越来越不方便。为了帮助互联网用户从亿万数据中快速找到所需信息，谷歌（Gwe）等公司率先建立了覆盖数十亿网页的索引库，开始提供较为精确的搜索服务，大大提升了人们使用互联网的效率，这是大数据应用的起点，当时搜索引擎要存储和处理的数据，不仅数量之大前所未有，而且形式以非结构化数据为主，传统技术已经无法应对。为此，谷歌提出了一套以分布式为特征的全新技术体系，即后来陆续公开的分布式文件系统和分布式数：据库（Bgmbe）等技术。通过这些技术，利用较低的成本实现了之前技术无法达到的数据处理规模。这些技术奠定了当前大数据技术的基础，可以认为是大数据技术的起源。随着互联网的进步发展，特别是W小20发展，万维网之父蒂姆·伯纳斯·李（TmBemm·ke）等人在m7年发起开放数据运动，将关联数据串联起来形成一个巨大的数据网，从而构建更多的应用与服务，开放数据运动同时也带来了更多的数据。云计算，物联网｀分布式并行计算及 数据库、社交网络及智能终端等新兴信息技术的发展，也正在不断丰富数 据的采集方式。此外，为了解决数据遗失问题，数据存储设备及其功能也不断完善，使得数据的保存更加便捷，这也让数据量变得越来越大，据 mC报告估计，2005―2020年间，全球数据量将增长3M倍，达到和万 亿G的。数据的快速增长，引出了更多的数据管理、硬件环境与分析服 务等需求。政府、电子商务、互联网、金融、医疗保键等行业的相关组织,开始使用多种新兴信息技术不断搜集不同来源的各类数据，以便从中挖掘出更多有价值的信息或知识。对组织来说，数据采集已不是主要障碍，关健在于更完善、更有效的数据分析与挖掘方法，让信息变得更容易理解且 利于决策行动。 仁）大数据产生的社会背景伴随着互联网产业的崛起，新的海量数据处理技术在电子商务、精准， 广告、智能推荐、社交网络等方面得到了广泛应用，并取得巨大的商业成 功。这启发了全社会开始重新审视数据的巨大价值，于是，金融、电信等 数据密集型行业开始尝试使用新的理念和技术并取得初步成效。与此同 时，业界也在不断对谷歌公司提出的数据处理技术体系进行扩展，使之能在更多的场景下使用。Mll年，麦肯锡、世界经济论坛等知名机构对这种数据驱动的创新进行了研究总结，随即在全世界兴起了一股“大数据”研究和应用的热潮。大数据概念的提出，对人们的生活、思维及工作方式产生了巨大的影：响，并将当前的信息化社会推进到了·个新的发展阶段。当前数据急速膨胀，使得传统的系统平台已无法支持大数据处理，现有分析方法也难以从纷繁复杂的大数据中凝练出更多有价值的信息以及提供新的深刻洞察这就要求对大数据存储技术、处理技术、分析方法应用服务等方方面面做全新的思考，进而也引出了大数据存储、分析，管理与服务等一系列基于数据链的“大数据产业”。大数据被多个领域视为下一代信息技术与数据分析管理的热点，影响 人们思维与生活、企业运营与管理、国家治理与政府 决策等各个方面。对：国家决策及政府管理来说，数据资源已成为新时代中的一种战略优势，对 科研人员来说，大数据并不是突然出现的新概念或新技术，而是由过去的分布式数据挖掘等专业术语演变成的广为人知的流行词这种演变的重：要意义在于启发了人们重新审视数据的重要意义及潜在价值，无论是科研学术界，还是工商企业界；无论是政府组织管理，还是个人日常生活，大数据已渗透到各个学科领域、各行各业、多个层面，可以说，大数据不仅仅是一项技术，更是一种社会现象。如何搜集与构建大数据，存储与管理大数据、分析与挖掘大数据价值，变成为一个新热点，新 领域，大数据带来的新机遇与新挑战是前所未有的，值得人们广泛关注， 大数据的基本概念：大数据是当前信息化社会发展的热点话题。关于什么是大数据，目 也有多种观点。较直观的认识是按照数据规模来界定大数据，例如，麦肯锡的咨询报 告将m级以上的数据集视为大数据；如14年国际数据公司预测报告指：出，在大