数据库新技术专题大数据.docxVIP

Q p］丈厚 题 目 关于大数据的初步认识 学 院 计算机学院 专 业 计算机科学与技术 学生姓名 学 号 年 级 指导教师 二0—四年十月十九口 关于大数据的初步认识 计算机学院 学生： 指导老师: ［摘要］ 大数据技术(big data),或称巨量资料，指的是所涉及的资料量规模巨大到 无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经 营决策更积极目的的资讯。最早提出大数据时代到来的是麦肯锡：“数据，已经渗透到当今 每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖振和运用，预示 着新一波生产率增长和消费者盈余浪潮的到来。” 进入2012年以来，大数据一词越来越多地被提及与使用，人们用它来描述和定义信息 爆炸时代产生的海量数，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得 更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 在大数据时代，数据的采集分析成为社会管理、政府和企业决策、商业营销、产品研发 创意、疾病预防的重要凭借和有效途径。一种以数据为中心，重视统计、量化和数据相关性 而非理念演绎、概念推理、逻辑关联的新型文化范式势必崛起。大数据潮流为经营的横向跨 界、产业的越界混融、生产与消费的合一提供了得天独厚的条件，也势必促进历史上多种文 明形态的混溶整合。 ［关键词］大数据；云计算；数字经济；移动互联网 1.大数据的基本概念 1.1大数据的定义 对于“大数据” (Big data),研究机构Gartner给出了这样的定义：“大数据”是需要新 处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的 信息资产。 大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce —样的框架来向数卜、数百或甚至数千的电脑分配工作。大数据分析相比于传统的数据仓库应 用，具有数据量大、查询分析复杂等特点。 1.2大数据的特征 大数据的特征可归纳为4个V”：量Volume,多样Variety,价值Value,速Velocity0 或者说特点有四个层面： 第一，数据体量巨大（Volume）。大数据的起始计量单位至少是P （1000个T）、E （100 万个T）或Z（10亿个T）。截至目前，人类生产的所有印刷材料的数据量是2OOPB（1PB=21OTB）, 而历史上全人类说过的所有的话的数据量大约是5EB（lEB=210PB）o； 第二，数据类型繁多（Variety）。这种类型的多样性也让数据被分为结构化数据和非结 构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括 网络FI志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出 了更高要求。 笫三，价值密度低（Value）,如何通过强大的机器算法更迅速地完成数据的价值“提纯” 成为目前大数据背景下亟待解决的难题。 第四，处理速度快（Velocity）。这是大数据区分于传统数据挖掘的最显著特征。 其实大数据的4V特征并不能真正说清楚大数据的所有特征，下面这张图对大数据的一 些相关特性做出了有效的说明： AISOJ[] KunmMHKS SOCIAL 臥 COMPLEXSEARCHBIOIOSCAL■ iI—ft—J AISO J[] Kunm MHKS SOCIAL 臥 COMPLEX SEARCH BIOIOSCAL ■ i I—ft—J .ANALYTICS a ■ RMinOUl CAPACITY ?? HUNDREDS 空 = I IDOLS .DISK 阙 =川 SENSOR u M1Y 臺 SHARED Dgifjwi | MOVING INTERNET i TECHNOLOGIES ?盅二?乩蜃AW 迸 NEEDED j|M[ j=-Jess￡ STORAGE 05 1 PARALLEL 寿 HASSMIY GROW MANAGEMENT wsnisg Mm rLL PU 仙—狮 ON I主_ 2?大数据的关键技术 2?1大数据的分析 大数据己经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有 通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据, 而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性, 所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的 决定性因素。 基于大数据的基础分析，大数据分析普遍存在以下的方法理论： 可视化分析 大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数 据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能 够非常容易被读者所接受，就