大数据简介,应用及技术简述.pptVIP

大数据技术与应用 第一页，编辑于星期三：十五点 八分。 1 Part 什么是大数据 第二页，编辑于星期三：十五点 八分。 Part 1 什么是大数据 何为大？—数据度量 1Byte = 8 Bit 1KB = 1,024 Bytes 1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes 数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务 第三页，编辑于星期三：十五点 八分。 Part 1 什么是大数据 大数据定义： 所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。 主要的特点: Volume 数据体量 Velocity 数据速度 Variety 数据多样 Veracity 数据真实 4V特征 第四页，编辑于星期三：十五点 八分。 Part 1 什么是大数据 大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据就是“未来的新石油”。 第五页，编辑于星期三：十五点 八分。 2 Part 大数据的特征 第六页，编辑于星期三：十五点 八分。 Part 2 大数据的特征 Big Data 大数据 Volume 非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 数据量体 Value 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能） 数据价值 Variety 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义 数据多样 Velocity 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效 数据速度 第七页，编辑于星期三：十五点 八分。 Part 2 大数据的4V特征—Volume 1Bity 1KB 1MB 1GB 1TB 1PB 1EB 1ZB 1YB 1PB相当于50%的全美学术研究图书馆藏书信息内容 5EB相当于至今全世界人类所讲过的话语 1ZB如同全世界海滩上的沙子数量总和 1YB相当于7000位人类体内的微细胞总和 一般情况下，大数据是以PB、EB、ZB为单位进行计量的 第八页，编辑于星期三：十五点 八分。 Part 2 大数据的4V特征—Velocity 大数据的处理速度快 实时数据流处理的要求，是区别大数据引用和传统数据仓库技术，BI技术的关键差别之一； 1s 是临界点，对于大数据应用而言,必须要在1秒钟内形成答案，否则处理结果就是过时和无效的； 8 22 54 132 215 327 现在及未来几年内美国的移动网络数据流量增长（PB/月） 源自英国Coda研究咨询公司 大数据的增长速度快 第九页，编辑于星期三：十五点 八分。 Part 2 大数据的4V特征—Variety 行业/企业内 数据 互联网数据 物联网数据 大数据 数据来源多 企业内部多个应用系统的数据、互联网和物联网的兴起，带来了微博、社交网站、传感器等多种来源。 数据类型多 保存在关系数据库中的结构化数据只占少数，70~80%的数据是如图片、音频、视频、模型、连接信息、文档等非结构化和半结构化数据。 关联性强 数据之间频繁交互，比如游客在旅行途中上传的图片和日志，就与游客的位置、行程等信息有了很强的关联性。 第十页，编辑于星期三：十五点 八分。 Part 2 大数据的4V特征—Value 价值密度低(Value) 价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。 如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。 挖掘大数据的价值类似沙里淘金，从海量数据中