大数据 – Big Data教学课件.pdfVIP

大大数数据据 ––BBiigg DDaattaa 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的 《大数据时代》[2] 中大数据指不用随 分析法 （抽样调查）这样捷径，而采用所有数据进行分析处理。 大大数数据据 （（BBiigg DDaattaa））--定定义义 • 指无法在一一定定时时间间范范围围内内用常规软件工具进行捕捕捉捉、管管 理理和处处理理的数据集合，是需需要要新新处处理理模模式式才能具有更强 的决决策策力力、洞洞察察发发现现力力和流流程程优优化化能能力力来适应海量、 高增长率和多样化的信息资产。 大大数数据据的的44VV特特点点 大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神 它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收 集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。 大大数数据据逻逻辑辑架架构构 其次，想要系统的认知大数据，必须要全面而细致的分解它，我着手从三个层面来展开： 第一层面是理论，理论是认知的必经途径，也是被广泛认同和传播的基线。在这里从大数据的特征定义理解行业对大数据的整体描绘和定性；从对大数据价值的探讨来 深入解析大数据的珍贵所在；洞悉大数据的发展趋势；从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。 第二层面是技术，技术是大数据价值体现的手段和前进的基石。在这里分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储 到形成结果的整个过程。 第三层面是实践，实践是大数据的最终价值体现。在这里分别从互联网的大数据，政府的大数据，企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好 景象及即将实现的蓝图。 传传统统数数据据库库的的特特点点 大大数数据据的的数数据据库库 Key-Value键键值值存存储储原原理理初初识识(NOSQL) 传传统统数数据据库库和和大大数数据据数数据据库库的的对对比比 NO-Sql数据库：Not Only不仅仅是SQL 对可用性及一致性的弱要求原则:BASE Basically Availble --基本可用 RRDDBBMMSS NNooSSQQLL Soft-state --软状 /柔性事务。 Soft state 可以理解为无连接的, 而 Hard state 是面向连接的 Event al Consistency --最终一致性 最终一致性， 也是是 ACID 的最终 目的。 高度组织化结构化数据 代表着不仅仅是SQL NoSQL 数数据据库库分分类类 结构化查询语言 （SQL） (SQL) 没有声明性查询语言 类类型型 部部分分代代表表 数据和关系都存储在单独的表中 没有预定义的模式 特特点点 列存储 Hbase 数据操纵语言，数据定义语言 键 - 值对存储，列存储，文档存储，图形数据库 Cassandra Hypertable 顾名思义，是按列存储数据的。最大的特点是方便存储结构化和半结构化数据，方便做数据压缩，对针对某一列或者某几列的查询有非常大的IO优势。 严格的一致性 最终一致性，而非ACID属性 文档存储 MongoDB Co chDB 文档存储一般用类似json的格式存储，存储的内容是文档型的。这样也就有有机会对某些字段建立索引，实现关系数据库的某些功能。 基础事务 非结构化和不可预知的数据 key-val e存储 Tokyo Cabinet / Tyrant Berke