大数据与NOSql概述讲义.pptx

信息技术部 大数据与NOSql概述 (2016年12月18日) 主要内容 大数据概述 大数据的定义 大数据的4V特征 大数据的系统要求 大数据的典型架构 大数据的应用 大数据的发展 主要内容 Nosql概述 什么是NoSQL NoSQL的优势和不足 NoSQL的CAP理论实现 NoSQL数据模型及分类 大数据的定义 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》[2] 中大数据指不用随机分析法（抽样调查）这样捷径，而采用所有数据进行分析处理。 大数据的4V特征 Volume（海量）、Variety（多样）、Velocity（实时）、Value(价值) 海量——数据量巨大，对TB、PB数据级的处理， 已经成为基本配置。 多样——处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。 实时——在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时 价值——价值密度低，商业价值高。一条数小时的监控视频，可能有用的数据仅有一两秒。能从海量数据中发掘出这些数据，将成为企业竞争力的重要来源。 大数据的系统需求 高新能（ High performance ） 高并发读写 实时动态获取和更新数据 海量存储（Huge Storage ） 海量数据的高效率存储和访问 类似SNS网站 高可扩展性和高可用性 （ High Scalability High Availability ） 需要拥有快速横向扩展能力 能提供7*24小时不间断服务 大数据典型架构 大数据典型架构 大数据典型架构 数据计算用时对比 离线计算 流式计算 实时计算 大数据的应用 大数据与互联网 大交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等 大交互数据：来自社交网络的数据，SNS、微博等 两类数据有效融合将是大势所趋，更能增强企业的商业洞察力 大数据的应用 大数据与金融——银行 大数据的应用 大数据与金融——保险 大数据的应用 大数据与金融——证券 股价预测 客户关系管理 投资景气指数分析 大数据的发展 NOSql的概念 什么是NoSQL？ NoSQL是Not Only SQL的缩写，而不是Not SQL； 它不一定遵循传统数据库的一些基本要求，比如SQL标准、ACID属性、表结构等等。 相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。 NoSQL数据库主要应用于web2.0的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。 NOSql的优势 易扩展 NoSQL数据库种类繁多； 共同的特点都是去掉系型特性； 数据之间无关系，容易横向扩展； 甚至可以NoSQL之间的整合。 数据模型灵活 无需事先为要存储的数据建立字段 随时可以存储自定义的数据格式 高可用 NoSQL在不太影响性能的情况，就可以方便的实现高可用的架构。比如Cassandra，HBase模型，通过复制模型也能实现高可用。 大数据量，高性能 NoSQL数据库都具有非常高的读写性能，尤其在大数据量下，同样表现优秀。这得益于它的无关系性，数据结构简单。 NOSql的CAP原理实现 分布式数据系统的CAP原理的三要素： 一致性 (Consistency) 可用性 (Availability) 分区容忍性 (Partition tolerance) NOSql的CAP原理实现： 在分布式系统中，三个要素最多只能同时实现两点 　 考虑CP，主要是一些Key-Value数据库，典型代表为Google的Big Table，将各列数据进行排序存储。数据值按范围分布在多台机器，数据更新操作有严格的一致性保证。 　　考虑AP，主要是一些面向文档的适用于分布式系统的数据库，如Amazon的Dynamo，Dynamo将数据按key进行Hash存储。其数据分片模型有比较强的容灾性，因此它实现的是相对松散的弱一致性——最终一致性 NOSql数据模型及分类 NoSQL的两个核心理论基础： Google的BigTable BigTable将各列数据进行排序存储； 数据值按范围分