大数据与NOSql概述.pptVIP

数据计算则主要分为 离线计算 流式计算 实时计算 ------ 实时计算与离线计算的最大区别，就是离线计算是人无法忍耐的时间进行计算，因此人不需要等待，把任务丢给计算机后，自己该干嘛就去干嘛。 流式计算，比实时计算要稍微迟钝些，但比离线计算又实时的多，而且主要强调的是计算方法。 * 互联网技术的发展和数据量的爆发式增长是大数据的主要推动因素 同时大数据的优势 在互联网领域得到充分发挥 譬如图示中的facebook 新浪微博 等 大数据技术贡献比较大的也多是像Google Amozon 阿里巴巴互联网巨头 本图展示互联网大数据处理的两类主要数据源 交易类 交互类 * 这张图展示银行的大数据应用 主要涉及的4个业务领域 单独解释：个人客户画像包括人口统计学特征、消费能力数据、兴趣数据、风险偏好等在客户画像的基础上银行可以有效的开展精准营销 * 这张图展示保险的大数据应用 主要涉及的3个业务领域 * 大数据在与传统行业的结合中，针对现有业务数据的预测与分析占了比较大的比重，与数据仓库和数据挖掘功能类似，只是实现技术和方法不同。 * 通过这个图示可以了解大数据在国内发展时间主要是2012年以后 主要关注点是数据的来源和整合处理、数据计算分析的角度来描述大数据的发展过程和近期展望 * NoSQL最早由谷歌和亚马逊提出，用于解决自己业务模型中遇到的扩展难题。 * * * 信息技术部 大数据与NOSql概述 (2021年12月18日) 主要内容 大数据概述 大数据的定义 大数据的4V特征 大数据的系统要求 大数据的典型架构 大数据的应用 大数据的开展 主要内容 Nosql概述 什么是NoSQL NoSQL的优势和缺乏 NoSQL的CAP理论实现 NoSQL数据模型及分类 大数据的定义 大数据〔big data〕，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的?大数据时代?[2] 中大数据指不用随机分析法〔抽样调查〕这样捷径，而采用所有数据进行分析处理。 大数据的4V特征 Volume〔海量〕、Variety〔多样〕、Velocity〔实时〕、Value(价值) 海量——数据量巨大，对TB、PB数据级的处理， 已经成为根本配置。 多样——处理多样性的数据类型，结构化数据和非结构化数据，能处理Web数据，能处理语音数据甚至是图像、视频数据。 实时——在客户每次浏览页面，每次下订单的过程中都存在，都会需要对用户进行实时的推荐，决策已经变得实时 价值——价值密度低，商业价值高。一条数小时的监控视频，可能有用的数据仅有一两秒。能从海量数据中开掘出这些数据，将成为企业竞争力的重要来源。 大数据的系统需求 高新能〔 High performance 〕 高并发读写 实时动态获取和更新数据 海量存储〔Huge Storage 〕 海量数据的高效率存储和访问 类似SNS网站 高可扩展性和高可用性 〔 High Scalability High Availability 〕 需要拥有快速横向扩展能力 能提供7*24小时不间断效劳 大数据典型架构 大数据典型架构 大数据典型架构 数据计算用时比照 离线计算 流式计算 实时计算 大数据的应用 大数据与互联网 大交易数据：来自电商的数据，包括B2B、B2C、C2C、团购等 大交互数据：来自社交网络的数据，SNS、微博等 两类数据有效融合将是大势所趋，更能增强企业的商业洞察力 大数据的应用 大数据与金融——银行 大数据的应用 大数据与金融——保险 大数据的应用 大数据与金融——证券 股价预测 客户关系管理 投资景气指数分析 大数据的开展 NOSql的概念 什么是NoSQL？ NoSQL是Not Only SQL的缩写，而不是Not SQL； 它不一定遵循传统数据库的一些根本要求，比方SQL标准、ACID属性、表结构等等。 相比传统数据库，叫它分布式数据管理系统更贴切，数据存储被简化更灵活，重点被放在了分布式数据管理上。 NoSQL数据库主要应用于web2.0的大规模系统，具有模式灵活、最终一致性、面向海量数据、分布式、开源、水平可扩展、配置简单、非关系型等特点。 NOSql的优势 易扩展 NoSQL数据库种类繁多； 共同的特点都是去掉系型特性； 数据之间无关系，容易横