大数据技术发展.pptx

大数据技术发展;数据库技术发展历史;层次型数据库;关系型数据库之父：E.F.Codd;关系型数据库;SQL之父;左起 Ed Oates、Bruce Scott、Bob Miner、Larry Ellison ;Oracle CEO Larry Ellison;;;变化来了之一：数据量爆炸增长;全球每秒钟发送290万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年… 每天会有2.88万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布5千万条消息，假设10秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生6.3百万笔订单… 每个月网民在Facebook上要花费7千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB Google上每天需要处理24PB的数据…;变化来只二：非结构化类型增加成主流;大数据来源;; “大数据或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。”（维基百科） “大数据是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。”（百度百科） “大数据是人们获得新认知、创造新价值的源泉，还是改变市场组织机构，以及政府与公民关系的方法?。”（《大数据时代》） “大数据是数据量在10TB以上、需要采用新兴的大数据技术加以收集、处理和应用，以展现更多社会、商业价值的数据。”（个人总结） ;非结构化处理案例（BigTable）;数据变革的现实驱动力;数据变革的理论驱动力-CAP理论;;变革的方向NOSQL ? NEWSQL?;变革方法;NoSQL数据模型及分类;;NoSQL数据模型及分类;NoSQL应用现状;大数据应用领域;29;在河北廊坊郊区，农田里安装了内置摄像头的传感器，通过传感器、摄像头等终端应用收集、采集农产品的各项指标，并将数据汇聚到云端进行实时监测、分析和管理，比如每天的气温、湿度、雨量等信息，还向农民发放智能手机和平板电脑，让大家随时记录工作成果和现场注意到的问题。;两会期间，通过“网友热搜的两会关键词”，了解老百姓关注的热点、精神和解读，为??定工作目标提供决策依据。;2009年，Google不借助任何医疗手段，仅通过5000万条用户检索关键词，比美国疾控中心提前数周预测H1N1流感的爆发！;商业营销;交易风险监控：交易所对于实时交易数据进行及时扑捉，对金融期货等异常交易行为、持仓、资金、行情风险进行监控，及时制止扰乱市场的行为。同时通过对海量交易数据的存储进行交易反演，旨在挖掘风险监控的最优阀值，提升风控可靠性。 ;金融大数据产学研项目