大数据概览培训资料课件.pptx

云计算和大数据概览 ;;我们来到大数据时代;全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据…;大数据时代的爆炸增长;20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data ;什么是大数据（NO-SQL, Not Only SQL)不同“看”数据的方式;; 大数据=海量数据+复杂类型数据 ; 如果自然界中的事件完全不可预测地随机发生，人们的生活将无法忍受；与此相反，如果每一件事情都是确定的、完全可以预测的，则生活将是无趣的。利用因果关系解释观测的现象或预测未来存在逻辑和实际上的困难。;; 大数据要上升为国家战略;大数据不仅仅是数据“大”;大数据与传统数据库的区别;;大数据市场分析;国际企业角力大数据 ;大数据的产业价值链;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等;大数据核心技术需求;大数据的分析模型;大数据变革既有数据观：以变革始; 大数据是组织的一种资产;; 大数据处理行为技术特征; 大数据系统的定义; 大数据系统的设计目标; 大数据系统的逻辑架构;大数据库系统界面; 与现有系统的关系;HADOOP;MaHout;主流大数据库; 大数据系统体系建设规划; 搭平台-系统布署规划; 采数据-数据采集模型; 建模型-建立四大模型; 建模型-建模所需基础知识; 建模型-十大精典算法; 建模型-算法的典型应用; 建模型-算法的典型应用; 编代码-开发环境的安装; ???呈现： 图形设计技术; 图呈现： 一图胜千言; 图呈现- 图形开发工具;舆情系统：大数据应用;47;48;关键词配置;时空大数据聚合应用案例;大数据支撑行为分析案例; 实时大数据案例; 大数据异构政府信息系统集成应用案例;跨系统数据异常比对;大数据精典案例;大数据精典案例;大数据精典案例; Cloudera正在与西奈山医学院合作开发新的生物数据分析方法和系统。Cloudera还与FDA合作侦测多种药物组合的副作用，与埃默里大学合作帮助病历学家更准确地分析医疗影像。Cloudera的客户之一——Explorys的业务主要是聚合并分析医疗记录，而英特尔和NextBio则合作使用Hadoop处理基因数据。 Apixio利用Hadoop平台开发了语义分析服务，可以对病人的健康提供医生、护士、及其他相关人士的回答。Apixio试图通过对医疗记录进行先进的技术分析，与一个简单的基于云计算的搜索引擎来帮助医生迅速了解病人相关病史，挽救生命。 ;大数据精典案例;大数据应用行业分析;大数据挑战安全道德底限;大数据与国家安全;云计算和大数据发展趋势;;