大数据分析技术介绍.pptx

——大数据引领我们走向数据智能化时代;;;大数据时代的背景;全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据…;;20世纪90年代，数据仓库之父的Bill Inmon就经常提及Big Data。;体量Volume;Value 价值;;Variety 多样性;非结构化数据;Velocity 速度;Volume 数据量;大数据不仅仅是“大”;指数型增长的海量数据;大数据 = 海量数据 + 复杂类型的数据;;;;软件是大数据的引擎;大数据生态:软件是引擎; 大数据技术被设计用于在成本可承受的条件下，通过非常快速（velocity）地采集、发现和分析，从大量（volumes）、多类别（variety）的数据中提取价值（value），将是IT 领域新一代的技术与架构。 ;技术领域的挑战;分析技术： 数据处理：自然语言处理技术 统计和分析：A/B test; top N排行榜；地域占比；文本情感分析 数据挖掘：关联规则分析；分类；聚类 模型预测：预测模型；机器学习；建模仿真 大数据技术： 数据采集：ETL工具 数据存取：关系数据库；NoSQL；SQL等 基础架构支持：云存储；分布式文件系统等 计算结果展现：云计算；标签云；关系图等;大数据的相关技术;数据众包;大数据的相关技术;分布式文件系统;分布式文件系统;分布式文件系统;分布式文件系统;分布式文件系统;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;非关系型数据库NoSQL;云计算和云存储;;云计算和云存储;实时流处理;实时流处理;大数据的相关技术;A/B Testing ;MapReduce;MapReduce;R语言;大数据的相关技术;标签云;标签云;标签云;聚类图;空间信息流;热图;热图;;大数据赋予我们洞察未来的能力;挑战;大数据的营销案例;大数据的营销案例;大数据的营销案例;大数据的营销案例;大数据的营销案例