大数据发展趋势及解决方案.pptx

大数据发展趋势及解决方案;课程大纲;大数据已经成为世界各国的国家战略;国务院颁布“大数据纲要”，指导产业布局与落地;大数据趋势：跨越裂谷，走向成熟，进入落地与实施阶段;大数据已经在领先企业获得落地，并产生效果;课程大纲;什么是大数据;全球每秒钟发送 2.9 百万封电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5 年… 每天会有 2.88 万个小时的视频上传到Youtube，足够一个人昼夜不息的观看3.3 年… 推特上每天发布 5 千万条消息，假设10 秒钟浏览一条信息，这些消息足够一个人昼夜不息的浏览16 年… 每天亚马逊上将产生 6.3 百万笔订单… 每个月网民在Facebook 上要花费7 千亿分钟，被移动互联网使用者发送和接收的数据高达1.3EB… Google 上每天需要处理24PB 的数据…;海量数据从哪里来－机器;;;揭开Hadoop神秘的面纱;;HDFS原理简介;MapReduce原理简介;Spark原理简介;互联网大数据技术演进：从查询、分析到智能;企业大数据应用演进：数据成为企业的核心资产，推动商业创新;传统企业对数据平台的诉求向互联网靠齐;数据处理技术分布式演进趋势：Hadoop成为开放的事实标准;内存计算兴起，Hadoop生态系统持续壮大;课程大纲;;开源到企业级的蜕变，Hadoop社区贡献全球第四;强大内核开发团体提供企业级的开源支撑能力;;大数据应用挑战;FusionInsight产品定位: 企业级大数据处理、分析挖掘平台;围绕大数据全生命周期构建能力，让数据活起来;;为行业业务负载优化的统一大数据处理平台;电信级可靠性-系统可靠性;电信级可靠性-数据可靠性;;;易安装： 向导式操作，Step by step引导完成安装； 自动环境准备，内置脚本完成操作系统配置 ;;Storm;Porter用来简化大数据的数据集成 除了开源的Sqoop2支持的DB和HDFS外, porter还支持从SFTP, FTP和NAS进行数据导入和导出 除了Sqoop2支持的HDFS外, porter还支持数据注入到HBASE并提供功能丰富的rowkey生产机制 Sql请求和响应可以通过SFTP和FTP提交, 实现和现有系统的无缝集成 轻量汇总的Sql和结果可以通过 SFTP和FTP提交, 并且能够自动调度按天/按月调度。;FusionInsight Miner：基于分布式内存计算的数据分析平台;FusionInsight Farmer：大数据应用使能器;课程大???;大数据应用的行业分类;;;;上海联通：构建统一大数据平台，挖掘存量经营的价值;课程大纲;FusionInsight 解决方案构成;FusionInsight HD V001R002C60软件组成;FusionInsight大数据配置指导－硬件基础要求;FusionInsight大数据配置指导－硬件基础要求;FusionInsight大数据配置指导－软件基础要求;FusionInsight大数据配置指导－产品组网;课程大纲