大数据路演培训课程.pptx

大数据---与我们的未来;;我的提纲;鸿蒙之初;大数据背景;互联网画像;百度神灯搜索;你访问了这个世界 这个世界也访问了你;物联网催生大数据;工业4.0;工业 4.0;航天工程;卫星接收数据;移动互联网;无线传感网络WSN;人类行为不断创造大数据;随着信息化向人类社会各个层面渗透和发展，人类社会的各种行为都以数据的形式存储在计算机系统中 人类生活在一个数据驱动的世界 数据如人体的血液，成为各类业务系统运行的支撑和前提 ;你在地球上的全部运动轨迹（通过LBS采集） 你银行全部支付记录（通过在线支付采集） 你的全部交往记录（通过SNS采集）； 你的全部言行记录（通过邮件、文档、Timeline、视频监控等采集）。 ;世界上每分钟都有海量数据产生;2020年： 数据量将达到35ZB;2020年： 国内数据量将达到8.5ZB;数据驱动的世界 －数据的有效、高效应用才是关键！;大数据;大数据的判断标准四个V—海量Volume;速度（Velocity）：高速的数据流转和价值呈现;多样泛在（Variety）;价值（Value）：信息过载世界的价值提炼;迷雾重重;现有企业IT环境的挑战–大数据;存储的未来发展趋势;2020年 60%以上的创造数据将因无法存储而丢失;中国移动大数据的烦恼信令分析与监测系统;中国移动大数据的烦恼信令分析与监测系统;利器;解决大数据问题的思路;Pervasive Computing;互联网催生了“创新”时代;;大数据/云计算/移动互联网——本质上均是互联网计算及其延伸;先解决数据存储的问题;Google集装箱数据中心;Google的低成本之道;Google的三篇论文;先解决计算的问题Google使用GFS进行分布式存储;再解决计算的问题Google使用Map-reduce思想计算PR;再解决实时计算的问题Google使用Bigtable思想进行数据库存储;Google不愿意公开更多的细节;Hadoop的出现;从lucene到nutch，从nutch到hadoop;Doug Cutting;HDFS/Mapreduce登场;名字来源于Doug Cutting儿子的玩具大象;目前Hadoop达到的高度;Hadoop分布式体系;63;Hadoop的思想;Hadoop 1;Hadoop2;Hadoop1?Hadoop2;Hortonworks Solution;Storm构建大数据实时计算;Spark构建大数据实时计算;Spark Stream;实时计算;初放光芒;大数据 PK Oracle;场景一：直系亲属;场景二：宾馆同行人;???景三：网吧同行人;一直未解决好数据挖掘;一直未解决好数据挖掘;一直未解决好数据挖掘;大数据架构;Hadoop，未来的数据艺术家;大数据分析的行动;淘宝数据魔方应用;淘宝流量计算;淘宝用户推荐;日本核泄露的数据分析图;Facebook Friend Map;89;百度后台每天数十亿次LBS(基于地理位置的服务)定位数据进行计算分析，展现春节前后人口大迁徙的轨迹与特征。;智慧交通场景: 车辆异常快速识别;SELECT id FROM Table where id like %JA-sq%; (模糊匹配查询出ID 带 JA-sq 的车牌号);SELECT id,COUNT(*) FROM Table GROUP BY id (对每个车牌号分组归并,并求出现次数);国内外企业用Hadoop做什么?;国内外企业用Hadoop做什么?;亚马逊将MapReduce作为一项服务;大数据产品系统架构图;大数据思维;大数据使得我们重新思考;大数据非常擅长解决关联关系，不能解决因果关系。 大数据全样本，预测、决策比小样本更加准确 大数据对未来趋势会有洞见性认识;数据的资源化：大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。大数据被喻为与蒸汽、电力、石油相媲美的下一代重要自然资源。有人视大数据为企业未来竞争优势的基础，它将改变企业决策、价值创造和价值实现的方式。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。;大数据的本质也是信息化本质;大数据新架构带来的价值;Hadoop技术从互联网蔓延到其他应用领域;大数据直接导致工业4.0产生;大数据能帮企业做什么？;1号店;一号店，电子商务型网站，2008年7月 11日，“1号店”正式上线，开创了中国电子商务行业 “网上超市”的先河。公司独立研发出多套具有国际领先水平的电子商务管理系统并拥有多项专利和软件著作权，并在系统平台、采购、仓储、配送和客户关系管理等方面大力投入，打造自身的核心竞争力，以确保高质量的商品能以低成本、快速度、高效率的流通，让顾客充分享受全新的生活方式和实惠方便的购物。;1，挖掘每个用户 1号店的