海航--技术--大数据时代集团的信息化发展之路_CN_V7.19.pptxVIP

大数据时代集团的信息化发展之路2013.7前中情局职员爱德华·斯诺登因披露美国政府的“棱镜计划”而遭美国政府通缉，目前正在全球范围内寻求政治庇护 。斯诺登事件美国情报机构通过对九家美国互联网公司的数据进行挖掘，从音频、视频、邮件等信息中分析个人的联系方式与行动。棱镜计划2013年6月17日，我国的天河二号在2013国际超级计算大会上被评为世界上最快的超级计算机，目前应用于航空航天、气象预测等领域。天河二号未来的信息技术发展，是以数据为基础的。数据的管理与分析，将是未来IT的一个重要课题。即将到来的，是一个大数据的时代。Signal processingPattern recognitionSupervised learningSentiment analysisDATALOCALTime series analysisM2MSOCIALSMART PHONENeural networksdata miningBIG Machine learningPADO2OVisualizationSOLOMONetwork analysisHTML 5StatisticsMOBILEFACEBOOKCLOUD4GMETROAssociation rule learningData fusion and data integrationA/B testingNeural networks序言123大数据概述海航的大数据之路大数据应用案例目录 1大数据的定义大数据概念的兴起，源于麦肯锡全球研究院于2011 年5 月发表的一篇专题报告，而纽约时报等媒体的持续报道推动了这一热潮。麦肯锡纽约时报2《大数据时代》等大数据方面的专著层出不穷，大数据最终成为了一个热门话题。大数据的定义3大数据的定义大数据定义：简单来说就是对海量数据进行相关性计算，从而预测某一种可能性的技术体系。4大数据的特点大数据不止是数据量大，其特点可概况为3个V：数据量大BIGDATAVolume：数据量大Variety：类型繁多Velocity：更新速度快更新速度快类型繁多6基于3V特点，大数据拥有远高于BI技术的数据处理及分析能力。传统BI数据大数据数据容量GB/TB级PB/EB级数据（千倍于传统数据）数据类型结构化数据（文本、数字等）非结构化数据（图片，声音，视频，位置信息等）更新速度 每分钟几十次更新每分钟上万次更新（Facebook每天新增500TB数据）大数据的特点7大数据的特点-容量大数据所指的数据容量，一般来讲约为几PB，未来5年可能会发展至几EB的体量。1PB的概念单位大小：40GB单位大小：1.4MB单位大小：20TB喷气发动机：50小时《红楼梦》：7.7亿本蓝光电影：26000小时8大数据时代，我们需要管理与分析的数据类型更加多样。呼叫中心通话视频监控位置信息网络评论交通状况生产运行大数据的特点-多样性9大数据时代，数据产生和更新的频率将会超过现有的认知。天猫商城光棍节活动数据?访问量：1千万成交额：1327万(人民币)订单数：73000笔1 Minute大数据的特点-速度10大数据代表了互联网的信息层，是互联网智慧和意识产生的基础。大数据与其他技术的关系11为更好的解读大数据热潮，日本野村研究所提出了“广义大数据”的概念。广义大数据狭义大数据广义大数据12大数据概念兴起之前，PB级别的数据其实已经存在。宇宙研究基因组分析大数据的兴起13大数据的兴起，主要有以下3条原因：大数据的兴起14大数据已经不仅产生于特定的领域中，而且还产生于我们每天的日常生活中。市政监控互联网生产监控用户记录大数据的扩散15计算机技术的发展带来了硬件成本的降低、软件技术的提升,为大数据的发展提供了技术基础。计算机技术的发展16云计算的商用化普及，使得一些中小型企业也可以进行大数据的处理与分析。云计算的普及17大数据通过对海量数据的预测分析、优化，得出对于商务决策有价值的准确预测。将来会发生什么现在正在发生什么高大数据的应用为什么会发生预测分析、优化监控过去发生了什么对业务的影响程度多维度分析报告BI低1980s1990s2000s2010s大数据的价值18根据麦肯锡研究，大数据会对运输、零售、财务等行业产生积极的贡献。大数据的价值19大数据的价值大数据对于企业的价值，主要表现在以下5个方面： 20创建透明度大数据的价值21通过试验提高业绩零售电商销售大数据的价值22根据客户需求细分人群大数据的价值23通过自动化算法替换或支持人为决策大数据的价值24创新商业模式、产品和服务大数据的价值25目录123大数据应用案例海航的大数据之路大数据概述 26最近“棱镜计划”的曝光让人们发现了美国政府针对网络数据所进行的大数据分析。其实大数据在日常生活中的应用也有很多。大数据应用案例27Big Data