数据库与数据仓库设计课件.pptx

数据库与数据仓库设计;概况;调查与测试;调查与测试;关于我们;关于我们;数据科学领域首个政府支持的重点实验室。 总体目标是发展成为国际数据科学研究的重要研究场所和数据科学人才培养基地，引领数据科学研究。 ;关于我们;关于我们;关于课程;关于课程;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据; 　　美剧《纸牌屋》（House of Cards）的东家Netflix并不是任何一个电视台，而是电视台和电影院的平台，是北美最大的付费订阅视频网站。基于其3000万北美用户观看视频时留下的行为数据，预测出凯文·史派西、大卫·芬奇和“BBC出品”三种元素结合在一起的电视剧产品将会大火特火。 ;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;认识大数据;大数据术语： October 1997? Michael Cox and David Ellsworth publish “Application-controlled demand paging for out-of-core visualization” in the Proceedings of the IEEE 8th conference on Visualization. They start the article with “Visualization provides an interesting challenge for computer systems: data sets are generally quite large, taxing the capacities of main memory, local disk, and even remote disk. We call this the problem of big data. When data sets do not fit in main memory (in core), or when they do not fit even on local disk, the most common solution is to acquire more resources.” ;2001年Tools that Deal with Big Data: Modeling and Analysis Dwinnell, W. 15（5） Sep/Oct 01 42-44 ;基于大数据的流感预测 利用GOOGLE数据库，通过在网上检索的海量词条，结合疾病知识，运用数字模型判断出流感传播的途径和趋势，为公共卫生决策提供服务。 ; ;认识大数据;认识大数据; 数据 ;认识大数据;认识大数据;大数据产业链;认识大数据;大数据技术;百度一下，你被知道;大数据挖掘 vs 数据查询;大数据能做什么;;数据挖掘技术;;大数据挖掘的挑战;大数据应用;交通大数据源（例）;交通大数据源;交通大数据源;交通大数据存储;交通大数据存储;交通大数据存储;交通大数据存储;最流行的大数据处理??台Hadoop凝练出资源统一管理系统YANR，以支持多种大数据处理模式;交通大数据存储;大数据存储管理技术;大数据存储管理技术;大数据存储管理技术;大数据存储管理技术;大数据存储管理技术;大数据存储管理技术;大数据存储管理技术;大数据存储管理技术;大数据存储管理技术;大数据应用;电商大数据;电商大数据;电商大数据;电商大数据;电商大数据;电商大数据;电商大数据;;电商大数据;电商大数据;电商大数据;电商大数据;电商大数据;电商大数据;电商大数据;电商大数据;社交网络大数据;社交网络大数据 ;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;社交网络大数据;证券大数据;证券大数据;证券大数据;;;IAAS层关键技术 虚拟化关键技术（Xen，KVM） 虚拟化管理关键技术（OpenStack） 分布式文件系统关键技术（HDFS） 负载均衡关键技术(LVS) ;DAAS层关键技术 大数据ETL技术 垂直爬虫技术 关系数据库到云平台的数据迁移技术（SQOOP） 海量数据库技术（Hbase，Hive