大数据与数据挖掘 1 概述课件.ppt

大数据与数据挖掘 数据分析概述 基于Hadoop的大数据处理 MapReduce HDFS Hadoop集群最佳实践 课程安排 基于Hadoop扩展包的大数据处理 Pig HIVE Hbase ZooKeeper Sqoop 上午9:00－12:00 下午2:00－5:00 数据的演变 各行各业都在经历这数据大爆炸的时代！ 纽约证交所每天产生的交易数据达1TB FaceBook网站每周上传约10亿张60TB照片 日内瓦的大型强子对撞机每年产生15PB数据 个人数据的产生量更是前所未有的增长 自己拍摄的照片，录制的视频，电话，邮件等 机器产生的数据比人多 物联网：货物上的RFID标签，车载GPS跟踪定位 智慧星球：遍布各处的摄像头，空气质量检测器 传统数据库面临的挑战 数据量飞速增长、市场竞争加剧和互联网业务的增长对对传统商务智能（BI）的建设模式提出了挑战： 大数据处理的机遇 2014年，大数据市场正处于井喷式发展阶段，未来五年全球大数据市场价值将高达几百亿美元，随着企业对大数据价值的认识和相关产品技术及应用模式的不断成熟，大数据相关产业和服务将获得长足发展。 在2012到2013年，天津、重庆、上海、陕西、广东等省市已经率先投入大数据产业全区的建设工作，在产业布局上形成区域特色、网状覆盖，多省联动的大数据产业网。 以贵州为例：2014年2月，贵州印发《关于加快大数据产业