1大数据导论-第1章-大数据概述（2020年秋季学期）.ppt

1.5大数据的概念 1.5.1数据量大 1.5.2数据类型繁多 1.5.3处理速度快 1.5.4价值密度低 1.5.1数据量大 根据IDC作出的估测，数据一直都在以每年50%的速度增长，也就是说每两年就增长一倍（大数据摩尔定律） 人类在最近两年产生的数据量相当于之前产生的全部数据量 预计到2020年，全球将总共拥有35ZB的数据量，相较于2010年，数据量将增长近30倍 1.5.2数据类型繁多 大数据是由结构化和非结构化数据组成的 10%的结构化数据，存储在数据库中 90%的非结构化数据，它们与人类信息密切相关 科学研究 –基因组 –LHC 加速器 –地球与空间探测 企业应用 –Email、文档、文件 –应用日志 –交易记录 Web 1.0数据 –文本 –图像 –视频 Web 2.0数据 –查询日志/点击流 –Twitter/ Blog / SNS –Wiki 1.5.3处理速度快 从数据的生成到消耗，时间窗口非常小，可用于生成决策的时间非常少 1秒定律：这一点也是和传统的数据挖掘技术有着本质的不同 1.5.4价值密度低 价值密度低，商业价值高 以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒，但是具有很高的商业价值 继续装ing 1.6大数据的影响 1.6.1大数据对科学研究的影响 1.6.2大数据对社会发展的影响 1.6.3大数据对就业市场的影响 1.6.4大数据对人才培养的影响 1.6.1大数据对科学研究的影响 图灵奖获得者、著名数据库专家Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式 实验 理论 计算 数据 1.6.1大数据对科学研究的影响 伽利略 伽利略在比萨斜塔做两个铁球同时落地实验 科学研究第一种范式：实验 1.6.1大数据对科学研究的影响 科学研究第二种范式：理论 几何理论 牛顿三大定律 1.6.1大数据对科学研究的影响 科学研究第三种范式：计算 1.6.1大数据对科学研究的影响 科学研究第四种范式：数据 大数据时代，以数据为中心 1.6.2大数据对社会发展的影响 大数据决策逐渐成为一种新的决策方式 大数据成为提升国家治理能力的新途径 大数据应用有力促进了信息技术与各行业的深度融合 大数据开发大大推动了新技术和新应用的不断涌现 1.6.3大数据对就业市场的影响 麦肯锡报告，到2018年，在“具有深入分析能力的人才”方面，美国面临着14万到19万的缺口，“可以利用大数据分析来做出有效决策的经理和分析师”缺口则会达到150万 国内有大数据专家估算过，5年内国内的大数据人才缺口会达到130万，以大数据应用较多的互联网金融为例，这一行业每年增速达到4倍，届时，仅互联网金融需要的大数据人才就是现在需求的4倍以上 根据第四届中国贵州人才博览会发布《全国大数据人才需求指数报告》，2016年2月份，贵阳大数据人才月薪已逼近8000元 大数据的兴起使得数据科学家成为热门职业 1.6.4大数据对人才培养的影响 大数据时代到底需要什么样的人才？ 一是计算机技术相关人才，包括平台搭建和应用开发 二是统计学相关人才，包括数学、建模、算法 三是业务人才，就是要有一定的专业领域知识，只有明白目标领域知识的人才能了解数据的意义以及指导数据分析的方向并判断数据分析结果的可信性 1.7大数据的应用 大数据无处不在，包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹 1.7大数据的应用 就企业而言，对大数据的掌握程度可以转化为经济价值的源泉 就政府而言，大数据的发展将会提高政府科学决策水平，改变政府传统“拍脑袋”式决策，变为用数据说话，利用大数据分析社会、经济、人文生活等规律，从而为国家宏观调控、战略决策、产业布局等夯实根基 在医疗领域，大数据也有不俗表现 大数据也悄然地影响着绿茵场上强弱的较量 1.8大数据产业 大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合 产业链环节 包含内容 IT基础设施层 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业，比如，提供数据中心解决方案的IBM、惠普和戴尔等，提供存储解决方案的EMC，提供虚拟化管理软件的微软、思杰、SUN、Redhat等 数据源层 大数据生态圈里的数据提供者，是生物大数据（生物信息学领域的各类研究机构）、交通大数据（交通主管部门）、医疗大数据（各大医院、体检机构）、政务大数据（政府部门）、电商大数据（淘宝、天猫、苏宁云商、京东等电商）、社交网络大数据（微博、微信、人人网等）、搜索引擎大数据（百度、谷歌等）等各种数据的来源 数据管理层 包括数据抽取、转换、存储和管理等服务的各类企业或产品，比如分布式文件系统（如H