大数据管理与应用 课件 第十六章 大数据管理与应用进展.pptx

第十六章大数据管理与应用进展大数据管理与应用——主编：王刚副主编：刘婧、邵臻

01大数据产业发展动态02大数据管理与应用相关职业03大数据管理与应用挑战04大数据管理与应用发展趋势

目前，大数据以爆炸式的发展速度迅速蔓延至各行各业。随着各国抢抓战略布局，不断加大扶持力度，全球大数据市场规模保持了高速增长态势。据相关研究数据表明，全球大数据市场规模将从2018年的420亿美元增长至2024年的840亿美元，年复合增长率为12.3%。美国：大数据的先行者欧洲：积极拥抱大数据亚洲：大数据的新兴力量1.1国际大数据产业发展状况

大数据产业市场规模不断扩大大数据产业形态基本形成数据资源：中国成为“世界数据中心”产品技术：跟随全球开源趋势，部分企业进入技术制高点应用服务：政府和企业高度重视，政务服务、智能制造等领域取得成效大数据产业呈现区域聚集分布状态初步形成互联网巨头引领的产业竞争格局互联网巨头：百度、阿里巴巴、腾讯、京东等优势：大量用户数据、电子商务、定向广告、多行业应用1.2中国大数据产业发展状况

随着数据时代的到来，企业内部产生了很多与大数据管理与应用相关的职业，越来越多的人更愿意投身于这个行业成为其中的一员。接下来，我们主要介绍最重要的三个职业——数据科学家、数据工程师和数据分析师。2大数据管理与应用相关职业

数据科学家早在2012年便被《哈佛商业评论》称为21世纪最性感的职业，具有十分广阔的发展前景。领英的首席数据科学家丹尼尔图恩克指出数据科学家是能够利用各种信息获取方式、统计学原理和机器的学习能力构建分析模型并对其掌握的数据进行收集、去噪、分析并解读的角色。数据科学家的主要职责包括进行数据收集、数据预处理、数据分析以及数据可视化，其中尤为重要的工作是用统计、机器学习、深度学习等方法建立模型分析数据，能够设计算法，构建模型，找岀模式。2.1数据科学家

数据工程师，与数据库工程师、数据架构师相似，负责数据系统的建设、管理与优化从而保证数据的可接收、可存储、可转换、可访问。数据工程师的主要职责在于通过技术手段保证数据科学家和数据分析师专注于解决数据分析方面的问题。首先是日常管理与维护数据系统，监控和测试系统保证性能优化；其次，构建和维护数据科学项目的数据架构，在现存的数据管道中整合数据集；同时，为数据消费开发API供相关人员使用；最后是非功能性的基础设施问题，如数据的可扩展性、可靠性、韧性、有效性，备份等也由数据工程师来负责。2.2数据工程师

数据分析师与数据科学家有一定的相似之处，他们都要从数据中抽取信息并且解释数据背后的意义，但在解决的任务层面存在较大差别。数据分析师解决的任务一般着眼于利用现有数据发现、解释当前岀现的问题，数据科学家解决的任务更具开放性，他们更专注于利用统计和算法工具来开发新的分析模型。数据分析师的主要职责是根据数据和业务情况，分析得出结论、制定业务策略或者建立模型，回答企业所遇到的运营问题，并通过数据化的交流方式帮助企业决策，核心职责是帮助其他人追踪进展和优化目标。数据分析师的工作内容一般包括数据清洗，执行分析和数据可视化。2.3数据分析师

这三种大数据相关职业都需要跟数据打交道，但是却拥有不同的分工。数据科学家偏重于对现有的数据分析方法提出改良与优化、针对实际的数据分析问题提出合理可行的新的数据分析方法，同时需要基于分析的发现和在更多可能性上的调查来获得方向。数据工程师则偏重于数据的处理和净化，将海量的数据进行整合，主要工作在后端，持续的提升数据管道来保证数据的精确和可获取。数据分析师一般用数据工程师提供的现成的接口来和数据科学家构建出的分析模型来抽取新的数据，然后发现数据中的趋势、分析异常情况，以一种清晰的方式来概括和提出数据分析结果来让非技术的团队更好地理解，以辅助决策。2.4三者区别与联系

大数据在快速发展的同时，也受到一些技术方面的挑战，包括基于数据仓库的计算模式中的两个问题、算法偏见、数据供应链中的问题、数据碎片化以及异构数据缺乏互操作性等，这些因素都为大数据管理与应用进一步的发展带来重要挑战。数据仓库的计算模式问题算法偏见数据供应链中的问题数据碎片化异构数据缺乏互操作性3.1大数据管理与应用技术挑战

目前在企业内部大数据的发展依然存在诸多挑战，包括五大方面的挑战：业务部门没有清晰的大数据需求企业内部数据孤岛严重数据可用性低，数据质量差大数据人才缺乏数据开放与隐私的权衡3.2大数据管理与应用的企业内挑战

近些年来，大数据技术的发展几乎月新日异，一些最新的技术和方法也为大数据技术的发展注入活力，大数据技术在未来将越来越加紧与边缘计算、区块链技术和量子计算等最新技术的结合。开源继续成为大数据技术的主流边缘计算和云计算成为互补技术区块链技术提升大数据应用价值增强分析加速制定决策量子计