大数据导论（通识课版）-第9章-数据开放.ppt

附录F：《Spark编程基础（Scala版）》 《Spark编程基础（Scala版）》 厦门大学 林子雨，赖永炫，陶继平 ?编著 披荆斩棘，在大数据丛林中开辟学习捷径 填沟削坎，为快速学习Spark技术铺平道路 深入浅出，有效降低Spark技术学习门槛 资源全面，构建全方位一站式在线服务体系 本书以Scala作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Scala语言基础、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、授课视频、上机实验指南等。 人民邮电出版社出版发行，ISBN:978-7-115-48816-9 教材官网：/post/spark/ 附录G：《Spark编程基础（Python版）》 《Spark编程基础（Python版）》 厦门大学 林子雨，郑海山，赖永炫 ?编著 披荆斩棘，在大数据丛林中开辟学习捷径 填沟削坎，为快速学习Spark技术铺平道路 深入浅出，有效降低Spark技术学习门槛 资源全面，构建全方位一站式在线服务体系 本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共8章，内容包括大数据技术概述、Spark的设计与运行原理、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming、Spark MLlib等。本书每个章节都安排了入门级的编程实践操作，以便读者更好地学习和掌握Spark编程方法。本书官网免费提供了全套的在线教学资源，包括讲义PPT、习题、源代码、软件、数据集、上机实验指南等。 人民邮电出版社出版发行，ISBN:978-7-115-52439-3 教材官网： /post/spark-python/ * * 9.5.3 当前数据开放存在的主要问题 数据利用价值低，难回应公民需求 03 首先，各地方平台开放格 式数据集及应用接口数量 少，数据利用价值低。 02 01 其次，数据更新频率慢，难 以回应公民的需求。《报告》 对各地平台开放的数据集所 承诺的更新频率进行了分析， 分为“相对静态数据”和 “相对动态数据”。 再次，数据开放领域不全面， 难以全面满足公民需求。开 放各个领域的数据集有利于 提高数据的广度和覆盖面， 有利于数据利用者充分获取 和融合来自多个领域的数据， 进行深度的挖掘利用。 9.5.3 当前数据开放存在的主要问题 数据利用价值低，难回应公民需求 77% 23% 13% 59% 77% 23% 59% 13% 静态数据 动态数据 不定期更新 静态数据占13% 按年更新的 静态数据 承诺按日更新比例最高的地方为广州、佛山，其次是浙江、青岛、上海等地，多数平台上数据仍然以承诺按年或者不定期更新为主。还有一些地方平台没有更新任何数据集，处于僵尸状态 9.5.3 当前数据开放存在的主要问题 数据利用价值低，难回应公民需求 03 首先，各地方平台开放格 式数据集及应用接口数量 少，数据利用价值低。 02 01 其次，数据更新频率慢，难 以回应公民的需求。《报告》 对各地平台开放的数据集所 承诺的更新频率进行了分析， 分为“相对静态数据”和 “相对动态数据”。 再次，数据开放领域不全面， 难以全面满足公民需求。开 放各个领域的数据集有利于 提高数据的广度和覆盖面， 有利于数据利用者充分获取 和融合来自多个领域的数据， 进行深度的挖掘利用。 9.5.3 当前数据开放存在的主要问题 数据利用价值低，难回应公民需求 现在各地方开放平台开放的领域主要集中在财政税收、交通服务、贸易物流、文体娱乐、医疗健康、教育科技、社会民生、生态农业等14个领域。贸易物流、社会民生、医疗健康领域开放数据集较多，生态农业、财政税收等开放数据集偏少。就全国而言，北京市政府数据开放平台开放领域最广，涉及13个领域，而大部分地方平台开放的数据领域范围小，涉及领域不到8个。 9.5.3 当前数据开放存在的主要问题 平台功能不健全，缺乏人才支撑 01 首先，数据开放平台起步较晚，功能不健全。目前，我国政府数据开放平台的建设仍然处于起步阶段，很多数据开放平台的功能还不够完善。另外，由于缺乏国家层面的统一数据开放平台，导致各地方政府自行建设、各自为政、整合困难。 02 其次，开放平台缺乏技术与人才支撑。我国在数据处理技术、平台建设技术等方面缺少技术积累，能够熟悉数据采