浅谈数据科学人才的培养 .pdfVIP

浅谈数据科学人才的培养 浅谈数据科学人才的培养 【摘要】在大数据时代，各行各业对数据科学人才的需求量大幅增长， 而我国尚未建立起成熟有效的数据科学人才培养体系。本文从领域知识、根底理论、计算机 工具和社会实践等四个方面对如何培养数据科学人才进行了探讨，以期为我国高校制定数据 科学人才培养方案提供参考。 【关键词】数据科学人才领域知识 根底理论 计算机工具 社会实践 一、引言 随着大数据时代的到来，无处不在的“数据〞引发了人们空前的关注，各行各业对数据科学 人才的需求量都呈现出大幅增长的趋势。然而，当前不管是国内还是国外，数据科学人才的 数量与实际需求相比都存在很大的缺口。培养大量合格的数据科学人才成为一项急迫的任务。 本文根据数据科学人才应当具有的知识结构，从领域知识、根底理论、计算机工具和社会实 践四个方面对如何培养数据科学人才进行探讨，为国内高校建立数据科学人才培养机制提供 参考。 二、领域知识 数据科学人才的职责是解决特定领域的问题。因此，数据科学人才必须具备一定的业务领 域知识，包括行业信息和业务信息。一方面，这是正确开展数据分析工作的前提和保障；另 一方面，积累足够的领域知识有助于评价和区分有价值的数据分析结果。 三、根底理论 数据科学人才因为是与数据打交道，所以需要具有扎实的数学理论根底。高等数学、线性 代数、概率论、离散数学等课程都是需要学习的理论根底课。除此之外，统计学、数据挖掘 等方面的根底理论对于建立数据科学人才的知识体系非常必要，应当重点加强。 统计学是应用数学的分支，包括描述统计和推断统计。描述统计主要研究如何收集、处理 和描述数据，推断统计那么是研究如何利用样本数据来推断总体特征。统计学是数据分析的 灵魂，可以实现对数据的量化分析、总结、推断和预测，为相关领域问题的决策提供依据和 参考。 数据挖掘是数据科学的必备理论工具。数据科学把原始数据看作是形成知识的源泉，作为 交叉学科的数据挖掘正是综合运用数学、数据库、人工智能、机器学习、可视化和并行计算 等方面的知识从数据海洋中提炼出有价值的信息，为领域决策提供重要支持。 四、计算机工具 在这个数据爆炸的时代，仅依靠人力处理快速增长的数据并不现实，人们必须借助计算机 来进行处理大量的数据。因此，数据科学人才需要熟练掌握相应的计算机工具。 数据科学人才需要掌握的计算机工具之一就是用于存储数据的数据库管理系统，包括传统 的关系数据库和新兴的NoSQL 数据库。对于结构化数据，使用关系数据库和结构化查询语 言对其进行存储和查询的技术已非常成熟。随着数据多样性的程度越来越高，半结构化或非 结构化数据所占的比重越来越大。这类数据更适合使用非关系的NoSQL 数据库进行存储与 查询。目前常用的NoSQL数据库有MongoDB、HBase等。 除了数据库，用于数据处理的编程框架和编程语言也是数据科学人才需要掌握的。当前广 受关注的开源数据处理编程框架包括Hadoop、Spark、Storm 等。Hadoop 是一个能够对大量 数据进行分布式处理的软件框架，其核心是分布式文件系统HDFS 和MapReduce 编程模型， 能够充分利用集群的计算能力和存储能力来处理大规模数据。Spark 与 Hadoop 的工作原理 类似，但由于Spark 是把中间计算结果保存在内存中而非分布式文件系统中，因此比Hadoop 具有更快的运算速度。Storm 是一个分布式的实时计算系统，主要针对流式数据进行处理， 适用于对实时性要求较高的系统。上述三个编程框架都主要使用Java 作为编程语言。此外， Scala、Python、R 等也都是在数据处理中常用的编程语言。 为了将数据分析结果用最易于理解的方式呈现出来，数据可视化工具必不可少。常用的数 据可视化工具包括Excel、R 和Google Chart API 等。另外还有不少值得关注的国产数据可视 化工具，例如大数据魔镜。 五、社会实践 数据通常是来源于人们的生产生活，研究数据科学的目的也是为了更好地效劳于人们的生 产生活。因此，培养数据科学人才必须注重理论联系实际，通过社会实践来提高数据科学人 才分析和解决实际问题的能力。 社会实践一方面是要让学生接触产业界，了解不同行业的背景和需求，特别是要利用在实 际生产生活中产生的大数据进行学习，这样能够更好地理解理论知识。除了在不同的行业进 行实习，参加各类大数据竞赛也是一个接触产业界的很好的方式。现在不少政府部门、学术 组织、企业、高校都