大数据技术与应用专业培养方案.doc

大数据技术与应用专业培养方案 专业名称及代码 专业名称：大数据技术与应用 专业代码：610201 教育类型及学历层次 教育类型：高等职业教育 学历层次：大专 招生对象及学制 招生对象：普通高中毕业生或同等学历者 学制：三年 就业范围及主要岗位 就业范围： 在各类企事业单位、政府机关以及IT行业从事大数据系统搭建、测试、管理、运维和大数据分析等相关工作。 主要岗位： 大数据架构工程师 大数据开发工程师 大数据分析工程师 售前工程师 销售支持工程师 运维工程师 售后技术工程师 培养目标及规格 人才培养目标 本专业以服务吕梁、山西省及周边省市经济社会发展为宗旨，面向大数据行业，培养德智体美全面发展和身心健康，践行社会主义核心价值观，具备良好职业道德和诚信品质，掌握计算机技术、Java开发、Mysql数据库、Linux操作系统、数量统计等基础知识、会部署和使用Hadoop及Spark身体系统的常用组件，会使用网络信息采集和页面数据抓取工具，会使用SPSS等数据分析软件，具备对大数据下信息采集、预处理、储存、处理、分析、可视化等技术。本专业毕业生能胜任政府、企事业单位、社会组织等部门的大数据系统测试、管理运维、大数据分析、数据可视化等技术工作。 （二人才培养规格 工作岗位描述（见表1） 能力结构与要求（见表2） 职业能力证书（见表3） 表 1 大数据技术与应用专业面向的工作岗位 岗位类型 工作岗位 类型工作任务 职业技能要求 大数据平台规则 大数据架构工程师 1、大数据核心产品设计规划，包括系统架构、技术选型、关键技术研发； 2、大数据新计算框架的选型，技术难题攻关，系统重构优化，根据业务规划及技术制定设计方案 3、大数据监控、运维系统等的构架设计，详细设计，核心功能代码编写，如Hadoop、Maperduce、Stirm等数据存储架构平台、计算框架、数据展示系统设计与搭建 1、具有严密的数学思维、突出的分析归纳能力和数据分析能力； 2、精通 Linux 操作系统，至少熟练使用 Python、 Scala、 C++等语言中的一种编程； 3、熟悉 Hadoop、 Hbase、 Spark 工作原理，熟悉分布式计算实施过程中的问题； 4、精通常见的数据存储相关技术，包括 Hdfs、 HBase、 Hive、 MySQL、Redis、 Mongodb 等； 5、负责大数据平台的性能参数调整和优化； 6、根据业务需求，编制各类分析图表、撰写项目分析文档和报告。 大数据部署 大数据平台开发工程师 1、基于 MySQL、 Redis、 Kafka、 Hadoop、 Hive 搭建开发 大数据分析平台的后台服务，支持数据接入、统计、分析 业务； 2、构建基于 Spark/Storm 的实时数据处理平台，支撑上层业务使用，如：数据监控、日报展现、统计分析、业务方调用等； 3、构建基于 Hive 的即席查询数据统计分析平台； 4、负责数据平台的设计、开发、维护与优化。 1、熟悉 Linux 的 Shell 命令，灵活运用 Shell 做文本处理和系统操作； 2、熟悉分布式计算各种范式，分布式算法实现，有较好的分布式架构设计能力； 3、能够使用 SQL 操作复杂的数据模型并有 SQL 优化的经验； 4、熟练掌握 Golang、 Scala 语言，至少精通 Python、 Perl、 Bash shell 脚本语言中的一种，并具有海量数据 ETL 加工处理经验，从事分布式数据存储与计算平台应用开发； 5、熟练搭建 Hadoop 集群环境，熟悉 Hdfs 文件系统，熟练编写MapReduce 程序； 6、熟悉 Hadoop、 Hbase、 Hive 的原理，并能够管理、配置、运维。 大数据运维工程师 1、参与项目技术平台安装部署、日常运行维护与故障处理、大数据组件补丁升级管理； 2、平台的自动化部署、运维、监控、告警处理，收集 Hadoop 的各项 metrics 指标，确保集群的正常运行； 3、针对 Hadoop 生态系统的批量部署场景进行运维调优； 4、负责任务调度平台配置及运维管理。 1、具有较强的数据仓库模型设计和 ETL 设计能力； 2、熟悉 Hadoop 平台的运维、调优，保障线上集群的稳定可靠； 3、熟练编写 Linux 下的 Shell 脚本，能开发相关安全管理工具； 4、能够利用开源软件搭建云服务，并进行相关测试。 大数据分析处理 大数据分析工程师 1、实现数据挖掘算法，并结合核心算法做程序开发； 2、 使用数据挖掘、统计分析工具，提供数据决策分析 1、基于 Hadoop、 Spark 的大数据分析和处理； 2、熟悉 Python、 Scala、 Java 中的一门以上开发语言，熟悉 MySQL、Oralce 数据库，对主流分布式存储和运算