大数据开发工程师的主要职责（精选15篇）.pdf

大数据开发工程师的主要职责（精选15篇）

大数据开发工程师的主要职责篇1

职责:

1.负责机票酒店大数据项目的评估、设计及关键模块研发;

2.参与公司大数据平台及联机分析系统的建设;

3.机器学习算法讨论、评估及算法的最终编码实现;

4.数据平台开发规范制定，数据建模及核心框架研发;

任职要求:

1.本科及以上学历，计算机或数学相关专业，三年以上相关工作

经验;

2.掌握Java、Python、Scala等中的一到两种语言;

3.熟悉Mongodb、Hive、Hbase、Redis等NoSQL数据库开发

和调优;

4.熟悉数据相关开源框架和工具，如ZooKeeper、Spark、Flink、

Impala、Kylin等;

5.对数据结构和机器学习算法有一定的了解;

6.具有海量数据处理、数据挖掘、数据分析相关项目的工作经验

者优先;

7.有机票酒店等旅游行业数据开发经验者优先。

大数据开发工程师的主要职责篇2

职责：

1、负责公司项目应用监测数据，分析软件大数据平台的代码开发;

2、负责大数据体系架构设计和应用产品的研究;

3、负责大数据平台及应用场景的构建、部署、测试;

4、编写软件研发相关技术文档;

5、编写产品研发相关任务单计划，阶段性代码、技术方案和软件

产品及时提交至配置管理理库;

6、Spark程序的研发，sqoop脚本开发和商家用户行为等离线分

析数据;

7、kudu，kylin等技术调研，编写软件研发相关技术文档;

8、SUNMI数仓设计架构以及ETL流程开发;

9、建立多维度，多体系的用户标签体系以及用户行为数据库。

岗位要求：

1、本科以上学历，4年以上?工作经验，2年以上Hadoop平台

的相关研发经验，具有良好的需求分析，方案设计，架构设计，程序

编写、测试能力;

2、熟悉J2EE或Python平台开发，有良好的Java或Python语

言功底;

3、了解Linux/Unix操作系统，了解脚本编程(Shell/Python其中

一种);

4、具备数据中心资源管理(YARN)、监控(ClouderaManage)、

调度(Azkaban)等系统研发经验者优先，具备分布式系统研发经验者优

先;

5、熟悉hadoop以及其?生态圈系统上的hive、hbase、sqoop、

spark、spark-streaming等技

术，懂hadoop源码者优先;

6、熟悉Kylin有OLAP平台设计和开发经验优先;

7、具有应用大数据技术处理TB级以上数据的项目开发经验者优

先;

8、有较清晰的代码编写规范，逻辑性强，工作态度认真，良好沟

通能力和团队合作精神。

大数据开发工程师的主要职责篇3

职责：

1.负责公司环保大数据平台的架构与搭建;

2.负责需求分析，根据客户应用需求规划大数据平台架构;

3.负责将大数据平台部署至私有服务器群、私有云或公有云;

4.负责在企业内部进行数据平台原型开发与数据实时交互、存储

性能测试;

5.负责与数据挖掘算法交互的架构设计与开发。

任职要求：

1.计算机相关专业，全日制本科以上学历;

2.具有3年以上大数据相关应用开发经验，有Java开发经验更佳;

3.至少熟悉一种流行的大数据编程框架，如Spark，Storm