大数据开发工程师的具体职责（通用17篇）.pdfVIP

大数据开发工程师的具体职责（通用17篇）

大数据开发工程师的具体职责篇1

职责:

1、负责公司大数据平台数据处理工具ETL、流处理平台等建设，

功能规划，平台演进，维护调优等;

2、结合公司业务特征，负责公司数据仓库规划、数据仓库建设、

数仓管理等;

3、负责大数据处理技术研究及新技术引进，参与超大规模实时/

离线数据计算框架，存储、查询、可视化解决方案的设计，研发;

4、负责公司业务数据仓库模型建设及全业务数据域打通;

5、负责BI报表和可视化项目，和客户深度沟通，理解客户的业

务挑战，提供解决方案，制定开发计划并执行，支持各单位日常数据

需求和任务;

任职资格:

1、熟练掌握关系型数据库,例如：Oracle、Mysql、Vertica等;熟

悉NoSql数据库，例如HBase、Redis、MongodDB等;具备丰富的

数据库管理和运维调优经验;

2、熟悉数据仓库领域知识和技能者优先，包括但不局限于：元

数据管理、数据开发测试工具与方法、数据质量、主数据管理，数据

打通等;

3、有从事分布式数据存储与计算平台应用开发经验，熟悉

Hadoop生态相关技术并有相关实践经验着优先，如Hdfs、

Mapreduce、Hive、Hbase、Spark、Storm;

4、精通数据预处理、检验、清洗、分析方法，精通各种常用统

计检验方法;熟练掌握一门或多门编程语言，并有大型项目建设经验者

优先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常运维、搭建常见服务器、定位解决日常

问题的能力，具备ETL开发经验优先;

6、良好的语言沟通与表达能力，有丰富的数据开发经验，较强

的数据、平台、技术理解能力;

7、具备数学类、计算机类等相关专业统招本科及以上学历，具

有3年及以上大数据开发工作经验，有互联网行业背景优先。

大数据开发工程师的具体职责篇2

职责：

1、在hadoop平台进行hive/hbase/spark开发;

2、处理公司大数据平台产品的技术工作，包括存储、处理、分析、

挖掘、架构设计、研发工作;

3、熟悉设计、构建和优化基于hadoop/Hbase的存储平台架构;

4、熟悉整体提升hadoop/Hbase/Storm/Spark集群的高可用性、

高性能、高扩展特性;

5、部门相关工作。

岗位要求：

1、计算机等相关专业大专及以上学历;

2、3年以上软件开发经验，精通Java开发，至少2年以上

Hadoop相关开发经验;

3、熟悉分布式系统、分布式计算系统的工作机制，具有大规模数

据平台，高并发大型系统，大数据等架构设计和开发经验;

4、熟悉sqoop、Hive、hbase、spark等大数据生态组件;

5、精通linuxshell和sql脚本;

6、有javaweb开发经验者优先;

7、良好的团队精神和沟通能力，很强的逻辑思维能力和学习能力。

大数据开发工程师的具体职责篇3

职责

1.负责大数据分析需求设计和开发工作，包括数据存储、预处理、

查询、统计、实时分析、数据优化及配置等功能;

2.对大数据分析系统存在的问题进行跟踪和定位并及时解决;

3.负责上级交办的其他相关工作。

岗位要求：

1.本科以上学历，2年以上工作经验;

2.Java基础扎实，熟练使用JavaIDE进行代码编写和调试，熟悉

JUnit单元测试框架;

3.熟悉Linu