大数据开发工程师的岗位职责（精选19篇）.pdfVIP

大数据开发工程师的岗位职责（精选19篇）

大数据开发工程师的篇1

职责:

1、负责所分管团队的团队建设和日常管理工作;

2、负责核心技术问题攻关和性能优化，持续维护和引进最新的大

数据技术到城市大数据平台中，支撑城市级大数据平台业务;

3、承担城市数据标准编制和数据模型的设计;

4、承担项目中数据相关方案设计及数据团队管理;

5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算

法的实施工作。

任职资格:

1、1年以上数据开发工作经验，熟练使用SQL查询引擎;

2、熟悉Hadoop、Mpp、Oracle等至少一种数据仓库工具

3、具备良好的编程语言基础如：java/python/scala/c++/shell

等

4、二本以上学历，计算机相关专业或者有相关培训经历者优先

5、个人素质要求：目光长远、态度诚恳、岗位有稳定性，能够

长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等

工作。对数据工作具备浓厚的兴趣并有明确职业规划，优秀的学习能

力和团队沟通协作能力，对新技术有浓厚兴趣并有钻研精神。

大数据开发工程师的岗位职责篇2

职责：

1、负责数据分析、加工、清理，相关处理脚本和程序的开发;

2、负责开发大数据工具，如报表平台、多维度分析工具、ETL平

台、调度平台的研发;

3、负责分布式大数据平台应用开发

(Hadoop/Spark/Hive/HBase等);

4、负责大数据相关平台的维护、优化。

任职要求：

1、本科及以上学历，计算机相关专业，具有5年及以上的大数据

ETL或数据开发经验，熟悉大数据组件的维护以及调优;

2、熟练掌握Java或Python编程语言，熟悉大数据架构体系，熟

悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技术中的一个

或者多个，熟悉Sqoop、DataX等数据导入工具;

3、能熟练使用Hive、HBase、Spark等加工和处理数据，有海量

数据处理经验;

4、有数据仓库开发经验/BI系统开发经验优先;

5、有电商行业数据处理与分析平台开发经验者优先。

大数据开发工程师的岗位职责篇3

职责：

1、从事Hadoop、Spark、Hbase、hive等分布式大数据产品的

设计和开发;

2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;

3、大数据平台各类数据业务抽象及模型化;

4、参与大数据管理平台的开发及维护;

5、负责大数据平台数据及相关的应用开发，调优及维护;

6、为项目相关开发人员提供大数据技术指导及解决大数据平台应

用中遇到的技术难题;

7、良好的团队合作与沟通能力。

任职要求：

1、本科及以上学历，2年以上大数据应用开发经验;

2、具备Java、Python、Scala其中两种语言的开发经验;

3、了解泛Hadoop大数据生态圈，熟悉

HDFS/Hive/Flink/Hbase/Spark/Kafka其中两种以上技术，并有实际

的项目开发经验，有相关源码研究者优先;

4、具备ETL开发与运维能力，有Flume、kettle经验优先;

5、熟悉大数据平台的搭建过程，熟悉数据处理流程，有TB级以

上数据处理经验优先，有实时数据处理经验者优先;

6、熟悉离线和实时数据处理流程，熟练使用Spark，Flink处理

TB级数据优先;

7、熟悉Linux系统环境，有shell