2024年数据开发岗位职责20篇.docxVIP

2024年数据开发岗位职责20篇

目录

java大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1.精通java开发、熟悉restful和maven，精通主流javaweb开发框架spring、springboot、springdatajpa、logback、mybatis；

2.熟悉对常用关系型数据库和hdfs、hive，kafka、storm等读写操作，性能优化;

3.具备系统架构设计能力，具备较强的java程序调优能力及数据库设计和sql调优能力，具备良好的沟通能力；

4.熟悉多线程编程、熟悉junit单元测试；

大数据开发高级工程师-etl方向职位描述与岗位职责任职要求

职位描述：

工作职责:

1、根据公司数据分析需求进行基于hadoop平台的项目开发；

2、根据需求进行数据仓库模型设计，熟练使用kettle工具进行etl程序的开发；包括实时数据加工，计算，etl，管理，监控等；

3、负责针对源系统进行数据抽取、处理、分析等相关工作，及项目中涉及到的数据库创建、维护及提供数据接口工作；

4、负责设计并优化基于hive的数据仓库的建设；

5、制定数据库备份和恢复策略及工作流程与规范。

6、能出具消费品品牌制造行业应用的数据分析技术解决方案，并落地。

任职资格:

1．从事数据仓库领域至少2年以上，熟悉数据仓库模型设计与etl开发经验，具备海量数据加工处理相关经验；

2.熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理；

3．有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，重点考察hive、hdfs、hbase;

4.熟练掌握kettlesqoop、datax、airflow等;

5.有消费品品牌制造、零售行业经验，尤其快消品行业和财务领域数据项目经验者优先;

6.熟悉分布式计算presto/imapa优先;

7．有实时计算方面的经验的优先。

高级数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、承担现有数据平台的开发和优化工作

2、根据业务需求进行数据模型的调研、设计、开发及验证工作，并持续进行模型优化

3、负责数据模型架构的构建，建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型

4、负责实时计算平台搭建。

职位要求：

1、3-5年以上的相关工作经验

2、熟悉分布式计算平台

3、有日志采集，数据处理，数据仓库建模，etl等经验

4、熟悉java、python、spark开发

5、熟练掌握linuxshell及sql语言

6、有独立负责数据某一模块的实际项目经验

7、有过用户画像等方面开发经验者优先

8、有实时处理开发经验者优先

数据开发负责人职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、负责集团基础数据平台架构并实施建设开发；

2、负责构建设计良好的信息源数据采集、传输、存储、计算、分析和挖掘技术实施方案；

3、实现优化调度系统、查询引擎、数据工具等降低数据的使用门槛，保证平台稳定高效运行；

3、负责应对处理每天千亿增量的玩家行为数据；

4、负责对接并支持业务系统的数据分析工作，支持对内对外部数据进行梳理、整合及共享；

任职要求：

1、计算机或数学相关专业，3年以上数据从业经验；

2、深入hadoop大数据生态体系，对包括flume、kafka、hbase、hive、spark等有深刻理解，了解过flink、impala、kylin等；

3、精通kafka/redis/rabbitmq等其中至少一种消息队列技术，擅长mysql存储原理及索引优化；

4、有过支撑每日亿级别数据处理经验，在离线数据处理、在线检索方面有丰富的经验，了解集群管理、资源调度等综合实现；

5、熟练使用scala/java/python开发，具有较强的数据敏感性，熟悉web开发技术，有游戏相关数据处理与分析平台开发经验者优先。

大数据开