数据中台开发jd岗位职责.docxVIP

  • 3
  • 0
  • 约1.34千字
  • 约 3页
  • 2024-04-05 发布于黑龙江
  • 举报

第PAGE1页共NUMPAGES3页

数据中台开发jd岗位职责

【岗位描述】

1、独立完成项目的系统分析,设计,并主导完成详细设计和编码的任务,确保项目的进度和质量;

2、独立负责元数据、血缘分析、数据质量、数据资产、数据服务、数据安全等数据治理领域产品模块设计、开发实施工作。

【岗位要求】

1、至少3年JAVA设计、开发、实施经验;Java基础扎实,精通io、多线程、集合、锁的原理及应用;有Hadoop/HBase/Flume/Kafka/Flink/Hive/Spark等大数据技术栈相关项目经验;了解Kettle、DataStage、Informatica等ETL工具以及LTS/Oozie任务调度工具

2、具备流式数据处理经验者优先;熟悉主流SpringMVC、SpringBoot框架,深入理解微服务Springcloud框架,对框架有过开发或重构者经验。

3、具备互联网应用架构设计经验,熟悉高并发、高性能分布式系统设计方法,了解安全性需求解决方案;了解微服务运用场景与主流微服务框架、微服务的核心理念。有过ETL类产品规划、设计、标准规范制定者优先。

数据中台开发岗位在不同公司可能会有些许变化,但通常包括以下职责和技能要求:

职责:

数据中台架构开发:设计、开发和维护数据中台架构,确保其能够支持各种数据存储、处理和分发需求。

数据集成:开发数据中台系统,将不同数据源的数据集成到一个集中的平台中,确保数据的一致性和准确性。

数据处理和清洗:开发数据处理流程,包括数据清洗、转换和聚合,以确保数据质量。

数据安全:确保数据中台系统的数据安全,包括数据加密、访问控制和数据备份。

数据查询和分析:开发查询和分析工具,以支持业务部门的数据需求,帮助他们更好地理解数据并做出决策。

性能优化:优化数据中台系统的性能,确保数据的快速访问和处理。

故障排除:跟踪和解决数据中台系统的故障,确保系统的稳定性和可用性。

文档编写:编写文档,包括系统架构、开发指南和用户手册,以协助其他团队成员了解和使用数据中台系统。

技能要求:

数据工程知识:熟悉数据工程原理和最佳实践,包括ETL(抽取、转换、加载)流程。

数据存储技术:熟悉各种数据存储技术,包括关系型数据库、NoSQL数据库、数据仓库等。

编程技能:精通编程语言如Python、Java或Scala,以编写数据处理和集成的代码。

数据处理工具:熟练使用数据处理工具和框架,如ApacheHadoop、Spark、Flink等。

数据安全:了解数据安全原则和技术,包括加密、身份验证和访问控制。

性能优化:能够识别和解决性能问题,优化数据查询和处理。

沟通技能:良好的沟通技能,能够与不同部门的同事合作,理解他们的数据需求。

问题解决能力:具备解决复杂数据工程和数据集成问题的能力。

团队合作:能够有效地在团队中工作,与数据分析师、数据科学家和其他数据团队成员合作,共同实现数据中台的目标。

这些是通常与数据中台开发岗位相关的职责和技能要求,具体要求可能因公司和行业而异。根据特定岗位的需求,可能还需要其他特定的技能和知识。

文档评论(0)

1亿VIP精品文档

相关文档