数据中台开发jd岗位职责.docxVIP

第

第PAGE1页共NUMPAGES3页

数据中台开发jd岗位职责

【岗位描述】

1、独立完成项目的系统分析，设计，并主导完成详细设计和编码的任务，确保项目的进度和质量；

2、独立负责元数据、血缘分析、数据质量、数据资产、数据服务、数据安全等数据治理领域产品模块设计、开发实施工作。

【岗位要求】

1、至少3年JAVA设计、开发、实施经验；Java基础扎实，精通io、多线程、集合、锁的原理及应用；有Hadoop/HBase/Flume/Kafka/Flink/Hive/Spark等大数据技术栈相关项目经验；了解Kettle、DataStage、Informatica等ETL工具以及LTS/Oozie任务调度工具

2、具备流式数据处理经验者优先；熟悉主流SpringMVC、SpringBoot框架，深入理解微服务Springcloud框架，对框架有过开发或重构者经验。

3、具备互联网应用架构设计经验，熟悉高并发、高性能分布式系统设计方法，了解安全性需求解决方案；了解微服务运用场景与主流微服务框架、微服务的核心理念。有过ETL类产品规划、设计、标准规范制定者优先。

数据中台开发岗位在不同公司可能会有些许变化，但通常包括以下职责和技能要求：

职责：

数据中台架构开发：设计、开发和维护数据中台架构，确保其能够支持各种数据存储、处理和分发需求。

数据集成：开发数据中台系统，将不同数据源的数据集成到一个集中的平台中，确保数据的一致性和准确性。

数据处理和清洗：开发数据处理流程，包括数据清洗、转换和聚合，以确保数据质量。

数据安全：确保数据中台系统的数据安全，包括数据加密、访问控制和数据备份。

数据查询和分析：开发查询和分析工具，以支持业务部门的数据需求，帮助他们更好地理解数据并做出决策。

性能优化：优化数据中台系统的性能，确保数据的快速访问和处理。

故障排除：跟踪和解决数据中台系统的故障，确保系统的稳定性和可用性。

文档编写：编写文档，包括系统架构、开发指南和用户手册，以协助其他团队成员了解和使用数据中台系统。

技能要求：

数据工程知识：熟悉数据工程原理和最佳实践，包括ETL（抽取、转换、加载）流程。

数据存储技术：熟悉各种数据存储技术，包括关系型数据库、NoSQL数据库、数据仓库等。

编程技能：精通编程语言如Python、Java或Scala，以编写数据处理和集成的代码。

数据处理工具：熟练使用数据处理工具和框架，如ApacheHadoop、Spark、Flink等。

数据安全：了解数据安全原则和技术，包括加密、身份验证和访问控制。

性能优化：能够识别和解决性能问题，优化数据查询和处理。

沟通技能：良好的沟通技能，能够与不同部门的同事合作，理解他们的数据需求。

问题解决能力：具备解决复杂数据工程和数据集成问题的能力。

团队合作：能够有效地在团队中工作，与数据分析师、数据科学家和其他数据团队成员合作，共同实现数据中台的目标。

这些是通常与数据中台开发岗位相关的职责和技能要求，具体要求可能因公司和行业而异。根据特定岗位的需求，可能还需要其他特定的技能和知识。