大数据架构师的岗位职责.pdfVIP

大数据架构师的岗位职责

大数据架构师负责大数据基础平台、海量数据存储处理分布式平

台、数据分析系统架构设计和研发。下面是店铺为您精心整理的大数

据架构师的岗位职责。

大数据架构师的岗位职责1

职责：

1、负责公司大数据产品的架构设计，包含数据收集、数据存储、

数据应用，并完成相关架构设计文档的撰写;

2、参与规划从数据源到数据应用的整体流程，并参与相关产品的

决策;

3、负责解决核心技术问题，对技术方案进行决策;

4、负责大数据研发团队建设、人才梯队培养和技术团队管理;

5、积极了解业界发展，研究与跟踪大数据新技术发展方向。

任职要求：

1、精通GoldenGateForBigData相关理论，具备大型数据利用

的生产实战经验;

2、精通数据驱动的理论，设计并生产上线相关数据驱动的产品;

3、精通常用消息中间件的使用，例如kafka/RocketMQ/Apache

Pulsar，有解读相关源码者优先;

4、掌握hadoop、spark生态体系相关产品的使用，掌握

MapReduce编程或Spark编程;

5、了解传统数据仓库理论及相关ETL工具，例如

kettle/datastage;

6、熟悉Oracle、Mongodb、Mysql数据库的使用;

7、扎实的Java语言基础，熟悉Java开发工具和调试工具的使用;

8、良好的团队协作精神，有能力对团队在软件设计、实现和测试

方面进行指导;

9、良好的逻辑分析能力和沟通能力，执行力强、对待工作认真严

谨、责任心强、具备出色的学习能力和团队合作精神，有一定的推动

能力;

10、计算机科学、信息技术或相关领域本科以上学历，具有5年

以上数据平台项目开发经验，3年以上的架构设计经验，具有大数据平

台应用大型项目架构设计经验优先;

大数据架构师的岗位职责2

职责：

1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统

架构;

2、研究大数据领域前沿数据挖掘技术，并引入相应技术在数据中

心的使用;

3、进行大数据系统框架设计、模型算法开发;

4、负责大型数据挖掘项目方案制定、项目实施落地及优化等;

5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略

等领域数据挖掘工作;

任职资格：

1、本科以上学历(持有学士学位)(985，211优先)，计算机相关专

业，五年工作经验;

2、二年以上数据挖掘项目经验，完整参与过数据挖掘大数据平台

的架构开发过程，具备互联网行业背景优先;

3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验，

熟练掌握Hive/SQL，Python，熟悉Python、R相关数值科学计算库

(NumPy,SciPy等);

4、了解传统的BI/DW理论，能结合传统BI***实践设计大数据平

台;

5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及

其原理，具备应用场景经验，如用户画像、商品关联度分析、舆情分

析;

6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关

的体系和方法;

7、具备较强的逻辑思维能力、数据敏感度，擅于利用数据发现问

题及解决问题;

大数据架构师的岗位职责3

职责：

1、负责大数据开发团队建设;

2、负责行业大数据产品架构设计与研发;

3、负责带领团队进行行业大数据产品关键技术攻关。

任职要求：

1、有三年以上大数据应用、开发经验;具备海量数据加工处理

(ETL)相关经验，对数据挖掘及机器学习有较为深刻的理解;

2、熟悉Hadoop