大数据架构师岗位的主要职责概述.pdf

大数据架构师岗位的主要职责概述

大数据架构师岗位的主要职责概述

大数据架构师岗位的主要职责概述1

职责：

1、负责大数据平台及BI系统框架设计、规划、技术选型，架构

设计并完成系统基础服务的开发;

2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储，

业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现;

3、开发大数据平台的核心代码，项目敏捷开发流程管理，完成系

统调试、集成与实施，对每个项目周期技术难题的解决，保证大数据

产品的上线运行;

4、负责大数据平台的架构优化，代码评审，并根据业务需求持续

优化数据架构，保证产品的可靠性、稳定性;

5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈

现，分享技术经验;

6、有效制定各种突发性研发技术故障的应对预案，有清晰的隐患

意识;

7、深入研究大数据相关技术和产品，跟进业界先进技术;

【任职要求】

1、统计学、应用数学或计算机相关专业大学本科以上学历;

2、熟悉互联网移动端埋点方法(点击和浏览等行为埋点)，无埋点

方案等，有埋点SDK独立开发经验者优选;

3、熟悉

Hadoop,MR/MapReduce,Hdfs,Hbase,Redis,Storm,Python,zookee

per,kafka,flinkHadoop,hive,mahout,flume,ElasticSearch,KafkaPyt

hon等，具备实际项目设计及开发经验;

4、熟悉数据采集、数据清洗、分析和建模工作相关技术细节及流

程

5、熟悉Liunx/Unix操作系统，能熟练使用shell/perl等脚本语

言，熟练掌握java/python/go/C++中一种或多种编程语言

6、具备一定的算法能力，了解机器学习/深度学习算法工具使用，

有主流大数据计算组件开发和使用经验者优先

7、熟悉大数据可视化工具Tableau/echarts

8、具有较强的执行力，高度的责任感、很强的学习、沟通能力，

能够在高压下高效工作;

大数据架构师岗位的主要职责概述2

职责：

根据大数据业务需求，设计大数据方案及架构，实现相关功能;

搭建和维护大数据集群，保证集群规模持续、稳定、高效平稳运

行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作，能够完成和指导负责业务数据建模。

职位要求：

计算机、自动化或相关专业(如统计学、数学)本科以上学历，3年

以上大数据处理相关工作经验;

精通大数据主流框架(如Hadoop、hive、Spark等);

熟悉MySQL、NoSQL(MongoDB、Redis)等主流数据库，以及

rabbitMQ等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先.

大数据架构师岗位的主要职责概述3

职责：

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的.选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系

统架构设计和调优等工作，根据系统的业务需求，能够指导开发团队

完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化，不断提升系

统的稳定性和效率，为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队，对团队进行技术指导。

任职要求：

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位，8

年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构

经验);

2、精通Java，J2EE相关技术，精通常见开源框架