大数据架构工程师岗位职责（8篇）.docxVIP

大数据架构工程师岗位职责（8篇）

大数据架构工程师岗位职责（通用8篇）

大数据架构工程师岗位职责篇1

职位描述：

1.负责大数据平台的架构设计、环境和框架的搭建以及部分核心编码工作；

2.参与业务需求调研，根据需求及行业特点设计大数据解决方案并跟进具体实施项目；

3.规划公司级数据平台，架构实时流与离线数据计算平台；

4.对业务需求进行分析建模并持续进行优化，包括但不限于推荐、排序、用户画像等。

任职要求：

1.本科及以上学历，5年以上大数据开发经验；

2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及应用；

3.深刻理解大数据处理实时流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法，有架构和设计实践经验；

4.精通scala/java语言的一种或多种；

5.有数据仓库、大数据平台及数据挖掘架构设计经验

大数据架构工程师岗位职责篇2

职位描述：

1、打造业界领先的存储、计算、调度、监控等基础设施；

2、参与存储、计算、devinfra、监控当中的一个或多个方向。

任职要求：

1、掌握分布式系统原理，对存储、计算、调度、监控、消息队列、集群管理中的一项或多项有深入的理解和认识；

2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

3、存储方向：对hdfs，rocksdb，ceph，hbase，kafka的一项或多项有经验者优先；

4、计算方向：对yarn，spark，flink，hive的一项或多项有经验者优先；

5、devinfra方向：对docker，mesos，kubernetes的一项或多项有经验者优先；

6、监控方向：对opentsdb，influ_db，prometheus，falcon的一项或多项有经验者优先。

大数据架构工程师岗位职责篇3

职位描述：

1、参与计算框架和服务的定制和改进，为公司批处理和流式计算能力提供支撑；

2、深入理解业务场景，解决性能瓶颈，实现业务目标；

3、计算、存储和网络方面基础技术的探索和储备。

任职要求：

1、精通各种性能分析和调试工具，高效进行分析；

2、熟练的c/c++/java开发能力，代码质量高；

3、熟悉网络、linu_、hadoop等系统，能够灵活解决新问题；

4、较好的团队协作和沟通能力。

大数据架构工程师岗位职责篇4

工作职责：

1、打造业界领先的存储、计算等分布式系统；

2、为海量数据和大规模业务系统提供可靠的基础设施。

任职要求：

1、掌握分布式系统原理，对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识；

2、乐于挑战没有明显答案的.问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

3、存储方向：对hdfs，rocksdb，leveldb，memcache，redis，mysql，hbase，kafka的一项或多项有经验者优先；

4、计算方向：对spark，mapreduce，storm，hive，presto，impala的一项或多项有经验者优先；

5、集群管理方向：对yarn，mesos的一项或多项有经验者优先；

6、向开源社区贡献过patch者优先，请在简历上说明。

大数据架构工程师岗位职责篇5

岗位职责：

1、参与公司数据开发平台、bi产品等大数据产品的设计和开发；

2、负责数据开发平台、bi产品等大数据产品的部署和维护，保证其稳定和可靠；

3、关注和参与大数据方向开源产品的技术动态与演进，推动产品与技术架构持续更新；

任职要求：

1、计算机相关专业，本科及以上学历，5年以上软件开发经验，3年以上互联网产品或分布式系统开发设计经验；

2、精通java，python，scala等一种或几种编程语言，并熟悉linu_操作系统及bashshell编程；

3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验，并熟悉上述常用的分布式系统架构设计和原理；

4、熟悉微服务框架及相关技术，如dubbo，springcloud等；

5、熟悉mysql、redis，并了解或接触过其他数据库如oracle，sqlserver，postgresql，mongodb等；

6、了解容器技术，如docker，kubernetes；

7、具有一定的软件设计能力，热爱大