大数据开发工程师的岗位要求一共5个.pdfVIP

大数据开发工程师的岗位要求一共5个

岗位要求1：

1、本科及以上学历，计算机相关专业，3年大数据平台开发、

运维经验。

2、熟悉Hadoop生态圈(包括但不限于HDFS、HBase、Yarn、

Hive、Flink、Spark、Zookeeper等)有集群升级、打patch、扩

容、缩容、故障诊断的经验。

3、熟悉Java、Scala(JVM、多线程、GC、锁等)，具备良好的

编程习惯，有Spark的开发及调优经验。

4、熟悉Linux系统，熟悉其常用命令，熟悉Salt、Ansible等工

具。

5、有Docker/K8S的管理及运维经验、有云Hadoop集群的管

理及运维经验。

6、有极强的责任心、善于沟通、工作积极主动、具备良好的团

队协作能力。

7、对技术有追求，具备较强的学习能力和逻辑思维能力。

额外加分项：

紧跟Hadoop开源社区动态，熟悉

岗位要求2：

1、具备3年以上大数据技术相关工作经验，具有大型大数据架

构和开发经验；

2、熟悉数据治理方法论，对数据建模、数据质量、数据资产、

数据标准、数据安全、数据资产目录、元数据管理等有丰富实战

经验；

3、熟悉大数据产品和技术，熟悉ETL的开发和流程优化，对数

据采集、数据集成、数据开发、数据分析等大数据领域有丰富实

战经验；

4、具有搭建与管理企业级大数据平台的经验，并熟悉大数据产

品生态圈包括但不限于Hive、HBase、Kafaka、Flink、ES、Spark

等，善于容量规划、架构设计和性能优化并有丰富实战经验；

5、具备良好的抗压能力、沟通表达能力和事务协调能力，能够

组织跨团队协作、推动项目落地；

6、有强烈的成就导向，有积极主动帮助产品成功的意愿和热情，

并爱好挑战；

7、对业务敏感，能快速理解业务背景。

岗位要求3：

1、计算机相关专业，本科以上学历；

2、2年以上大数据平台相关开发及架构设计经验；

3、熟悉主流开源ETL工具，如kettel等；

4、熟悉Linux系统下服务的搭建和维护。

5、熟悉关系型数据库和非关系型数据库的配置和使用，包括但

不限于：MySQL、MongoDB、Redis等

6、理解并熟练使用Java类库及框架，如多线程、并发处理、I/O

与网络通讯；

7、熟悉大数据相关框架或组件优先，如Kafka、Hadoop/Spark、

Hive、HBase、redis、flume等，具备源代码级问题解决和集群

优化改造能力者优先；

8、具备数据处理和数据仓库建模的项目实践经验者优先；

9、具有良好的语言表达和文档撰写能力，学习能力强，主动性

强，有团队观念，具备独立解决问题的能力。

岗位要求4：

1.本科及以上学历，计算机相关专业，3年及以上大数据工作经

验；

2.熟悉Hadoop生态架构和组件，理解各常用组件（Hadoop、

Kafka、Hbase、Flink）的底层原理；

3.熟悉HbaseFlink；

4.熟悉Linux，需要掌握shell脚本的开发；

5.熟悉Java、Scala者优先考虑

6.了解常用的大数据作业开发。对作业的提交方式和yarn机制

有较深的认识；

7.熟悉CDH者优先考虑；

8.具备较高的troubleshooting能力，有大规模集群维护经验的

优先；

9.较好的沟通理解能力，性格乐观，态度踏实，积极上进，热

爱工作，有自驱力。

岗位要求5：

1.计算机、统计学或应用数学相关专业，本科以上学历；

2.熟练掌握数据结构和算法，熟悉Java、SCALA语言。同时熟

悉python语言者优先；

3.熟练掌握Hadoop,Hive,Spark,kafka,Hbase,ES等大数据框架

的一种或多种。

4.了