大数据架构师岗位的主要职责概述.docxVIP

  • 1
  • 0
  • 约3.61千字
  • 约 7页
  • 2023-08-02 发布于河北
  • 举报
Word文档下载后(可任意编辑) 第 第 PAGE 1 页 共 NUMPAGES 1 页 大数据架构师岗位的主要职责概述 大数据架构师岗位的主要职责概述 第一篇 职责: 1、大数据平台架构规划与设计; 2、负责大数据平台技术框架的选型与技术难点攻关; 3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,依据系统的业务需求,能够指导开发团队完成实施工作; 4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证; 5、培育和建立大数据团队,对团队进行技术指导。 任职要求: 1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验); 2、精通Java,J2EE 相关技术,精通常见开源框架的架构,精通关系数据库系统(Oracle MySQL等)和noSQL数据存储系统的原理和架构; 3、精通SQL和Mapreduce、Spark处理方法; 4、精通大数据系统架构,熟识业界数据仓库建模方法及新的建模方法的进展,有DW,BI架构体系的专项建设经验; 5、对大数据体系有深入认识,熟识Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型; 6、很强的学习、分析和解决问题能力,可以快速把握业务规律并转化为技术方案,能独立撰写项目解决方案、项目技术文档; 7、具有较强的内外沟通能力,良好的团队意识和协作精神; 8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑; 9、 具有能源电力行业工作经验者优先。 大数据架构师岗位的主要职责概述 第二篇 职责: 负责产品级业务系统架构(如业务数据对象识别,数据实体、数据属性分析,数据标准、端到端数据流等)的设计与优化。协助推动跨领域重大数据问题的分析、定位、解决方案设计,从架构设计上保障系统高性能、高可用性、高安全性、高时效性、分布式扩展性,并对系统质量负责。 负责云数据平台的架构设计和数据处理体系的优化,推动云数据平台建设和持续升级,并制定云数据平台调用约束和规范。 结合行业应用的需求负责数据流各环节上的方案选型,主导云数据平台建设,参与核心代码编写、审查;数据的统计规律回来算法、实时交互分析;数据可视化方案等等的选型、部署、集成融合等等。 对云数据平台的关注业内技术动态,持续推动平台技术架构升级,以满足公司不同阶段的数据需求。 任职要求: 熟识云计算基础平台,包括 Linux(Ubuntu/CentOS)和 KVM、OpenStack/K8S 等基础环境,熟识掌握、计算、存储和网络; 把握大型分布式系统的技术栈,如:CDN、负载均衡、服务化/异步化、分布式缓存、NoSQL、数据库垂直及水平扩容;熟识大数据应用端到端的相关高性能产品。 精通 Java,Python,Shell 编程语言,精通 SQL、NoSQL 等数据库增删改查的操作优化; PB 级别实战数据平台和生产环境的实施、开发和管理经验; 熟识 Docker 等容器的编排封装,熟识微服务的开发和日常调度; 计算机、软件、电子信息及通信等相关专业本科以上学历,5 年以上软件工程开发经验,2 年以上大数据架构师工作经验。 大数据架构师岗位的主要职责概述 第三篇 职责: 1、负责大数据平台及BI系统框架设计、规划、技术选型,架构设计并完成系统基础服务的开发; 2、负责海量埋点规则、SDK标准化、埋点数据采集、处理及存储,业务数据分布存储、流式/实时计算等应用层架构搭建及核心代码实现; 3、开发大数据平台的核心代码,项目灵敏开发流程管理,完成系统调试、集成与实施,对每个项目周期技术难题的解决,保证大数据产品的上线运行; 4、负责大数据平台的架构优化,代码评审,并依据业务需求持续优化数据架构,保证产品的可靠性、稳定性; 5、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现,共享技术经验; 6、有效制定各种突发性研发技术故障的应对预案,有清楚的隐患意识; 7、深入讨论大数据相关技术和产品,跟进业界先进技术; 【任职要求】 1、统计学、应用数学或计算机相关专业大学本科以上学历; 2、

文档评论(0)

1亿VIP精品文档

相关文档