SparkSQL研发架构师职位描述与岗位职责.docxVIP

SparkSQL研发架构师职位描述与岗位职责 SparkSQL研发架构师是负责设计、开发和维护SparkSQL系统的专业人员。该岗位需要具备扎实的大数据技术基础，熟悉数据库原理和相关技术，熟练掌握SparkSQL、Spark Streaming等大数据处理框架，具备较强的架构设计能力和团队管理经验。 岗位职责如下： 1. 设计和开发SparkSQL系统，包括数据结构、算法、查询优化、调度等方面，保证其高效稳定的运行。 2. 负责大数据处理平台的设计与开发，包括数据源的接入、数据的存储、分析计算、可视化展示等。 3. 参与项目需求分析、技术选型、架构设计以及代码实现等工作，协助团队成员进行技术指导和沟通协调。 4. 负责研发团队管理工作，包括人员安排、绩效考核、技术培训等，提高团队的技术素质和业务水平。 5. 跟踪大数据处理平台的运行状况，配合运维团队进行系统维护和故障排查，确保系统的可靠性和稳定性。 6. 对新的技术、工具进行评估与尝试，推进技术创新和产品优化，提高系统的性能和扩展性。 7. 对大数据处理平台的数据安全进行管理与维护，确保数据的安全性和合规性，及时发现并解决数据泄露和安全漏洞。 职位要求如下： 1. 本科及以上学历，计算机、软件工程、数学或相关专业，5年以上大数据处理经验。 2. 熟悉大数据处理技术和相关框架，具备SparkSQL、Spark Streaming、H