大数据开发工程师的具体职责.docxVIP

精品文档 精品文档 螁 莆蒇PAGE PAGE3 精品文档 PAGE 大数据开发工程师的具体职责 大数据开发工程师的具体职责 1 职责: 1、负责公司大数据平台数据处理工具ETL、流处理平台等建设，功能规划，平台演进，维护调优等; 2、结合公司业务特征，负责公司数据仓库规划、数据仓库建设、数仓管理 等; 3、负责大数据处理技术研究及新技术引进，参与超大规模实时/离线数据计算框架，存储、查询、可视化解决方案的设计，研发; 4、负责公司业务数据仓库模型建设及全业务数据域打通 ; 5、负责BI报表和可视化项目，和客户深度沟通，理解客户的业务挑战， 提供解决方案，制定开发计划并执行，支持各单位日常数据需求和任务;任职资格: 1、熟练掌握关系型数据库,例如：Oracle、Mysql、Vertica等;熟悉NoSql数据库，例如HBase、Redis、MongodDB等;具备丰富的数据库管理和运维调优经验; 2、熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、 数据开发测试工具与方法、数据质量、主数据管理，数据打通等 ; 3、有从事分布式数据存储与计算平台应用开发经验，熟悉 Hadoop生态相 关技术并有相关实践经验着优先，如 Hdfs、Mapreduce、Hive、Hbase、Spark、 Storm; 4、精通数据预处理、检验、清洗、分析方法，精通各种常用统计检验方法;熟练掌