简历模板大数据开发工程师-3年.docxVIP

大数据开发工程师个人简历 ———————————————————————————————————— 个人概况 姓 名：XXX 籍 贯： 河南 性 别：男 工作年限： 4年 年 龄：28 学 历： 本科 联系方式：XXXXXXXX E -- mail: XXXXXX@163.com —————————————————————————————————————————— 求职意向 目标职能：大数据开发工程师 工作性质：全职 目标地点：北京 到岗时间：即时 —————————————————————————————————————————— 工作经验 工作单位：XXXXXXXX集团股份有限公司 工作日期：2016.8 – 2019.2 工作职位：大数据开发工程师 工作日期：2015.3 – 2016.8 工作职位：Java开发工程师 —————————————————————————————————————————— 专业技能 1、熟练使用SparkCore RDD算子处理数据，熟悉Spark任务提交流程。 2、熟练使用SparkSql查询数据，自定义UDF，熟练使用Spark Streaming处理实时数据，熟悉DataSet、DataFream、Rdd三者之间的转化。 3、熟练使用Mapreduce处理复杂业务，熟悉HDFS的读写流程，熟悉Mapreduce的shuffle过程及优化，熟悉shuffle过程的优化手段和Hadoop集群搭建。 4、熟悉Zookeeper的选举机制和监听机制。 5、熟悉Hive架构，使用窗口函数和自定义UDF处理数据，熟悉Hive优化策略。 6、熟练使用Flume工具完成日志的采集过滤和分类，使用Ganglia监控工具。 7、熟练使用Kafka高低阶API消费数据，熟悉KafkaOffsetManager监控工具。 8、熟练使用Elasticsearch创建索引，利用API批量保存数据，使用Kibina查询es索引。 9、熟悉Mysql，Mongodb，Redis数据库的使用。 10、熟练使用Sqoop把Hive表数据从HDFS导入到Mysql数据库。 11、熟练掌握常用的Linux命令，使用Shell命令编写Shell脚本，Azkaban完成定时调度。 12、熟练用IDEA, Eclipse, Gitlab，SVN，Maven，Xshell开发工具。 项目经验 项目一： 西瓜籽APP实时分析 开发时间： 2018.05-2019.02 开发环境： IDEA + Maven + GitLab + SQLyog + Xshell + ClouderManager 系统架构： Spark Streaming + Hive + Hadoop+ Kafka+ Redis + Elasticsearch + Mysql + Scala 项目描述：西瓜籽是网智天元旗下集影视资讯、电影推荐、粉圈互动、电影评分、明星同款商城等多功能为一体的app，旨在发现粉丝用户的观影行为，引导粉丝消费；利用大数据平台对用户行为进行统计分析，发展粉丝经济。 责任描述： 参与项目需求讨论与架构分析。 实时统计当前活跃用户。 实时统计当前新增用户。 实时统计当前签到用户。 实时统计当前用户下单量。 实时统计当前商品交易总额。 实时统计电影综合评分。 技术描述： 使用双层Flume架构收集用户日志，分为浏览行为、点击行为、评分行为。 使用Kafka实时读取Flume收集的日志信息，存入各个topic分区中。 使用Canal工具监控Mysql中订单表，影评表的变化，将增量数据推送到Kafka中。 使用Spark Streaming消费Kafka队列的数据，手动维护offset。 使用Spark RDD的map、groupByKey、reduceByKey、foreachRDD、foreachPartition等算子处理消费的数据，分别对订单和影评中的敏感数据进行脱敏、过滤和屏蔽。 使用Redis的Set集合对用户的DAU进行缓存和去重，从Redis中取出缓存数据，利用broadcast广播变量分发到各个executor。 使用Spark Streaming把订单、影评等数据保存到Elasticsearch，使用IK分词器分词，建立倒排索引，方便模糊查询。 使用ES的API编写查询接口，可以实时查询订