大数据工程师简历模板.docxVIP

电话：1XXXXXXXX邮箱：XXXXXX8@163.com现居：北京陈宇鑫简历-大数据工程师姓名：XXX性别：男年龄：25工作经验：2.5 电话：1XXXXXXXX 邮箱：XXXXXX8@163.com 现居：北京 陈宇鑫简历-大数据工程师 姓名：XXX 性别：男 年龄：25 工作经验：2.5年 毕业学校：大连海洋大学 学历：本科 求职意向 目标职能：大数据开发工程师 目前状态：离职 随时到岗 目标地点：北京 求职意向 目标职能：大数据开发工程师 目前状态：离职 随时到岗 目标地点：北京 目标薪资：面议 工作经历 2016.08 – 2019.02 北京果敢时代科技有限公司 大数据工程师 个人技能 熟练掌握Hadoop底层架构、HDFS存储机制和读写流程、MapReduce框架原理和工作机制、Yarn组成架构和调度机制、MR调优以及高可用的部署。 熟练掌握Hive数仓搭建，能够熟练使用HQL进行企业级开发，掌握HQL中的相关函数和HQL语句执行流程，以及Hive的压缩格式和存储格式的选择，Hive查询的相关优化措施。 熟练掌握HBase底层数据存储原理与读写流程，能够熟练使用HBase进行分布式的、非结构化的存储，能够通过预分区和RowKey设计处理HBase的数据倾斜问题，能够配置HBase的高可用和对其内存进行优化。 熟练掌握Flume内部的结构和原理，以及事务机制，能够使用Flume进行分布式的海量日志采集，聚合和传输。能够自定义拦截器链对传输数据进行过滤与分类，以及使用Ganglia对其进行监控。 熟练掌握Kafka内部架构和写入流程，能够编写Kafka的生产者和消费者的高级API与低级API、Kafka拦截器、KafkaStream进行数据清洗。 熟练掌握Spark的工作原理，能够熟练使用SparkCore、SparkSQL、SparkStreaming进行编程，能够对Spark进行调优，了解Spark内核。 熟练掌握Zookeeper工作原理，了解Flink基本架构、流式处理原理、核心计算框架。 熟练使用MySQL、Redis数据库，能够使用MongoDB、ElasticSerach数据库。 熟练使用Sqoop对MySQL的数据进行导入与导出，Azkaban和Oozie进行任务调度，GitHub管理项目。 熟练使用Java、Scala进行编程，熟悉使用Linux操作系统，能够使用Shell、Python编写脚本。 项目经历项目名称：XX时代数仓项目 项目经历 项目名称：XX时代数仓项目 软件架构：Flume+Kafka+Hadoop+Zookeeper+Hive+Spark+MySQL+Azkaban+Sqoop 开发工具：IDEA+JDK1.8+Scala+Maven+Git 项目描述： ? ? 对果敢时代的用户行为数据和业务交互数据进行采集、清洗、管理、维护、并进行统计、分析、挖掘，提炼出有价值的信息，基于事实的管理来推动决策过程与实现价值增长。 ? ? 1.【数据采集】采用Flume+Kafka+Flume架构，通过前端埋点，Nginx负载均衡，Tomcat的log4j写日志，Flume采集、清洗、分类日志，Kafka缓存，Flume消费Kafka数据，采集行为日志到HDFS中。 ? ? 2.【数仓搭建】数据仓库采用ODS+DWD+DWS+ADS四层分层搭建。将MySQL中的业务交互数据通过Sqoop导入到ODS层。进而将ODS层中的业务交互数据与用户行为数据通过SparkSQL进行清洗、更改存储方式、更改压缩方式、进行维度建模后转存到数据仓库DWD层。计算数据仓库DWD层数据的复用度，将复用度高的数据进行轻聚合后转存到数据仓库DWS层。ADS层中以DWD层或者DWS层的数据为基础，通过具体需求聚合数据，组成各种统计报表，统计结果最终同步到MySQL数据库供BI等查询使用。 ? ? 3.【数据分析】流程分析：登录、浏览、下单支付、交易成功、售后等。用户分析：用户价值分析、用户粘性分析、满意度分析等。商品分析：点击量、转化率、加购率、收藏率、购买人数、销量、销售额、热门品类排行榜、动销率、次品率、投诉率、售罄率、库存量等。 责任描述： 参与了项目需求的讨论与分析、Hive表的设计、架构的搭建。 负责了用户分析部分的需求实现：活跃用户统计、新增用户统计、用户转化率分析、用户留存率分析、用户流失率分析等。 负责了部分流程分析与部分商品分析的需求实现：收藏率、加购率、GMV分析、热门品类排行榜、热门商品Top10、动销率等。 通过Sqoop将数据同步到MySQL中，编写执行脚本，并通过Azkaban进行调