大数据开发工程师求职简历模板_002.pdf

大数据开发工程师-赵毅

个人资料

姓名:

XX性别：X

学位:本科手机：XXXXX

邮箱:

XXXXXX工作年限：3年

求职意向

工作性质:全职目标地点:北京

期望职位:大数据开发工程帅

专业技能

1.熟练使用MapReduce处理复杂业务，熟悉HDFS的读写流程、MapRcduce的运行流程以及Shuffle机制、

Yarn的工作机制、Hadoop的优化手段以及Hadoop框架搭建过程。

2.熟悉Zookeeper的选举机制和监听机制。

3.熟悉HiVe的架构和调优策略，熟练使用Hive的开窗等函数处理业务问题。

4.熟练使用FIUnIC完成数据的采集、过滤、分流等功能，熟悉双层FlUme的使用。

5.熟悉Kafka的工作流程、能够搭建Kafka集群，使用Kafka和Spark进行数据的流式处理。

6.熟悉HBasc框架，会使用HBaSe的基本操作以及HBase调优。

7.熟练掌握SPark任务调度和资源调度过程，会使用SPark常用的RDD算子处理数据，能够独立完成SPark集群的搭

建，熟悉SPark的优化策略。

8.熟练使用DataSet和DataFrame算子和UDAF函数处理数据，熟练使用DStream算子完成流式实时数据的批

次处理。

9.了解EIaStiCSearCho

10.会使用Azkaban和Oozie批量工作流任务调度器。

11.会使用SqOoP工具，实现关系型数据库和非关系型数据库表数据的交互。

12.熟练使用Java和Scala编程，了解Python编程。

13.了解MongoDB、RCdiS等非关系型数据库。

14.熟练掌握常用的LinUX命令，使用ShelI常用工具编写LinUX脚本。

工作经历

公司名称：工作XXXXX教育科技有限公

司

时间：职位名

2015.07-至今

称：

大数据开发工程师

项目经验

项目名称：东奥电商业务分析系统(2017.01—2019-02)

开发环境：IDEA+jdkl.8+MySQL+Maven+SVN

技术框架：SpringBoot-.Nginx、Flume-Hadoop∙.Hive、Spark、Sqoop∙,Azkaban

项目描述：

通过对PC端和手机APP端用户产生的各类型日志经过一系列处理，形成各种报表，并且将

网站的品牌前十、每月畅销图书、每季热门名师、地区点击量排名等统计出来，提供给公司的各大

责任描述：1.参与前期项目分析、设计系统整体架构。

2.编写shell脚本定期将flume-hdfs中的日志进行清洗并导入到hdfs中。

3.通过数据分层ODS、DWD.DWS.ADS,对东奥商城中活跃用户主题(日活、周活、月活)进行编

码以及每月畅销图书、课程、热门名师，商品复购率等，以及特定需求的分析报表。

4.hive数据仓库设计和维护，数据主题的抽取，数据维度分析。

5.参与SPark的一些优化，如常规性能调优、ShUffIe调优、数据倾斜。

6.编写系统的需求分析、设计、开发和部署文档。

技术要点：1.整体架构使用了双层FIUme的拓扑结构，以实现容灾及负载均衡，保证数据的安全性。

2.将行式存储转为列式存储，因为列式存储查询效率高，并采用ParqUet为存储方式，为了减少磁

盘10、节约带宽；采用压缩格式为SnaPPy。

3.分析表的同步策略类型：例如用户表、