大数据开发简历模板.docVIP

孙青松简历 个人信息 姓 名: XXX 工作经验： 3年 性 别： 男 手 机： XXXXXXXXXX 学 历: 本科 电子邮件： XXXXXXXXXX@163.com 求职意向 意向：大数据开发工程师 状况：离职 地点：北京 薪资：面议 工作经历 2016/2—至今 北京礼物说科技有限公司 大数据开发工程师 专业技能 1.熟练掌握 SparkSql、SparkStreaming、Spark Core，理解 Spark 工作机制及 Spark 任务的执行流程。 2.熟练掌握 Hadoop 分布式集群安装、部署、搭建和配置，能够熟悉应用 Hadoop 相关工具 进行相关应用开发。 3.熟悉 MapReduce，Hdfs 工作机制和运行原理。 4.熟练使用 Kafka 实现集群分布式高吞吐量通信机制，同时借助 Zookeeper 建立生产 者和消费者的关系，实现负载均衡和持久化。 5.熟悉 Linux 环境和常用命令以及简单 Shell 脚本编写。 6.熟悉 HBase 的系统架构，了解 RowKey 设计，了解 HBase 优化。 7.熟悉 Hive 工作原理，数据仓库基本建立和Hive 优化。 8.熟悉开源日志收集系统 Flume，能够在不同场景实现日志收集工作。 9.熟悉 Sqoop 的数据导入导出，实现 MySql 和 Hive 之间的数据传输。 10.熟悉 Oozie 任务调度工具和 Azkaban 工具实现定时调度任务。 11.熟练使用 Java 和 Scala 语言编程、熟练使用 MySql 语句。 项目经历 项目一 : 礼物说数仓项目 软件架构 : Nginx + Tomcat + Hadoop + Flume + Zookeeper + Hive + Mysql + Spark + Sqoop+Azkaban 开发环境 :Idea + Maven + Git 项目描述 : 公司发展迅速，针对数据整体统一规划管理，对数据进行统一整理、清洗、过滤、去重、存储，便于以后的日常维护工作和项目开展。 责任描述 :在本次项目中主要负责并参与数据仓库的流程设计，实现数仓的各层，分别是 ODS 层(原始数据层)、DWD 层(明细数据层)、DWS 层(服务数据层)和ADS层(数据应用层)，其中 DWS 层中包含事实层、维度层、宽表层，为了达到拿空间换时间的目的，由事实层中的事实表和维度层的维度表关联形成宽表层。 技术要点 : 1.Flum收集Web节点日志信息，根据每个Event的Body 里存的数据，可以对Log 进行判断，设定不同的Header值，然后再经过选择器，根据Header中的某个值来决定走哪个Channel，将清洗完的数据存入Hive中，作为原始数据。 2.使用Shell编写脚本，每日定时的通过脚本将数据加载到ODS层，不做数据处理。 3.在DWD层采用Snappy压缩，通过该压缩方式解压速率快，存储方式选用Parquet，后面的需要用Spark处理数据。 4.DWS层将数据进行统一标准、数据维度建模，抽取公共纬度，符合星型模型，将事实表和维度表进行关联，形成字段较多的宽表层，比如订单总数、订单流水等，为应用层服务。 5.对于一些每日变化量不大，但是业务需求有需要统计出来的表，制作拉链表，从而解决即不好用全量表也不用增量表的情况。 6.ADS层数据，是为了满足具体需求，完成报表统计，细分主体，比如优惠券相关统计、用户、订单相关数据统计。 7.在处理DWS层数据时，在使用RDD时，将重复的RDD进行持久化处理。当内存无法将完整的RDD进行缓存时，将RDD进行序列化，减小数据体积。 8.在DWS层计算地区商品前三销量占比时，使UDAF函数解决Sql不方便显示商品占比问题。 9.Hive中开启Fetch，减少某些情况下不用MapReduce，从而加快数据查询。 10.针对个别Key过多导致数据倾斜，将这些个别的Key单独拿出了，并在Key前面加入随机数字，从而减轻数据倾斜。 11.利用 Azkaban定时任务调度将每天产生的数据存入 Hive 数据仓库。 项目二 :礼物说手机 App 日志采集系统 构架设计：Nginx+Tomcat+Hadoop+Flume+Z