简历模板大数据工程师.docxVIP

XX 简 历 个人概况 姓 名：XX 工作经验：3 年 性 别：男 毕业院校：XX大学（本科） 联系方式：1XXXXXX154 E-mail：XXX@ 求职意向 工作性质：全职 目标地点：北京 目标职能：大数据开发工程师 期望薪资：面议 专业技能 精通 Java，熟练使用 Scala，了解 Python，熟悉常见数据结构和算法 熟悉 JVM 内存结构、JVM 调优以及垃圾收集算法，了解 CMS 和 G1 垃圾收集器 熟练使用 Linux 操作系统，熟悉 Shell 编程 熟练掌握 HDFS 读写流程，MapReduce 工作原理，Yarn 提交 job 流程，熟悉 MR 程序调优以及 Hadoop 集群搭建 熟练掌握 Hive 并使用 HQL 进行开发，熟练使用开窗函数和自定义 UDF 函数，理解 HQL 语句执行流程及其优化措施 熟练使用 SparkCore、SparkSQL、SparkStreaming 编程，深刻理解 Spark 底层原理、共享变量、RDD 持久化机制，并能进行一些性能调优与故障处理 熟练使用 Zookeeper，理解其选举机制、监听器原理以及 ZAB 协议 熟练使用 Kafka，理解 Kafka 高、低阶 API 的差异，分区分配策略，精确一次性语义 熟练掌握 SparkStreaming 与 Kafka 的搭配使用，尤其擅长 Kafka 低阶 API 操作 熟练使用 Flume 进行日志采集，熟悉其架构组成、拓扑结构以及 Agent 内部原理，有自定义拦截器和修改源码的经历 熟练使用 MySQL，对其优化有一定理解，了解 MyISAM 和 InnoDB 存储引擎 熟练使用 Sqoop、Azkaban、Kylin、Git、Maven 等工具 熟悉 Hbase，理解其读写流程以及数据刷写过程，了解 RowKey 设计规则 能使用 Redis，理解其持久化机制及集群的主从复制，了解乐观锁与悲观锁 了解 ElasticSearch，能进行一些常用操作，了解倒排索引 工作经历 宝贝格子（北京）科技有限公司 - 大数据开发工程师 2016年8月 - 至今 参与需求分析，编写相应文档，从技术角度给出开发意见 使用双层 Flume 拓扑结构搭建日志采集系统 负责对数据清洗、加工、建模，并进行数据分析、挖掘 优化存储和计算架构性能，kafka 与 SparkStreaming 高低版本适配方案研究 项目经验 项目一：宝贝格子数仓系统 软件架构：Hadoop + MySQL + Sqoop + Spark + Hive + Azkaban 项目描述： 该项目主要基于来自 APP 和网站的启动（访问）日志、用户行为日志、订单数据、用户信息、商品信息等数据，经过清洗、加工、建模、分析与挖掘，得到日活、周活、月活、GMV、转化率、复购率等指标，同时建立用户画像，以供运营及公司决策。 责任描述： 参与项目需求分析讨论，负责日活、周活、月活、转化率、复购率、TopN等指标的统计 参与日志与业务原始数据入库，并进行数据清洗、建模和规划 自定义 SparkSQL UDAF 函数，并进行相关 SQL 优化和部分问题解决 技术要点： 使用 Sqoop 将存储于 MySQL 的业务数据导入到 HDFS，并将日志数据与业务数据的分析结果从 Hive 导出到 MySQL 将 json-serde-1.3.8-jar-with-dependencies.jar 拷贝到 hive/lib 和 spark/jars 目录下，使 Hive 支持 JSON 解析 将每日新增的日志数据和业务数据经过压缩后加载到数据仓库 ODS 层 对数据仓库 ODS 层数据进行判空清洗，行式存储改为列为存储，并更改压缩方式，然后存入 DWD 层 在数据仓库 DWD 层建立并维护拉链表，记录从开始到当前所有的变化信息 在数据仓库 DWS 层，聚合经常查询的字段组建宽表，以便之后进行统计分析 对于数据仓库的前三层表要支持分区，并将动态分区的模式设置为 nonstrict，根据实际数据为 hive.exec.max. dynamic.partitions.pernode 设置合理的参数 修改 hive.mapred.mode 为 strict 开启严格模式，防止执行可能意想不到的并且有不好影响的查询 在 SparkSQL 中自定义 UDAF，以满足特殊需求 通过提高 shuffle 操作中的 reduce 并行度、随机 key 双重聚合、reduce join 转换为 map join 等方式缓解甚至解决 Spark 数据倾斜问题 使用 Azkaban 周期性调度脚本，更新数据仓库和分