简历模板大数据开发工程师.docVIP

大数据开发工程师 个人信息 姓 名：XXX 性 别：男 电 话：17XXXXXX 邮 箱： XXXp@163.com 工作经验：3年 教育经历 毕业学校：XX大同大学 专业：计算机科学与技术 工作经历 工作经历：XXXXXXX技术有限公司 时间：2016.2—2019.3 技术列表 熟练使用Hadoop 结构体系，以及Hadoop集群搭建和维护，理解HDFS读写流程、MapReduce原理，以及Hadoop的Shuffle机制及优化。 理解Spark任务提交流程以及Spark RDD、Shuffle、广播变量等一系列调优。 熟练使用Flume完成数据的采集、过滤、分类等功能，理解Flume的组成及工作原理。 熟练使用Kafka高低阶API消费数据，理解Kafka的基本组成及其运行机制。会使用Kafka接收相关数据。 熟悉使用Hive进行海量数据查询分析，常用的查询函数，以及自定义函数，熟悉Hive的架构和调优策略。 熟悉Zookeeper的选举机制和监听机制。 熟练使用DataSet和DataFrame算子以及UDF函数处理数据，熟练使用Dstream算子完成实时数据的批次处理。 熟悉Redis的常规操作以及五种数据类型，主从复制，集群搭建，以及Redis的持久化方式。 了解Hbase底层数据存储原理以及Hbase中RowKey的设计。 熟练使用Scala和Java编程，并了解Python编程。 熟练掌握Linux命令，可以使用Shell编写Linux脚本。 了解JVM的运行原理，GC优化策略。 熟练使用GIT、SVN等代码管理工具。 项目经验 项目名称：别样数仓离线分析 项目架构：Flume + Hadoop + Hive+ Spark + Sqoop 开发环境：IDEA + Maven + Git + Scala 项目描述：本项目是为了将分散的操作型数据、埋点数据以及历史数据通过做数据抽取、清理等有系统的分析整理，得到高效率、高质量、高扩展的数据，以方便联机分析处理（OLAP）的进行，分析处理可以分为离线、实时两大部分，离线通过分析当前系统的用户活跃、转化率以及用户行为等一些关键性指标，实现BI报表，起到企业决策分析的作用，对企业的未来趋势做出定量分析和预测。 职责描述： 1、参与数据仓库的建模搭建。 2、负责数据仓库与前台埋点数据以及用户行为日志的数据联调。 3、负责将采集系统获取的页面的点击、下单等一系列用户操作行为日志进行具体分析。 4、负责将数据进行分析并分别存储到ODS、DWD、DWS、ADS四层，不仅减少了极大的重复计算还使数据结构更加清晰。 5、对Spark core、Spark sql性能调用和优化。 技术要点： 1、通过将采集到的前台用户操作日志文件写入到对应的HDFS目录，得到原始数据。 2、通过Hive将采集到HDFS的日志数据导入到数仓ODS层。 3、将ODS层数据存储格式改为Parquet存储，以及压缩算法采用Snappy，以保证在提升查询速度的前提下降低压缩比。 4、使用Spark Sql来对项目中具体的分析指标将ODS层的数据进行轻度汇总并存储到ADS层，根据对应指标得到统计报表，代替原生Hive的执行引擎。 5、通过Sqoop导入用户行为数据，将不会频繁增减且符合指标分析的一些相关字段组合成为一张宽表，达到窥一表知全貌的好处。 6、使用拉链表来解决订单每日增量变化与历史订单表的同步更新。 7、通过对PV的变化趋势和分析其变化原因以及PR的级别标识指导业务流程改进，显著提高了项目的用户访问人数。 8、对一些需要重复计算的数据进行操作缓存，避免重复计算带来的不必要的性能消耗。 9、使用Kryo序列化机制，对需要的序列化的对象进行预注册。 10、使用foreachPartition优化数据操作，避免对数据库多次建立连接，造成性能损失。 项目名称：别样数仓实时分析 项目架构：Kafka + Spark + Redis + Mysql 开发工具：IDEA + Maven + XShell + Sqoop 项目描述：本项目是通过对网站用户查询时发生或者用户购买产生的行为数据进行即时处理分析，达到对数据进行核对、检查、复算、判断的作用，及时反映出来数据的价值和意义。还可针对分析当日交易额等一些指标做可视化大屏。 职责描述： 负责对埋点实时数据进行ETL，并保存到Elasticsearch中。 负责对订单、购物车等模块的埋点数据进行分析。 3、使用Canal对数据库数据进行监控，获取与实时分析维