- 1、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。。
- 2、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 4、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 5、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
个人信息籍贯:英语水平
个人信息
籍
贯:
英语水平: CET-4,熟练阅读API文档
毕业院校:
联系电话:
工作经验:3年
电子邮件:
求职意向
工作性质:全职
目标地点:北京
目标职能:hadoop 高级工程师
目标薪资:面议
工作经历
单位名称:正保教育
职位名称:hadoop软件工程师工作时间:2014.3-2015年7月
工作描述:1、主要从事软件编码工作。
2、需求调研,需求分析,功能模块分析以及编码实现等。
3、调整整个项目的开发周期
4、参与系统的业务需求分析
5、把握项目周期
单位名称:创维互联新能源科技有限公司职位名称:hadoop项目经理
工作时间:2015.7-至今
工作描述:1、项目的需求分析
2、项目的架构设计
3、项目的扩展性设计
4、编码工作
5、把握项目周期
专业技能
姓
名:
性
别:
男
年
龄:
26岁
学
历:
本科
1.理解hadoop的分布式文件系统,掌握hadoop集群的搭建2.根据业务需求,完成Map/Reduce 编程
.设计hive数据仓库设计,数据仓库主题分析
.擅长sqoop数据传输工具
.擅长kafak消息队列,和strom的对接6.设计storm实时处理方案
.设计storm数据落地的完整性需求
.设计hbase数据仓库,实现二级索引,达到完美的批量写,毫秒级别的查询9.设计hbase和hive的数据增量
10.熟练掌握redis实时nosql数据库的使用11.扎实的Java基础,良好的编码风格
项目经历
项目经历
项目一:创维互联新能源大数据平台
项目名称:新能云平台
软件架构:kafka+strom+redis+hbase+hive+cdh+sqoop开发环境:eclipse+jdk1.7+mysql+maven+svn项目描述:
随着国家对新能源行业的重视和发展,利用大数据技术,以软件免费共享的模式,实现电站发电设备状态可控在控、
故障处理准确及时、人员操作安全规范、统计分析深入全面、运行维护智能高效、经营效益不断提高。
责任描述:
.参与前期项目分析,设计系统整体架构
.数据采集设计,实时处理部分strom设计3.strom写hbase的实质意义的批量写设计
4.hbase和hive增量对接方案设计,hbase二级索引,分页方案设计5.hive数据仓库设计和维护,数据主题的抽取,数据维度分析
开发步骤:
1.通过远程调用,把二进制数据压缩传输给kafak,在kafak的消费者端进行解压2.strom通过和kafak对接,消费kafak消息队列里面的数据,strom进行故障判断等分析
strom将分析的结果实时存入到redis中,同事把历史数据全量写入到hbase中,满足实时查询
.数据落地到hbase中,把hbase中的数据和hive进行对接,每天增量更新,传入到hive数据仓库中按天进行分表操作
hive数据仓库设计,主题抽取,维度分析,分析历史数据,最后把每天分析的结果存放到hbase中,供给也没进行查询操作
项目二:中华会计网数据分析统计
项目名称:中华会计网数据分析统计软件架构:hadoop+flume+Hbase+hive
开发环境:Eclipse+Jdk1.7+maven+svn项目描述:
该项目主要对教师,学生,已经课件,课程的相关数据进行统计分析。通过统计分析可以分析出老师的受欢迎程度,老师上课的质量,学生的学习的情况,学生的学习习惯,学习行为进行分析,以及课件的受欢迎程度,题库的答疑。已经对账号公用,对非法登账号异常进行统计分析,从而保证产品的版权问题。课程的难易程度进行分析。从而为决策者提供有效的策略方案。
责任描述:
.数据的收集工作,通过flume,把数据存放到hadoop系统中。2.通过hbase的数据导入,从而方便以后的查询等操作
.对hive和hbase进行优化操作开发步骤:
.利用flume收集数据,存放到hadoop中,例如来自传统数据的的数据用mr进行收集,存放到hadoop中。
.对数据进行初级过滤,把过滤后的数据存放到基础数据层中
.对基础数据库中的数据进行进一步分析,存放到通用数据层中
.根据业务需求,对通用数据层中的数据进行进一步的分析,从而得到业务需求数据,
5把业务分析过后的数据通过sqoop导入到mysql中,从而进行前台展现
项目三:正保教育画像系统平台项目名称:正保教育画像系统平台
软件架构:hadoop+hive+Hibernate+mysql+spring
开发环境:eclipse+tomcat6.0+mysql+svn项目描述:
正保教育用户画像系统,主要基于hive数据仓库之上的数据分析展现模块,其中主要用用户基础信
息画像,包括:年龄,地域,性别,职业等基础信息画像。不同网站的流量趋势画像,其
您可能关注的文档
最近下载
- 津津有味·读经典Level3《金银岛》译文和答案.docx
- SHT3503-2017石油化工建设工程项目交工技术文件规定.pdf VIP
- 九年级下学期班主任工作总结_九年级下学期的班主任工作总结范文.docx VIP
- 九年级下学期班主任工作计划--班主任工作计划.docx VIP
- 九年级班主任上学期工作计划 九年级上学期班主任学期工作计划(通用6篇).docx VIP
- 九年级上学期班主任工作总结.docx VIP
- 八年级下学期班主任工作总结-班主任工作总结.doc VIP
- 七年级上《第2章整式的加减》测试题及答案(数学试卷新课标人教版七年级上单元试题).doc VIP
- 八年级下学期班主任工作计划-班主任工作计划.doc VIP
- 班主任上学期工作计划:八年级上学期班主任工作计划.doc VIP
原创力文档


文档评论(0)