2024年爬虫工程师岗位职责13篇.docxVIP

2024年爬虫工程师岗位职责13篇

目录

第1篇爬虫工程师职位描述与岗位职责任职要求

第2篇手机应用爬虫工程师职位描述与岗位职责任职要求

第3篇java高级工程师（爬虫方向）职位描述与岗位职责任职要求

第4篇高级python工程师／爬虫／spider职位描述与岗位职责任职要求

第5篇爬虫工程师（p6-p8)职位描述与岗位职责任职要求

第6篇资深爬虫工程师职位描述与岗位职责任职要求

第7篇python爬虫工程师职位描述与岗位职责任职要求

第8篇广告爬虫工程师职位描述与岗位职责任职要求

第9篇资深爬虫工程师岗位职责及职位要求

第10篇数据爬虫工程师职位描述与岗位职责任职要求

第11篇高级爬虫工程师职位描述与岗位职责任职要求

第12篇网络爬虫工程师职位描述与岗位职责任职要求

第13篇爬虫工程师岗位职责

java高级工程师（爬虫方向）职位描述与岗位职责任职要求

职位描述：

岗位职责

1.熟悉线程池、并发机制、锁机制、线程安全原理；

2.java体系知识：网络io、设计模式、linux、jvm、java类加载机制、java内存模型；

3.爬虫经验：webmagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpclient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬；

4.熟悉http/http、tcp/ip、socket等通讯协议；

5.6年以上软件开发经验，至少2年爬虫开发经验。

任职要求

1.采集、清洗、监控、配置化、调度、反爬、数据爬取、分词、检索等数据采集研发；

2.较强的逻辑思维和发散思维；

3.计算机或相关专业本科及以上学历。

网络爬虫工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1，负责网络爬虫系统的设计与开发

2，对爬取的网页信息进行数据抽取，清洗和去重等工作

任职要求：

1、2年及以上网络爬虫开发经验，本科及大专学历，计算机相关专业，

2、积极、沟通顺畅，工作认真负责

3、扎实的编程能力，熟悉常用算法和数据结构等基础知识

4、熟练掌握开发语言java或c/c++，熟悉脚本语言和正则表达式

python爬虫工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；

2、负责网页信息和app数据抽取、清洗、消重等工作，提升平台的抓取效率；

3、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；

4、实时监控爬虫的进度和警报反馈。

任职要求：

1、有扎实的算法和数据结构能力；

2、熟悉爬虫原理，熟悉常见的反爬虫技术，有爬虫相关项目开发经验者优先；

3、掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术；

4、有大规模数据处理、数据挖掘、信息提取等经验者优先。

手机应用爬虫工程师职位描述与岗位职责任职要求

职位描述：

*负责设计和开发分布式网络爬虫系统

*应用多种技术对各平台进行数据采集

*设计数据采集策略，提升数据采集效率及质量

*与各行业分析师沟通，分析项目的可行性和讨论抓取方案。

*两年以上爬虫开发相关经验，本科及以上学历，计算机相关专业为佳

*熟练掌握c#或java开发语言为佳

*了解tcp/ip，http及相关网络协议

*熟悉js/html/xpath/json/正则表达式等网页相关技术

*熟悉分布式、多线程、缓存、消息队列等互联网技术

*熟悉手机应用的数据抓取，手机app开发经验，加/脱壳经验为佳

*良好的沟通技能，注重细节，抗压性强

*良好的英语沟通技能为佳

爬虫工程师（p6-p8)职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责网络爬虫的架构设计、开发与优化；

2.负责抓取数据的清洗、落地、分析；

3.抓取策略算法的更新维护，以及确保数据抽取准确、高效。

任职要求：

1.两年及以上互联网或软