定向网络爬虫 开题报告.docxVIP

定向网络爬虫 开题报告 定向网络爬虫开题报告 山东科技大学 本科毕业设计（论文）开题报告 主题：网络爬虫 定向爬取?脚本之家?文本信息 学院名称：信息科学与工程学院计算机科学与技术专业2级2022名学生鲍志莹学生202201050201号教师赵中颖 填表时间：二0一六年三月二十八日 与htmlunit相比，phantomjs支持更接近真实浏览器的JS，但其并发性能较差。它是通过Java exec调用系统命令启动的，这进一步降低了性能。 此外主流的浏览器都提供了相应的抓取支持，selenium可谓是一个集大成者，包含了上述的所有组件，以webdriver的形式，适配各种爬虫组件，你可以用它操控浏览器自动抓取，当然，并发和性能的问题依然存在。 履带式机器人发展的主要问题是性能和抗阻塞性。在许多情况下，只要目标站点不采取任何反爬网措施（访问频率限制、防火墙、验证码……），就可以高并发、高频率地捕获数据；更常见的情况是，有价值的信息必须伴随着严格的反爬行措施。一旦IP被阻止，任何组件都无法工作。你必须维护一个代理IP池来解决这个问题。当然，这也带来了代理IP稳定性和速度的问题。这些问题是不可避免的。我们需要根据具体情况采取相应措施，最大限度地完成爬虫任务。 目前，爬虫的需求呈爆炸式增长的趋势，这是当前各