网络空间安全概论 实验7网络爬虫 多线程CSDN 博客爬虫.pdf

中国矿业大学计算机学院

2018级本科生课程报告

课程名称信息内容安全

报告题目多线程CSDN博客爬虫

报告时间2021.7.6

姓名潘家成

学号

任课教师曹天杰

1

2020-2021(二)《信息内容安全》课程报告评分表

序毕业得分

课程教学目标考查方式与考查点占比

号要求

目标1:掌握信息内容安全的基

本概念、分类、原理和相关技

2.3术，能够根据课程基本知识对

信息内容安全领域出现的问题

进行归类、分析、并有初步分通过课堂讲授和课堂研讨掌握信息

1析和解决问题的能力。内容安全概念和理论知识。40%

目标2：掌握信息内容安全处理

相关的理论、技术以及健全的

评价体系，能够根据具体问题

3.2

分析算法、设计算法、实现算

法并能综合评价算法。

目标3：掌握信息内容安全的基

课程报告；实现有关信息内容安全的

础知识，针对具体问题和要求

一个软件系统。分析和对比各项技

选择正确的技术路线，通过在

术，选择相应的技术进行算法设计并

24.3实验环境中进行仿真实验并能60%

在实验环境中进行仿真实验和性能

根据算法特点进行攻击测试和

评价，得到有效结论。

综合性能评价，得到具有参考

价值的结论。

总分100%

评阅人：

2021年7月10日

2

目录

报告摘要4

报告正文5

一．前期准备5

二．代码实现5

1.设置user_agent代理6

2.实现多线程6

3.线程run（）重构实现网页爬取7

4.数据保存8

5.可视化界面9

三．程序演示10

四．后续完善10

3

报告摘要

摘要：CSDN是着名的开发者学习交流平台，对于工作人员和学生的日常

学习交流计算机技术有着重要贡献。我们平时遇到遇到好的文章、优秀