小伙Python爬虫并自制新闻网站，太好玩了.docxVIP

小伙Python爬虫并自制旧事网站，太好玩了 这次爬虫次要利用多线程方式爬取新浪旧事+网易旧事全部栏目旧事信息。 一共14个栏目，两个网站的页面信息都是通过ajax加载完成的，恳求对应的栏目链接后，前往的字符串是这样的，认真观看会发觉我们要看的旧事内容被包含在data_callback里面 图2 是一个列表样式， 这时候我们就可以用eval函数将这个字符串处理成一个列表格式 def?get_wy_teach():????url?=?/special/00097UHL/tech_datalist.js?callback=data_callback????headers?=?{????????User-Agent:?Mozilla/5.0?(Windows?NT?10.0;?Win64;?x64)?AppleWebKit/537.36?(KHTML,?like?Gecko)?Chrome/80.0.3987.163?Safari/537.36????}????res?=?requests.get(url=url,?headers=headers)????#?print(res.text)????data?=?res.text????data?=?eval(data.replace(data_callback(,).replace(data[-1],)) 然后下面就可以循环提取出旧事内容了，最终一步就是存储到我们的mysql数据库中 当我们建立好14个栏目的爬虫后，再来编写一个主文件main，利用简约的多线程方法启动14个文件并行爬取14个栏目的旧事 def?multi_thread():????t1?=?threading.Thread(target=xzg)????t2?=?threading.Thread(target=xz)????#......????????t13?=?threading.Thread(target=wy_hua)????t14?=?threading.Thread(target=wy_chn)????t1.start()????t2.start()????????#......????????t13.start()????t14.start() 对了，爬虫之后我们还是做了词云的，哈哈哈 点击生成今日热点旧事词云，静待片刻 今日热点词汇 flask部分： 辅材处理完成，现在我们开头做主菜部分。 from?flask?import?Flask,render_template,request#注册创建app应用，_name_是python预定义变量app?=?Flask(__name__)#跨域恳求corsfrom?flask_cors?import?CORSCORS(app,?resources=r/*)#启动爬虫页@app.route(/test,?methods=[GET])def?mytest():????main.multi_thread()????time.sleep(10)????return?爬取完成~if?__name__?==?__main__:????app.run(debug=True,port=5000) render_template, 用于渲染我们的h5页面 app = Flask(__name__)，这个是flask的必写项，必需先定义模块名，用于设置路由路径（转接4） cors跨域恳求，一般用于ajax恳求，CORS(app, resources=r/*)定义app路由中全部路径都适用于跨域恳求 @app.route(/test)，当你想使用mytest功能时候，设置了/test作用该函数的访问路径。例：30:5000/test app.run(debug=True,port=5000)，最终就是指定监听地址端口为 5000，debug=True是调试环境，用于生产环境时可更改为Flase。 这样一个个小小的Flask页面接口就完成了 接口写好了，下面我们来搞个h5页面，我们首先来建立一个简约hmtl文件（举例旧事推举页面） html?lang=enhead????meta?charset=UTF-8????titleTitletitleheadbodydiv?align=?class=img????h1今日旧事推举h1????div?class=img????????ul??????????li?a?href={{data[0][1]}}{{data[0][0]}}ali??????????li?a?href={{data[1][1]}}{{data[1][0]}}a