如何能基于某node爬取网页源文件资料.docVIP

实用标准文案 精彩文档 如何基于node爬取网页源文件 一、初试牛刀：如何基于node爬取网页源文件 大家好，我是何老师，今天给大家带来关于node爬虫的一个小案例。来我们直接进入主题： 打开Hbuilder,新建项目，然后新建crawler.js文件。 键入如下代码： var http=require(http); //引用http模块 var url=/; //定义一个要爬的网页地址 /* * 使用http对象的get方法获取url网页的内容， * 第2个参数是回调响应response的结果怎么处理 */ http.get(url,function(res){ //定义一个html字符串 var html=; //当respone由data事件触发的时候，通过函数回调，把爬的数据组装到html字符串中。 res.on(data,function(data){ html+=data }) //当response对象由end事件触发的时候，回调函数实现向控制台输出html字符串的内容。 res.on(end,function(){ console.log(html); }) }).on(error,function(){ //当触发error事件的时候，控制台输出‘’ console.log(错误) }) 在当前文件的路径下打开命令窗口，输入node crawler.js 运行结果： 二、逐步推进：如何爬取网页源文件中的具体信息。 在服务器端解析html，可以在node环境中安装 cheerio模块，此模块类似于Jquery语法，可以方便快捷进行html内容解析。安装语法如下： 打开命令窗口 npm install cheerio; 在hbulider中新建：crawler58.js键入以下代码： var http=require(http); //引用http模块 var cheerio=require(cheerio);//引用cheerio var url=/chuzu/?PGTID=0d100000-0006-6648-121f-922f100df9e5ClickID=4; //定义一个要爬的网页地址 //获取网页文字相关内容 function filterContent(html) { var $=cheerio.load(html); // var meta=$(meta); //获取meta标签的数据 // console.log(meta) var rooms=$(.listBox .listUl li); //获取房源列表 var roomsdata=[]; rooms.each(function(item){ var room=$(this); var room_imgsrc=room.find(img).attr(src);//图片路径 var roomtitle=room.find(.des h2 a).text().trim();//房屋标题 var Area=room.find(.des .room).text();//面积 var money=room.find(.money b).text();//租金 //将信息封装成一个房屋信息的对象 var romminfo={ img:room_imgsrc, title:roomtitle, rarea:Area, money:money } //将房屋对象添加到roomsdata数组中 roomsdata.push(romminfo); }); 返回数组 return roomsdata; } //打印数组 function printInfo(rooms){ rooms.forEach(function(item){ var title=item.title; console.log(标题：+title+\n面积：+item.rarea+\n价格：+item.money+\n图片：+item.img+\n); }) } /* * 使用http对象的get方法获取url网页的内容， * 第2个参数是回调响应response的结果怎么处理 * */ http.get(url,function(res){ //定义一个html字符串 var html=; //当respone由data事件触发的时候，通过函数回调，把爬的数据组装到html字