爬虫笔记相关课堂.pdfVIP

知识回顾：

1）概念

Javascript语言（弱语言，只在网页使用，为了安全）java（面向对象，强语言）

Css两种方式：style属性；linkbase.css

Js两种方式：scriptlanguage=”javascript”js语言/script

xxx.js

Json本质字符串，Stringa=“[{“name”:”[{},{}]”,”age”,18},{}]”;

成为日常系统交换数据的通用方式，安卓，httpclient+json

Jsonp本质字符串，show([{},{}])javascript函数，解决跨域问题

ObjectMapperJacksonjson专门用于pojo和json字符串直接转换，从json字符串中挑

出我们关心的属性的值

ObjectMapperMAPPER=newObjectMapper();

//从json字符串中获取某个key的value？

JsonNodenode=MAPPER.readTree(json);

//注意node中的结构，

数组：node.get(0).get(“p”).asText();

直接是单个元素：node.get(“p”).asText();

2）爬虫

a)Httpclient模拟发起一个http请求，携带参数，获取返回值

b)Jsoup真正爬虫，对页面数据有一套解析方法，利用css，样式表+jQuery提出选择

器

i.选择器3种情况

divid=”orderId”class=”ordercssdetail”/div

1.直接使用html规范的：div

2.使用id，#orderId

3.使用class，.ordercss

4..select(.ordercss).select(.detail)特殊情况

抓取一个title整个过程？

Stringurl=“sina/1289392.htm”;

Connectioncn=Jsoup.connect(url);//找到要爬取的

Docmentdoc=cn.get();//获取到爬取的页面

Elementsels=doc.select(“h1”);//获取了h1的集合，集合只有一个元素

Elementele=els.get(0);//只获取第一个

for(Elemente:els){//获取多张

e.attr(“src”);

}

ele.text();//title文字

简洁方式：

Jsoup.connect(url).get().select(“h1”).get(0).text();

3）怎么在eclipse中调试代码（最多）

断点：breakpoint

在debug模式程序会自动进入到断点。

弹出的框是提示我们要进入新的debug的窗口环境，设置为yes。

以后不会弹出。

断点调试3个按钮，也支持快捷键

F5进入到子程序中，调用一个函数，进入函数

F6执行一行（用的最多）

F7跳出当前的执行，返回上级调用

Funa(){

Funb();

}

断点方便我们观察每个值，

时间开发中，大多数错误99%，变量的值不对；

通过断点观察这个值对不对！

4）抓取jd它的价格和描述怎么来的？

典型的二次提交

pdtk=pduid=38393pdpinmpinmpdbp=0

skuIds=J_4483112extource=item-pc

https://协议，http://，安全，防止

,3.cn，二级