d-000218 php采集利器——模拟浏览器类snoopy应用.doc.docVIP

php采集利器——模拟浏览器类snoopy应用 Published by 笨二十一 at 1:20 上午 under PHP, Web技术 研究php页面数据采集的时候，无意中发现了snoopy这个类，snoopy是用php写的用以模拟浏览器功能的php类，它可以模拟访问，提交表单到你需要登录的web服务器端，同时提供了筛选信息的功能，让你可以根据需要取得自己想要的信息。 snoopy的官方网站：/projects/snoopy/ Snoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。 Snoopy 正确运行需要你的服务器的 PHP 版本在 4 以上，并且支持 PCRE（Perl Compatible Regular Expressions），基本的 LAMP 服务都支持。下载snoopy Snoopy的一些特点: 1抓取网页的内容 fetch2 抓取网页的文本内容 (去除HTML标签) fetchtext3抓取网页的链接，表单 fetchlinks fetchform4 支持代理主机5支持基本的用户名/密码验证6 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)7支持浏览器重定向，并能控制重定向深度8能把网页中的链接扩展成高质量的url(默认)9提交数据并且获取返回值10 支持跟踪HTML框架11支持重定向的时候传递cookies要求php4以上就可以了 由于本身是php一个类 无需扩支持 服务器不支持curl时候的最好选择， 类方法: fetch($URI)———– 这是为了抓取网页的内容而使用的方法。$URI参数是被抓取网页的URL地址。抓取的结果被存储在 $this-results 中。如果你正在抓取的是一个框架，Snoopy将会将每个框架追踪后存入数组中，然后存入 $this-results。 fetchtext($URI)————— 本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中的文字内容。 fetchform($URI)————— 本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中表单内容(form)。 fetchlinks($URI)—————- 本方法类似于fetch()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。默认情况下，相对链接将自动补全，转换成完整的URL。 submit($URI,$formvars)———————- 本方法向$URL指定的链接地址发送确认表单。$formvars是一个存储表单参数的数组。 submittext($URI,$formvars)————————– 本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回登陆后网页中的文字内容。 submitlinks($URI)—————- 本方法类似于submit()，唯一不同的就是本方法会去除HTML标签和其他的无关数据，只返回网页中链接(link)。默认情况下，相对链接将自动补全，转换成完整的URL。 类属性: (缺省值在括号里) $host 连接的主机$port 连接的端口$proxy_host 使用的代理主机，如果有的话$proxy_port 使用的代理主机端口，如果有的话$agent 用户代理伪装 (Snoopy v0.1)$referer 来路信息，如果有的话$cookies cookies， 如果有的话$rawheaders 其他的头信息, 如果有的话$maxredirs 最大重定向次数， 0=不允许 (5)$offsiteok whether or not to allow redirects off-site. (true)$expandlinks 是否将链接都补全为完整地址 (true)$user 认证用户名, 如果有的话$pass 认证用户名, 如果有的话$accept http 接受类型 (image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, */*)$error 哪里报错, 如果有的话$response_code 从服务器返回的响应代码$headers 从服务器返回的头信息$maxlength 最长返回数据长度$read_timeout 读取操作超时 (requires PHP 4 Beta 4+)设置为0为没有超时$timed_out 如果一次读取操作超时了，本属性返回 true (requires P