前沿笔记.docVIP

前沿技术知识点: 1、信息采集 什么叫信息采集？ 答:将别的网站中的信息通过PHP代码来获取到我们自己的网站中, 并且存到文件或数据库中的方式. 为什么要使用信息采集? 答: 1、可以减少人工的操作 2、减少企业的成本 3、提高工作效率 信息采集的原理? 答:通过技术获取到要采集的页面数据,经过分析HTML代码规则,再写出相应 的正则表达式来匹配我们所需要的数据,那么只要能获取到页面数据 的方式都可以称之为信息采集的方法. 信息采集的核心技术: 1、就是获取文件内容的方法 file_get_contents(); 读取函数 snoopy() 封装类 方法: fetch($URI) url参数就是要获取页面的地址 fetchlinks($URI) url参数就是要获取页面的地址 fetchform(); 主要获取的是form表单 fetchtext(); 主要获取的是文本 可以提交表单数据,可以上传文件 submit($URI, $formvars=, $formfiles=) 设置表单的类型 set_submit_multipart() 设置COOKIE,// $snoopy-cookies[PHPSD] = i4jkao0veifottjqr0bkuc7fj5; //伪装sessionid? 属性: results 获取到的结果 伪造来源页面 $snoopy-referer = http://localhost/caiji/1.html; 伪造IP $snoopy-rawheaders[X_FORWARDED_FOR] = 44; 伪造浏览器 $snoopy-agent =Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729); curl 系列函数 注意:使用CURL时必须首先开启CURL动态加载模块 只要是snoopy里能做到的curl都能做到 伪造浏览器 表单提交 文件上传 伪造COOKIE 伪造IP 伪造来源页面 curl使用一个步骤: 第一步: 开启 curl_init(); // — 初始化一个cURL会话 第二步: 设置 curl_setopt($re,CURLOPT_URL,http://localhost/caiji/curl_test.php); curl_setopt($re,CURLOPT_RETURNTRANSFER,1); $post_data = array(sss=11,bb=22); curl_setopt($re, CURLOPT_POST, 1); // 把post的变量加上 curl_setopt($re, CURLOPT_POSTFIELDS, $post_data); 第三步: 执行 $result = curl_exec($re); 第四步: 关闭 curl_close($re); // 关闭会话 fsockopen 系列函数 理解:知道fsockopen也能实现信息采 网络之间连接就是能过SOCKET套接字来实现的 fopen() 打开文件或者 URL file() 把整个文件读入一个数组中 2、分析HTML代码 3、正则表达式 什么叫正则表达式? 用于描述字符串规则的一种语法 正则表达式的组成? 原子字符 键盘能看到的字符 \d \w \W 元字符 在正则表达式中有特殊含义的字符 比如: * ? . + {} [] 模