火车采集器插件开发手册.docVIP

火车采集器插件开发手册 火车采集器插件使用C#语言开发，用户开发时需要引用Release目录下的super.dll和AppInerFace.dll 两个类库 即可。开发的插件需要实现ILocoySpider和ISuperJob 两个接口，程序在运行时会加载并执行插件程序集中的方法。插件的开发细节请查看开发示例。 开发插件时需要注意以下几个方法 A.程序集的目标Framework 为 .Net Framework 2.0 B.程序集的目标平台为x86 C.插件开发完成后，除插件文本本身外，其它引用的dll文件需要放在采集器的System目录下。本程序引用的 super.dll和AppInerFace.dll 文件程序已自带并加密，不需要复制。复制会引起程序运行错误。 我们从接口的源码中解析一下插件中需要实现的各个方法和属性的功能和使用的位置： using System; using System.Collections.Generic; using System.Text; namespace LeWell.Api { /// summary /// 火车采集器的插件 /// /summary public interface ILocoySpider { /// summary /// 是否处理起始网址，如果是，则调用MakeStartAddress方法，对每个起始网址再进行处理 /// /summary bool UseMakeStartAddress { get; } /// summary /// 对起始网址进行处理。注意这里的起始网址是采集器对起始规则进行解析后生成的新的起始网址 /// /summary /// param name=urlData单个的起始网址/param /// param name=useragent浏览器user-agent/param /// param name=refer来源页/param /// param name=cookie网页cookie/param /// returns如果UseMakeStartAddress，请直接返回空List或null/returns Liststring MakeStartAddress(string urlData,string useragent,string refer,System.Net.CookieCollection cookie); /// summary /// 在请求多级网址前更改http请求，处理的是多级网址请求时的Request对象，可以修改user-agent,Cookie等属性 /// /summary /// param name=requesthttp请求对像/param void ChangeStepRequest(ref System.Net.HttpWebRequest request); /// summary /// 在多级网址http请求完成后html代码，的html采集器再去提取 /// /summary /// param name=pageurl当前页网址/param /// param name=html当前代码/param /// param name=request请求的header/param /// param name=response返回的header/param /// returns如果不修改html代码，请直接返回html/returns string ChangeStepHtml(string pageurl, string html, System.Net.WebHeaderCollection request, System.Net.WebHeaderCollection response); /// summary /// 是否使用获取多级网址，使用后默认的提取网址无效，用户需使用GetStepUrls方法获取网址 /// /summary bool UseGetStepUrls { get; } /// summary