NET抓取和分析网页的类.docxVIP

主要功能有： 1、 提取网页的纯文本，去所有html标签和javascript代码 2、 提取网页的链接，包括href和frame及i frame 3、 提取网页的title等（其它的标签可依此类推，正则是一样的） #region 私有成员 private Uri m_ uri ; //网址 private ListLink m_links; private string m_t itle; private string m html; private string m_outstr; private bool m_good; private int in pagesize; private static Dictionarystring, ew Dictionsrystfing, CookieContainer()4、 可以实现简单的表单提交及cookie保存 ew Dictionsrystfing, CookieContainer() 第一部分 using System; using System. Data; using Systent Configuration; using System? Net; using System. 10; using System. Text; using System. Collections.Generic; using Systent Text. RegularExpressions; using System? Threading; using System. Web; /// summary ///网页类 /// 〈/summary〉 public class WebPage //此网页上的链接 //此网页的标题 //此网页的HTML代码 //此网页可输出的纯文本 〃此网页是否可用 //此网页的大小 CookieContainor wobcookies 二 n //存放所有网页的Cookie private string m_post; 〃此网页的登陆页需要的POST数据 private string m_loginurl; 〃此网页的登陆页 #ondregion #regio n私有方法 /// summary ///这私有方法从网页的HTML代码中分析出链接信息 /// /sununary /// returnsListLink/returns private ListLink getLinks () { if (m_links. Count == 0) { Regex[] regex = new Regex[2]; regex [0] = new Regex C (?m) a[* X] +href=(\/z T )?(?url (「\ \\s) ]) +) (\ I )?「]*(?text(\\w | \\W) *?)/, RegexOptions. Multiline RegexOptions. TgnoreCase); regextl] = new Regex(〈[i]*frame「〈]+src=(\|)?(? url (「、〃 \\s)])+) (\| )?「]*, RegexOptions. Multiline | RegexOptions. Ign oreCase); for (int i = 0; i 2; i++) { Match match 二 regex[i]. Match (m_html); while (match. Success) { try { string url = new Uri (m_uri, match? GroupsValue). Absolutellri; string text = if (i == 0) tex t = new R egex((「]+) | (\\s) | (nbsp;) |RegexOptions. Multiline | RegexOptions. TgnoreCase)? Repl ace (match. Groups[text]? Value, “)； Link link = new Link(url, text); m links. Add (link); } catch (Exception ex){Console. WriteLine( ex. Message); }; match = match? NextMatch (); return m links; /// summar)^ ///此私有方法从一段HTML文本中提取出一定字数的纯文本 /// 〈/summary〉 /// pa ram n ame=z，i nstrz，HTML 代码 /param /// param n ame=，