基于动易网站系统自动采集软件设计及实现.docVIP

基于动易网站系统自动采集软件设计及实现[摘 要] 目前许多政府机关，教育单位等都是以动易为系统内核制作的网站，但是，各单位由于地域上的关系，一般都是使用自己独立的网站服务器，这样就造成了本单位和下属单位网站之间的网站数据交互非常困难，成为一个可研究并急需解决的实际问题，基于上述原因，本文特别制作了动易网站数据自动采集工具。 [关键词] 动易 网站系统 自动采集软件 中图分类号：S611文献标识码：A 文章编号： 1 实现原理 利用VB编写程序，通过WEBBORWS控件，自动定时加载下属网站的相关网页，通过对页面自动进行分析，得到网页具体信息的标题和超级链接等数据，利用ADO技术直接写入本地的动易数据库。 2 动易数据库结构 动易数据库一般放在网站根目录下的database目录下，名称可自行定义，打开数据库后，主要的新闻数据表名称为PE_Article，它的结构如下： 3 下属单位采集页面的编写 下属单位网站中必须要放一个固定名称的具体页面文件caiji.asp 主要用来存放要采集的栏目的具体新闻条目信息，asp代码如下： “ PageTitle) strHTML = Replace(strHTML, “{$ShowPath}”, strNavPath) strHTML = Replace(strHTML, “{$MenuJS}”, GetMenuJS(““, False)) strHTML = Replace(strHTML, “{$Skin_CSS}”, GetSkin_CSS(0)) Set PE_Content = New Article PE_Content.Init strHtml = PE_Content.GetCustomFromTemplate(strHtml) strHtml = PE_Content.GetPicFromTemplate(strHtml) strHtml = PE_Content.GetListFromTemplate(strHtml) strHtml = PE_Content.GetSlidePicFromTemplate(strHtml) Response.Write strHtml Set PE_Content = Nothing Call CloseConn % 4 软件的具体实现 打开VB6，进行如下界面设计：程序主要引用了WEBBROWS控件和定时器控件，并且进行了ADO引用。 采集系统写入数据库核心代码为： getdbstr = “Provider=Microsoft.Jet.OLEDB.4.0;Data Source=“ App.Path “\Sitexu.asp” “;” “Persist Security Info=False;” Set con = New ADODB.Connection con.ConnectionString = getdbstr利用ADO打开数据库 con.Open Set adodct = New ADODB.Recordset Set adodct.ActiveConnection = con adodct.Open “select * from PE_Article order by ArticleID desc” Id = adodct!ArticleID WebBrowser1.Navigate “http://下属单位网址/caiji.asp” Set vtag = WebBrowser1.Document.getElementById(“xu1”) Set vtag = WebBrowser1.Document.getElementById(“xu1”).getElementsByTagName(“a”) zuozhe = xz(ii) + ““ + Mid(vtag(i).Title, InStr(1, vtag(i).Title, “者：”) + 2, InStr(1, vtag(i).Title, “cedil;更新时间”) - InStr(1, vtag(i).Title, “者：”) - 4) 对标题链接进行自动分析，得出标题名称和链接地址。 If adodct.State adStateClosed Then adodct.Close adodct.Open “select * from PE_Article where ClassID=33 and LinkUrl