基于动易网站系统自动采集软件设计与实现.docVIP

基于动易网站系统自动采集软件设计与实现 　　[摘 要] 目前许多政府机关，教育单位等都是以动易为系统内核制作的网站，但是，各单位由于地域上的关系，一般都是使用自己独立的网站服务器，这样就造成了本单位和下属单位网站之间的网站数据交互非常困难，成为一个可研究并急需解决的实际问题，基于上述原因，本文特别制作了动易网站数据自动采集工具。 　　[关键词] 动易 网站系统 自动采集软件 　　中图分类号：S611文献标识码：A 文章编号： 　　1 实现原理 　　利用VB编写程序，通过WEBBORWS控件，自动定时加载下属网站的相关网页，通过对页面自动进行分析，得到网页具体信息的标题和超级链接等数据，利用ADO技术直接写入本地的动易数据库。 　　2 动易数据库结构 　　动易数据库一般放在网站根目录下的database目录下，名称可自行定义，打开数据库后，主要的新闻数据表名称为PE_Article，它的结构如下： 　　 　　3 下属单位采集页面的编写 　　下属单位网站中必须要放一个固定名称的具体页面文件caiji.asp 　　主要用来存放要采集的栏目的具体新闻条目信息，asp代码如下： 　　 PageTitle) 　　strHTML = Replace(strHTML, {$ShowPath}, strNavPath) 　　strHTML = Replace(strHTML, {$MenuJS}, GetMenuJS(, False)) 　　strHTML = Replace(strHTML, {$Skin_CSS}, GetSkin_CSS(0)) 　　Set PE_Content = New Article 　　PE_Content.Init 　　strHtml = PE_Content.GetCustomFromTemplate(strHtml) 　　strHtml = PE_Content.GetPicFromTemplate(strHtml) 　　strHtml = PE_Content.GetListFromTemplate(strHtml) 　　strHtml = PE_Content.GetSlidePicFromTemplate(strHtml) 　　Response.Write strHtml 　　Set PE_Content = Nothing 　　Call CloseConn 　　% 　　4 软件的具体实现 　　打开VB6，进行如下界面设计：程序主要引用了WEBBROWS控件和定时器控件，并且进行了ADO引用。 　　 　　采集系统写入数据库核心代码为： 　　getdbstr = Provider=Microsoft.Jet.OLEDB.4.0;Data Source= App.Path \Sitexu.asp ; Persist Security Info=False; 　　Set con = New ADODB.Connection 　　con.ConnectionString = getdbstr利用ADO打开数据库 　　con.Open 　　Set adodct = New ADODB.Recordset 　　 Set adodct.ActiveConnection = con 　　 adodct.Open select * from PE_Article order by ArticleID desc 　　Id = adodct!ArticleID 　　 　　 WebBrowser1.Navigate “http://下属单位网址/caiji.asp” 　　Set vtag = WebBrowser1.Document.getElementById(xu1) 　　 Set vtag = WebBrowser1.Document.getElementById(xu1).getElementsByTagName(a) 　　zuozhe = xz(ii) + + Mid(vtag(i).Title, InStr(1, vtag(i).Title, 者：) + 2, InStr(1, vtag(i).Title, cedil;更新时间) - InStr(1, vtag(i).Title, 者：) - 4) 　　对标题链接进行自动分析，得出标题名称和链接地址。 　　If adodct.State adStateClosed Then adodct.Close 　　 adodct.Open select * from PE_Article where ClassID=33 and LinkUrl= vtag(i).h