炼铁厂铁量网页数据获取系统的设计与实现.docVIP

炼铁厂铁量网页数据获取系统的设计与实现 　　【摘要】 本文介绍了基于ASP.NET的炼铁厂铁水铁量网页数据获取系统的设计与实现，包括系统的分析、设计与实现。系统应用于企业管理的数据统计分析中，提高了工作效率，增强了数据的及时性、可靠性，效果良好。 　　【关键词】 网络爬虫 数据获取 统计分析 　　互联网是一个庞大的非结构化的数据库，将数据有效的检索并组织呈现出来有着巨大的应用前景。检索网页所返回的结果并不是用户心中理想的数据，为了解决这个问题，一个灵活的爬虫有着无可替代的重要意义[1]。 　　一、系统分析 　　炼铁厂生产铁水经过计量处过重后运往其他单位，记录员将过重情况记录到磅单返回到炼铁厂，相关人员录入到管理程序中。存在的问题：及时性差，劳动量大，中间环节多增加数据不一致性的风险；通过开发炼铁厂铁量网页数据获取系统可以解决此问题。 　　炼铁厂经过多年的信息化建设，已建成覆盖全厂的局域网络，各车间部门办公电脑普及。炼铁厂在用数据库SQL Server 2005，并且搭建了数据库群集服务器，每天晚上进行差异备份，每周进行一次完全备份，数据安全性得到保障。此系统在开发过程中几乎无费用产生，具备开发条件，方案切实可行！ 　　二、系统设计与实现 　　前台通过Visual Studio 2008开发环境（编程语言C#），后台数据库SQL Server 2005，开发炼铁厂铁量网页数据获取系统，开发架构C/S模式。通过Visual Studio 2008中WebBrowser控件使用户在窗体中导航网页并获取html源码；遍历table元素行、列得到表格数据；插入到数据库中[2～4]。 　　经过研究计量处物资计量网铁水数据查询网页，设计表结构如图1。 　　三、系统功能 　　炼铁厂铁量网页数据获取系统主要完成功能：从系统界面中导航铁水铁量查询网页、将铁量相关数据导入到炼铁厂SQL Server数据库中；可以从管理程序中查询原始数据，面向局域网用户；经过后台处理与铁水成份关联为原始数据、经过统计分析然后生成报表，面向生产统计人员；经过后台处理，运用到动力费统计、生产查询等多个管理程序中。操作界面如图2。 　　四、结束语 　　基于ASP.NET的炼铁厂铁量网页数据获取系统，通过计量处物资计量网铁水数据查询页面，抓取炼铁厂铁水铁量数据到炼铁SQL Server数据库中。提高了数据统计分析的灵活性；降低了相关人员的工作量、提高了工作效率；确保了数据的及时性、准确性、安全性；进而达到了节约成本的目的。 　　参 考 文 献 　　[1]黄延炜，刘嘉勇.新浪微博数据获取技术研究[J].信息安全与通信保密，2013，06：71-73+76. 　　[2]张红云.基于页面分析的主题网络爬虫的研究[D].武汉理工大学，2010. 　　[3]于成龙，于洪波.网络爬虫技术研究[J].东莞理工学院学报，2011，03：25-29. 　　[4]焦赛美.网络爬虫技术的研究[J].琼州学院学报，2011，05：28-30. 3