软件工程毕业设计（论文）-面向web service的网络爬虫设计与实现.docVIP

毕业设计（论文）说明书 学 院 软件学院 专 业 软件工程 年 级 07级 姓 名 指导教师 2011年 6 月 15 日 毕业设计（论文）任务书 题目：面向web service的网络爬虫设计与实现 学生姓名 学院名称 软件学院 专 业 软件工程 学 号 指导教师 职 称 教授 原始依据（包括设计或论文的工作基础、研究条件、应用环 境、工作目的等。） Web Services技术是一种基于XML语言和标准的网络协议实现的分布式计算技术。Web Services技术是可以改变软件产业面貌和软件应用模式的技术之一。 Web Services技术可以将Internet上的各种信息资源和服务功能整合在一起，在任何时间、任何地点向用户提供优质的服务。Web Services技术还有助于改变企业对IT系统的应用方式和依赖程度。所以Web Services技术成为了网络上的主流技术之一，随之也来的是大量的开发人员开始开发Web服务，随着时间的推移，网络上出现了大量的Web 服务。 但是，大量的Web服务分布在网络中的各个地方，给用户寻找特定功能的服务造成了不小的麻烦，也给服务开发者在原有的服务上进行再次开发造成了不便。本课题的任务就是研究如何把网络上分散的Web服务搜集在一起。 参考文献 [1]孙立伟，何国辉，吴礼发;网络爬虫技术研究;Computer Knowledge and Technology 电脑知识与技术;Vol.4,No.15,May 2010,pp.4112-4115 李盛韬，余智华，程学旗.Web信息采集研究进展【J】.计算机科学，2003. S.Chakrabarti,M.van den Berg and B.Dom.Focused Crawling: A New Approach to Topic-Specifi Web Resource Discovery[C].In Proceedings of the 8th International World Wide Web Conference, Toronto, Canada, 1999. [4]郑力明，易平;Design of Crawler Based on HTML Parser Information Extraction;微计算机信息，Microcomputer Information;09,June，2009。 J. Cho, H. Garcia-Molina. The evolution of the web and implications for an incremental crawler [C]. In Proceedings of the 26th Inter-national Conference on Very Large Database, Cairo, Egypt, 2000. [6]李文泽；个性化垂直搜索引擎研究；河南大学；2007-11-07； []曾伟辉，李淼. 深层网络爬虫研究综述[J]. 计算机系统应用, 2008. []周立柱 ,林　玲. 聚焦爬虫技术研究综述[J].计算机应用, 2005年9月. []S. Chakrabarti, M. van den Berg and B. Dom. Focused Crawling: A New Approach to Topic-Specific Web Resource Discovery [C]. In Proceedings of the 8th International World Wide Web Conference, Toronto, Canada, 1999. [10]陈汶滨，夏学梅. 基于聚焦爬虫的手机天气预报系统[J]. 今日科苑. 2009年第2期. [1]邱哲，符滔滔. 开发自己的搜索引擎--Lucene 2.0+Heritrix. 人民邮电出版社, 2007-4. [1]罗刚. 自己动手写网络爬虫. 清华大学出版社. 2010-10-1； []Heritrix官方网站[EB/OL]. [1]seeda网站[EB/OL]. []网络爬虫[EB/OL]. /view/284853.htmWeb服务的网站地址。 根据种子地址，搜索种子网站上的Web服务。 把搜索到的Web服务相关信息存入数据库中。 为了达到以上目的，本系统将对Heritrix开源框架进行扩展,并针对服务网站上服务的