面向房产信息本体的主题爬虫算法研究-计算机软件与理论专业毕业论文.docxVIP

万方数据 万方数据 Dissertation Submitted to Hangzhou Dianzi University for the Degree of Master Research on Algorithms of Real Estate-ontology Topical Crawler Candidate: Chen Dou Supervisor: Prof. Yuan Youwei March, 2016 杭州电子科技大学 学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明： 所呈交的学位论文，是本人在导师的指导下，独立进行研 究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人 或集体已经发表或撰写过的作品或成果。对本文的研究做出重要贡献的个人和集 体，均已在文中以明确方式标明。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 论文作者签名： 日期： 年 月 日 学位论文使用授权说明 本人完全了解杭州电子科技大学关于保留和使用学位论文的规定，即：研 究生在校攻读学位期间论文工作的知识产权单位属杭州电子科技大学。本人保证 毕业离校后，发表论文或使用论文工作成果时署名单位仍然为杭州电子科技大 学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文 的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密 论文在解密后遵守此规定） 论文作者签名： 日期： 年 月 日 指导教师签名： 日期： 年 月 日 杭州电子科技大学硕士学位论文 杭州电子科技大学硕士学位论文 摘要 现如今，互联网的快速发展改变了传统信息交流方式，网络上积累了丰富的 房产相关信息，如价格信息、房产新闻、房产企业、市场动态等，房产搜索引擎 通过主题爬虫技术为用户提供既全面又有专业深度的房地产信息。主题爬虫的性 能直接决定了房地产搜索引擎的服务质量，提高主题爬虫性能具有重大意义。 对主题爬虫相关理论技术进行了研究，发现当前主题爬虫存在主题信息描述 不准确，抓取信息精确度低，主题相关度算法结构复杂，主题爬虫性能差等缺点。 针对上述缺点，结合本体和神经网络技术，本文提出并实现了面向房产信息本体 的主题爬虫。本文的主要工作和研究成果如下： 1) 针对互联网中房产信息的开放性、多元化、时效性等特征，提出了一种 基于内容学习的本体自适应算法。该算法通过主题爬虫技术获取房地产领域相关 信息，对相关信息进行特征提取、过滤、分类、语义分析等处理后得到领域概念， 对领域概念进行学习，动态维护本体知识库，提高本体的主题描述能力。 2) 针对当前主题爬虫相关度算法非线性学习能力差，计算结果精确度低、 主题爬虫性能差的缺点，提出了基于 BFA 1的主题爬虫相关度算法。该算法具备 BP 神经网络优异的非线性学习能力，算法抗干扰性和稳定性强的优点，同时利 用人工鱼群算法优良的全局寻优能力对 BP 神经网络进行结构优化，进一步提高 了主题爬虫抓取信息的精确度。 3) 基于上述技术研究基础，结合当前热门的房产信息领域，本文设计并实 现了面向房产信息本体的主题爬虫系统。该系统结合了本体强大的语义描述能力 和 BP 神经网络优异的非线性学习能力，通过准确率、召回率指标对系统性能进 行检测，实验结果表明系统的整体性能有了明显提高，准确率提高了 12%，召回 率提高了 9%。 关键词：主题爬虫， BP 神经网络算法，本体技术，人工鱼群算法，搜索引擎 1 BFA 是人工鱼群和 BP 神经网络算法的简称。 I ABSTRACT Nowadays, the rapid development of Internet has changed the traditional ways of information communication. Numerous of real estate-related information has been accumulated on the internet, such as price information, estate news, estate enterprise, market dynamics and so on, and the vertical search engine of real estate provides comprehensive and professional information of real estate for users by topic crawler technology. The performance of topic crawler directly determines the quality of real estate se