Web就业信息抽取系统的实现研究-计算机技术专业论文.docxVIP

Web就业信息抽取系统的实现研究 摘 要 随着 Internet 的快速发展，网络已成为人们查询信息、获取数据的重要知识 库。面对遍布全球的互联网络构成的“数据海洋”，作为从浩瀚的 Web 信息资源中 发现潜在的有意义知识的有效手段，Web 挖掘技术正越来受到人们的关注。 在高职高专专业建设中需要从大量的企业用工信息中得到对专业建设和课程 开设有一定指导意义的人才需求信息，Web 信息是这些数据来源的重要组成部 分，快速、准确、有效地获取 Web 上的有价值信息，对指导高职院校专业建设和 核心课程开设有着重要的意义。 因特网页面所具有的数据量大、半结构化且动态变化的特点,给 Web 信息抽 取带来了复杂度高、可扩展性和适应性差等问题。XML 技术的出现，为解决基 于 Web 的数据抽取提供了一个良好的机遇。本文的研究是基于 XML 的 Web 信 息抽取，它属于 Web 内容挖掘的范畴。 本文主要进行了以下几个方面的工作： 1．针对 Web 信息抽取中的主要难点是如何有效地确定抽取规则这一问题。本 文给出了一种基于路径归纳学习的信息抽取方案，并对相关的技术进行了探讨 和研究； 2. 在对 Web 页特点进行研究的基础上，利用 XML 的特点进行 Web 信息抽取， 为此利用 JTidy 对其待抽取的 Web 页代码进行优化和清洗并转化为 XML 文档， 再经过 XML 解析获取 Web 页的 DOM 树，以利进一步进行信息抽取； 3. 采用归纳学习方法给出基于 DOM 的抽取规则生成和数据抽取策略，提出了 规则生成的算法和数据抽取算法；通过机器学习生成抽取规则（集），利用生 成的模板中的规则对结构相似页面进行信息抽取； 4．按照数据采集块模块、数据整理模块、数据抽取模块（包括规则生成及管 理、就业信息抽取）给出了系统实现的总体框架，利用给出的算法完成了一个 Web 就业信息抽取系统 Jobhunting 的开发和实验。所抽取的数据存入数据 库，以便利用成熟的数据库技术处理利用这些数据。 关键词：Web 挖掘，归纳学习，规则生成，信息抽取 Research on the realization of the employment information extraction system on the Web ABSTRACT With the rapid growth of Internet, it has been becoming an important knowledgebase for people to searech for information and data .In the face of “ the data ocean ”,which is composed of the worldwide network as an effective means to gain potential and meaningful knowledge ,the technique mined on line has been drawn more and more attention. It is necessary for vocational colleges to obtain a large amount of information about demanding talent ,which has been provided guiding significance to specialty construction and course settings.The information on the internet has been an important part of the data sources. It is valuable that the information is found on the Web rapidly, accurately and efficiently on specialty construction and core courses settings in vocational colleges. Due to the characteristics on the Internet page such as a large amount of data semi- structural and dynamic changes,it also brings such problems as high complexity, low expansibility and adaptability to Web information extraction. The