基于web招聘信息的文本挖掘系统分析-analysis of text mining system based on web recruitment information.docxVIP

表格清单表 3.1抛物线上对应点 17表 4.1网页块的属性及其含义 22表 5.1按学历分组结果 30表 5.2按工资分组结果 31表 5.3计算机类相关职位需求量比例 32表 5.4职位对计算机类学历明确标注需求量 32表 5.5职位对计算机类专业明确标注需求量 33表 5.6专业间相关系数 34表 5.7职位间相关系数 34独 创 性 声 明本 人声明 所呈 交的学 位论 文是本 人在 导师指 导下 进行的 研究 工作及 取得 的研究 成果。 据我所知，除了文中特别加以标志和致谢的地方外，论文中不包含其他人已经发表或撰 写 过的研 究成 果 ，也 不 包 含为获 得 合肥 工业大 学或其 他教育 机构 的学位 或证 书而 使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说 明并表示谢意。 学位论文作者签字： 钟晓旭签字日期： 2010年 11月1 日学位论文版权使用授权书本学位论文 作者完全了 解合肥工 业大学 有关保留、使用学位论文的规定，有权 保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅或借阅。本人 授权合肥工业大学 可以将学位 论文的全部 或部分论文 内容编入有 关数据库进行 检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后适用本授权书） 学位论文者签名：钟晓旭导师签名：胡学钢 签字日期： 2010 年 11 月 1 日签字日期： 2010 年 11 月 1 日 学位论文作者毕业后去向： 工作单位：电话： 通讯地址：邮编： 第一章 绪论随着计算机技术的发展和网络技术的应用，因特网上的信息量以几何级的 速度增加起来，面对海量的数据，如何从中找到自己需要的东西，是一个让人 头痛的问题。而数据挖掘技术的研究和应用，正好解决了这个问题。本章主要 介绍了本文的研究意义和背景，以及国内外的研究现状和文章的主要研究内容。1.1 课题的研究背景与意义互联网技术的迅速发展和应用的广泛性，使得网上信息飞速增长，对此， 我们称之为信息爆炸。如今，用超文本语言编写的静态网页，以及用动态技术 和数据库技术形成的动态网页，汇聚了人类大量的聪明才智和勤奋努力，里面 也蕴含着许多有用的而且丰富的信息。然而，由于网络上拥有的信息数据大部 分都是杂乱无章的，不能直接使用，为此，如何从这些数据中发现潜在的、有 价值的信息，为人类的信息处理提供可靠有用的资料，成为许多学者研究的重 点。数据库领域面对海量的数据，为了从中发现新颖、有效、可理解的、并最 终潜在有用的模式，从而引入了数据挖掘（Data Mining）[1]。但是，Web 上的 信息都是非结构化和异质的，而结构化的数据仓库（ Data Warehouse）才是数 据挖掘的主要对象，从而并不能把数 据挖掘的技术直接应用到 Web 信息挖掘 上。针对这个棘手的问题，有学者将 Web 技术和一般的数据挖掘技术结合形成 了一种新的技术——Web 挖掘技术。在 Web 挖掘技术被提出来以后，科学界人 士都十分关注这个具有挑战 性的新课题。同时，有研究 资料表明，在众多的 Web 信息资源中，以文本形式存在的资料信息占据了 80%以上，所以 Web 文本 挖掘——这个隶属于 Web 内容挖掘的技术，其重要性就显得尤为突出了。Web 文本挖掘是指从大量无结构或者半结构的网页文档中发现有用的知识 模式，并把这些知识模式最终应用于实践的过程[2]，Web 文本挖掘可以对网页上大量数据进行分类、聚类、总结、以及关联分析等。过去，人才招聘信息总是与传统媒体结合在一起，现在随着网络技术的发 展，招聘信息正向互联网转移，当你在网上冲浪的时候，一定看见过不少招聘 信息。这些招聘信息反映了用人单位对人才的使用要求，一定程度上代表了人 才需求的未来走向。如何运用现代技术手段从互联网上获取有用信息，为高校 就业工作服务，为学生专业选择提供参考，这是一个值得探讨的问题。而 Web 文本挖掘正好提供了这样的技术手段。从招聘网站上挖掘信息，并形成知识， 为社会相关决策提供理论支持，这正是 Web 文本挖掘技术应用于 Web 招聘信 息挖掘的目的和意义。1.2 国内外研究现状文本挖掘包含多种技术：机器学习、信息抽取、统计数据分析、概率理论、 自然语言处理、线性几何、图论、信息检索、计算语言学、数据挖掘技术等等， 是一个多学科混杂的研究领域[3]。如今，针对文本挖掘的理论方法和技术实现 的研究和探讨，国内外的许多学者都进行了很多有益的尝试。信息抽取技术是国外对文本挖掘最早的研究之一，它的早期也是文本挖掘 形成的雏形。关键词的自动获取、文本分类技术和半结构化信息提取等属于文 本挖掘的信息抽取技术都有深入的研究，有许多的研究成果也