web页面语义信息提取方法的研究计算机应用技术专业论文.docxVIP

Study Study on Semantic Informatioin Extraction by Yang Peiying Supervisor：Professor Yu Ge Northeastern University June 2008 -J 独创声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 独创声明 本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得 的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过 的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢 思o 学位论文作者签名：移卉取 ● 日 期：少8-多，矽 学位论文版权使用授权书 本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论 文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和 磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部 或部分内容编入有关数据库进行检索、交流。 作者和导师同意网上交流的时间为作者获得学位后： 半年函 一年口 一年半口 两年口 ● ^ I 学位论文作者签名： 导师签名： 孑戈 签字日期： 朽橡 矽咯-g-矽签字日期：厶舻占．易·矽 - 11 - 摘要Web页面语义信息提取方法的研究 摘要 Web页面语义信息提取方法的研究 摘 要 Intemet作为一个庞大的信息资源库，已成为人们获取信息的主要途径之一，也是 教育资源的重要来源。但是，随着网上资源爆炸式地增长，人们在Web上找到自己感 兴趣的资源越来越困难。搜索引擎技术的出现在一定程度上缓解了人们在搜索信息过程 中遇到的困难，但是搜索引擎的弱点近年来逐渐显现，那就是它不能准确地提供给用户 他们真正想搜索的信息，这是因为现有的Web内容，是以人浏览和理解为出发点而设 计的，缺少计算机能够理解的信息，语义Web这时为解决此问题应运而生的。在现有 的Web向语义Web过渡的过程中，人们无法立即舍弃现有的具有丰富信息的Web页面， 所以现有Web页面的语义信息提取就成为能否向语义Web顺利过渡的关键。目前的Web 页面语义信息提取工作需要大量的人工参与，而自动化程度较高的语义信息提取技术， 性能相对较低，并且均采用定制的语言表达提取规则，缺乏通用性，系统不易升级。 针对上述问题，本文提出一种Web页面语义信息提取模型，该模型可以自动地、 批量地对Web页面进行语义标注，并自动提取领域的语义信息。具体地，使用了基于 页面视觉特征技术的Web内容预处理技术，去除了网页内的噪音，提高了语义提取的 速度和精度；提出了基于文本聚类的语义标注，使用基于段落的改进HAC算法，自底 向上地对组成文档的各级段落进行聚类，对各级段落的候选关键词进行了提取和上卷， 使聚类过程得到了各个语义层次的语义关键词；定义了“语义簇”的概念，设计了基于语 义簇聚类的Web页面语义信息提取方法，根据文本聚类确定不同的阈值，控制语义实 体的层次关系，利用语义簇相关度进行分析，建立语义簇之间的语义关联，并生成代表 某～语义主题概念的用“种子语义簇”表示的词类，由此实现Web页面语义信息的提取。 实验证明，基于段落层次的的改进HAC算法，缩减了语义关键词集合规模；基于 改进HAC的语义簇聚类，在时间和精度上较传统算法具有更大的优势。 关键词：语义Web；文本聚类；语义信息；语义簇聚类；信息提取 东北大学硕士学位论文 摘要 J -IV- 查!!垄堂壁主兰堡垒查一————————————————————————卫Study 查!!垄堂壁主兰堡垒查一————————————————————————卫 Study on Semantic Information Extraction from Web Page Abstract the pnmary mea工ls oI As a vaSt library of information resources，Intemet has become sources of educatiohal reso眦es· access to幽衄atio玛and its one of the most important HoweveL讹explosive growth of online resources，people fred themselves more di垃1cult t0 get证fbmation t11ey硫erest i11．The emergence of search engine technique eases the people m mc幽nn矗on searcl血g，but the weaknesses of se