Web信息自动抽取技术的研究-计算机软件与理论专业论文.docxVIP

万方数据 万方数据 分类号 密级 UDC 注 1 学 位 论 文 Web 信息自动抽取技术的研究 （题名和副题名） 廖崇粮 （作者姓名） 指导教师 晏华 副教授 电子科技大学 成 都 （职务、职称、学位、单位名称及地址） 申请学位级别 硕士 专业名称 计算机软件与理论 论文提交日期 2012.03 论文答辩日期 2012.05 学位授予单位和日期 电子科技大学 答辩委员会主席 评阅人 2012 年 月 日 注 1：注明《国际十进分类法 UDC》的类号 万方数据 万方数据 独 创 性 声 明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名： 日期： 年 月 日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 （保密的学位论文在解密后应遵守此规定） 签名： 导师签名： 日期： 年 月 日 摘 摘 要 万方数据 万方数据 万方数据 万方数据 摘 要 随着科技的进步网络技术的发展，互联网已经在各个领域融入我们的生活。 面对日益增长的网页数据，如何获取其中有价值的信息或者是所感兴趣的信息， 是一个需要面对的问题。为了获取这些网页中的半结构化数据，本文研究并实现 了一种基于模型的信息抽取方法，并将其应用于 M-IE(Modeling-base Information Extraction)系统。 本文提出一种基于模型的信息抽取方法：首先通过界面简单操作制定抽取规 则，然后根据规则自动抽取信息。通过研究用户浏览网页的行为，结合对浏览器 内核的研究，本文提出一种以三元素为基础的脚本描述。这里的三元素分别描述 了：1.网页中指定的元素；2.对元素进行的操作；3.输出内容的格式。然后对最终 生成的脚本如何解析，做了详细的阐述，对于元素 1 的实现给出了详细的算法说 明。 基于模型的信息抽取方法可以应用于本文提出的 M-IE 系统中。该系统主要针 对论坛、微博和门户网站进行精确信息抓取，输出结构化的数据。最关键的是， 这些数据是具有语义的。论坛和微博所抽取的信息，可以反应草根群体的信息热 点。在 M-IE 系统中，通过界面可以简单快速的生成抽取规则，不需要专业知识。 M-IE 系统的总体结构可以划分为抽取规则生成模块、抽取规则解析模块、信息过 滤模块、数据库模块和数据分析模块。该系统中各个模块具有定义良好的接口， 可以动态替换。 本文最后以学校论坛和 sina 微博为例子，阐述了在 M-IE 系统中，如何经过简 单的操作生成抽取规则。在生成抽取规则时，可以预览到即将抓取的信息。这些 信息不仅是结构化的，而且是具有语义的。 关键词：Web 信息抽取、基于模型的包装器、脚本 I ABSTRACT ABSTRACT 万方数据 万方数据 万方数据 万方数据 ABSTRACT With the advancement of science and the development of network technology, internet has been infused into our lives across various fields. Facing increasing daily webpage data, here comes the question that is how to gain information of value and of interest. With the aim to accessing semi-structured data among these pages, this thesis studies and realizes an information extraction method based on models, and applies it to actual M-IE system. The key of this method lies in how to let users make simple extraction rules through interface and base on