基于机器学习的Web信息提取技术的研究-计算机应用技术专业论文.docxVIP

华中科技大学硕士学位论文一= 华中科技大学硕士学位论文 一= ==；===—========；===========≈；= 摘 要 l、随着wjrld Wide Web逐步成为全球最大的信息知识库，如何高效迅速地从这个知 识库中提取有用信息已经成为信息处理领域的研究重点。传统信息提取技术的研究侧 重于通过一定的语义分析，对规范、结构化的文本进行信息分类和处理。但W曲信息 不属于规范的结构化文本范畴，它是介于结构化文本和非结构化文本之间的半结构文 本，其文本结构无法确定，传统的语义分析也不再适用，于是设计能够适用于Web信 息的提取方法势在必行。}， 机器学习的介入为Web信息的提取开辟了新的研究方向，其自适应机制能够较好 的适应Web信息的动态性和松散性，使系统在提取Web信息时可根据反馈信息自动完 成旧规则的修改和新规则的推导。目前国内外对基于机器学习的Web信息提取有一些 研究，但这些算法在实际应用中表现出种种缺陷，因此改进已有算法和提出新的算法 显得尤为重要。 通过一定的分析和比较，给出了两种新的基于机器学习的Web信息提取算法并且 对原有FOIL算法进行了有效改进，并在实验基础上对每个算法的性能进行了全面的分 析和评估。针对FOIL算法在学习不相邻网页间复杂联系时表现出来的不确定性，提出 了一种基于网页间联系的新的路径学习算法；多策略学习算法将多个学习算法相结合， 解决了单一机器学习算法推导提取规则时的片面性问题，所得规则能更全面地反映 Web信息的分布规律：基于模板填充标记的学习算法采用自底向上推导规则的模块层 叠方法，通过在提取模板中填充一定数量的有助于识别信息类别的SGML标记，使算 法能覆盖Web页中的不可见信息，可有效控制学习过程中信息的遗漏和溢出，实现智 能化web信息提取。 此外，将研究的算法应用于国家药品监督管理总局“Intemet上药品信息及电子 商务监管系统”的开发中，实验结果表明上述三种算法在信息查全率和提取精确度上 较现有算法有较大的提高。 关键词：机器≥乌；web f施提取；FoIL叠法；多秉略学习；填君蒜记 AbstractWorld Abstract World WIde Web is becoming the largest information base in the world，How to effectively and rapidly extract usefu／information from this information base has become an emphasis in domain of information．transaction research．Traditional information extraction technology,which is based on some of scrnantic analysis，only classifies and deals with normative document collections．Web information iS not belong to formal structured text,but is the semi．structured text that falIs between structured text and free text．Its structure is uncertain and traditional semantic analysis is unsuitable．So designing a new information extraction method on the W曲is imperative． The introduction of machine／earning exploits a new research domain for Web information extraction．nle self-learning ability of machine learning is suitable to dynamic and loose Web information．It Can automatically amend old rules and induce new ones by feedback information when extracting W曲information．Although there has been some research 0n Web information extraction based 0n machine learning at present，those methods always