Web信息抽取及知识表示系统的研究与实现①.docVIP

Web信息抽取及知识表示系统的研究与实现① 谭守标1, 徐超1, 江元1, 宁仁霞1,2 1(安徽大学 电子科学与技术学院，合肥 230039) 2(黄山学院 电子信息工程系，黄山 245021) 摘　要： 研究了从数据密集型Web页面中自动提取结构化数据并形成知识表示系统的问题。基于知识数据库实现动态页面获取，进行预处理后转换为XML文档，采用基于PAT-array的模式发现算法自动发现重复模式，结合基于本体的关键词库自动识别页面数据显示结构模型，利用XML的对象-关系映射技术将数据存入知识数据库，由此实现Web数据自动抽取。同时，利用知识数据库已有知识从互联网抽取新知识，达到知识数据库的自扩展。以交通信息自动抽取及混合交通出行方案生成与表示系统进行的实验表明该系统具有高抽取准确率和良好的适应性。 关键词： Web信息提取；知识表示；数据密集型Web页面；基于本体的关键词库 Research and Realization of a Web Information Extraction and Knowledge Presentation System TAN Shou-Biao1, XU Chao1, JIANG Yuan1, NING Ren-Xia1,2 1(School of Electronic Science and Technology, Anhui University, Hefei 230039, China) 2(Electronic Information Engineering, Huangshan University, Huangshan 245021, China) Abstract： The Web Information Extraction and Knowledge Presentation System is proposed to extract information from data intensive web pages. It downloads dynamic web pages, based on a knowledge database, changes them to XML documents after preprocessing, finds repeated patterns from them, by using a PAT-array based Pattern Discovery Algorithm, recognizes their data display structure models, automatically based on the repeated patterns and an ontology-based keyword library, and then extracts the data and stores them in the knowledge database with the object-relational mapping technology of XML. Through these steps, web data is extracted automatically, and the knowledge database is also expanded automatically. Experiments on the traffic information auto-extraction and mixed traffic travel schemes auto-creation system showed that the system has high precision and is adaptive to web pages in different domains with different structures. Keywords：web information extraction; knowledge presentation; data intensive web pages; ontology-based keyword library 　　随着Internet的迅猛发展，Web已经成为全球传播与共享科研、教育、商业和社会信息等最重要和最具潜力的巨大信息源。Web信息抽取是指从Web页面所包含的无结构或半结构的信息中识别用户感兴趣的数据，并将其转化为结构和语义更为清晰的格式，以统一的形式集成在一起，使Web信息的再利用成为可能，成为当前研究的一个热点[1]。目前关于Web信息抽取的工作可以大致分为以下几个类别：基于特征模式匹配的信息抽取、基于归纳学习的信息抽取、基于网页结构特征