采用最小DFS的DeepWeb结构化数据抽取.PDFVIP

＜＜知识组织 　　 采用最小ＤＦＳ的ＤｅｅｐＷｅｂ结构化数据抽取 １，２ １ １ 刘荣辉 　郑建国　王　翔 １ ２ 东华大学管理学院　上海２０００５１　 河南城建学院计算机科学与工程系　平顶山４６７０４４ 〔摘要〕通过分析动态数据在其Ｗｅｂ页面中的展示特点，提出一个新的自动化、结构化数据抽取方法。首先基于 ＤＯＭ利用算法实现快速定位数据区，从而避免处理大量噪音数据；其次引入最小ＤＦＳ编码来表示ＤＯＭ子树，通 过聚类对记录数据区进行区分；最后对少量样本页面训练学习生成抽取规则用于数据抽取。利用原型系统针对 实际网站中的页面进行数据抽取，实验结果显示其拥有较高的准确性和效率。 〔关键词〕ＤｅｅｐＷｅｂ　结构化数据　最小ＤＦＳ　编辑距离　信息抽取 〔分类号〕ＴＰ３９１ ＤｅｅｐＷｅｂＳｔｒｕｃｔｕｒｅｄＤａｔａＥｘｔｒａｃｔｉｏｎＢａｓｅｄｏｎＭｉｎｉｍａｌＤＦＳ １，２ １ １ ＬｉｕＲｏｎｇｈｕｉ　ＺｈｅｎｇＪｉａｎｇｕｏ　ＷａｎｇＸｉａｎｇ １ＳｃｈｏｏｌｏｆＭａｎａｇｅｍｅｎｔ，ＤｏｎｇｈｕａＵｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ２０００５１ ２ＤｅｐａｒｔｍｅｎｔｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＨｅｎａｎＵｎｉｖｅｒｓｉｔｙｏｆＵｒｂａｎＣｏｎｓｔｒｕｃｔｉｏｎ，Ｐｉｎｇｄｉｎｇｓｈａｎ４６７０４４ 〔Ａｂｓｔｒａｃｔ〕ＡｎｅｗａｕｔｏｍａｔｉｃａｌｍｅｔｈｏｄｔｏｅｘｔｒａｃｔｈｉｇｈｑｕａｌｉｔｙｄａｔａｆｒｏｍＤｅｅｐＷｅｂｉｓｐｒｏｐｏｓｅｄｉｎｔｈｉｓｐａｐｅｒｂｙａｎａｌｙｚｉｎｇｌａｙｏｕｔｆｅａｔｕｒｅｓ ｏｆＷｅｂｐａｇｅｓ．Ｆｉｒｓｔｌｙｄａｔａｒｅｇｉｏｎｉｓｑｕｉｃｋｌｏｃａｔｅｄｗｉｔｈｏｕｔｄｅａｌｗｉｔｈａｌｏｔｏｆｎｏｉｓｙｄａｔａ．Ｓｅｃｏｎｄｌｙｃｌｕｓｔｅｒｉｓｕｓｅｄｔｏｄｉｓｔｉｎｇｕｉｓｈｄａｔａｒｅ ｃｏｒｄｒｅｇｉｏｎｂａｓｅｄｏｎｓｕｂｔｒｅｅｓｏｆＤＯＭｒｅｐｒｅｓｅｎｔｅｄｂｙｍｉｎｉｍａｌＤＦＳｃｏｄｉｎｇ．Ｔｈｉｒｄｌｙ，ｅｘｔｒａｃｔｒｕｌｅｉｓｇｏｔｂｙｌｅａｒｎｉｎｇａｎｄｔｒａｉｎｉｎｇｆｅｗ ｓａｍｐｌｅｐａｇｅｓ．Ｔｈｅｒｅｓｕｌｔｏｆｅｘｐｅｒｉｍｅｎｔｂｙｔｈｅｐｒｏｔｏｔｙｐｅｔｏｒｅａｌｗｅｂｓｉｔｅｓｗｅｂｐａｇｅｓｓｈｏｗｓｔｈａｔｔｈｅｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅａｎｄｅｆｆｉｃｉｅｎｔ． 〔Ｋｅｙｗｏｒｄｓ〕ＤｅｅｐＷｅｂ　ｓｔｒｕｃｔｕｒｅｄｄａｔａ　ｍｉｎｉｍａｌＤＦＳ　ｌｅｖｅｎｓｈｔｅｉｎｄｉｓｔａｎｃｅ　ｉｎｆｏｒｍａｔｉｏｎｅｘｔｒａｃｔｉｏｎ 决重复语义标注问题和嵌套属性问题。文献［５］把一 １　引　言 个网页看作多个内容块的集合，并识别出这些内容块； 其对搜索引擎的搜索结果处理得很好，但是需要一个 ［１］ 没有结果的页面和一些特殊的启发式规则。文献［６］ 　　ＤｅｅｐＷｅｂ（深网）蕴含海量的高质量数据 ，准确 地提取出其中包含的数据，已经成为一个非常重要的 基于ＭＤＲＩＩ实现自动化抽取工具ＤＥＰＴＡ，但采用树编 研究方向。ＤｅｅｐＷｅｂ中真正有用的数据是通过其数 辑距离对子树进行比较，处理大页面样本效率不高，同 据源网站上提供的查询接口获取，填充固定模板生成 时对嵌套属性考虑过少。上述数据抽取工具或多或少 结果页面来