基于相似性搜索的水利普查数据融合.pdfVIP

第 2期 水 利 信 息 化 N0．2 2014年 4月 肋 ferResourcesInformatization Apr．，2014 基于相似性搜索的水利普查数据融合 王继民 ，徐 波 ，朱跃龙 ，汪卫军 ，李士进 ，万定生 (1．河海大学计算机与信息学院，江苏 南京 210098； 2．水利部发展研究中心，北京 1000381 3．南京市社会保险管理中心，江苏 南京 210017) 摘 要：针对第一次全国水利普查数据融合存在的问题，提 出自适应编辑距离相似性度量，通过调整编辑操作 权重及启发式学习权重等措施，对传统的编辑距离进行改进，提高相似性搜索的准确性，并给出基于编辑距离 的水利普查数据融合的方法和流程，算法的有效性在第一次全国水利普查数据处理中得到验证。 关键词：编辑距离：水利普查；相似性搜索；数据融合 中图分类号：TV211：TP274 文献标识码：A 文章编号：1674—9405(2014)02—0030—06 0 引言 适应编辑距离相似度量，对传统编辑距离的3种操 作 (插入、删除和替换)，设置不同权重，并采用启 第一次全国水利普查主要查清 了中华人民共和 发式学习算法确定操作的权重向量。采用基于 自适 国境 内 (未含香港、澳 门特别行政区和台湾地区) 应编辑距离的七一近邻搜索进行水利单位匹配，实现 的河流湖泊、水利工程、经济社会用水、河流湖泊 水利工程和行业能力数据融合。 治理保护、水土保持、水利行业能力建设、灌区及 地下水等 8大项基础信息，为加强水利基础设施建 1 自适应编辑距离 设与管理、实行最严格的水资源管理制度提供 了科 学权威的数据支撑。 1．1 相关工作 水利单位是结合水利工程设施特性与行业发 水利普查数据中，不同来源的水利单位的相似 展规模等各类管理信息，分析水利单位与水利工程 匹配技术，主要通过单位名称进行相似查询，核心 设施 、资产、从业人员等发展状况的关键节点。因 在于字符串的相似度量技术， 目的是在字符串数据 此，厘清水利单位，通过建立水利工程对象的工程 库中查找与给定字符串相似的字符串，查询对象是 管理单位与行业能力的水利单位之间的匹配关系， 字符串。 实现普查水利工程数据与行业能力数据融合 ，对科 设 代表全体被查询中文字符串数据库，大小为 学研判水利管理能力和水平具有重要的意义 。由于 lSl=7／，中文字符串S ∈ ， =0，1，2，…，7／—1； 不同专业普查的填报范围规定不同、规范性要求存 查询字符串为p； 代表允许的最大误差；D ()表示 在差异，因此部分水利单位普查数据存在组织机构 距离度量函数。按照中文字符串相似性查询结果划 代码不完整、重复，不同专业填报的水利单位名称 分，相似性查询包括以下2种： 不能完全一致等 问题，同时 由于水利普查数据量 1)s范围查询，给定 s，在 中查询所有满足 大，直接通过人工方式建立匹配关系费时费力。 D (Q，S) ≤ 的相似字符串 ，(0≤ ≤ ／7一I)，或 根据水利普查中水利单位信息的特点，提出 自 者子字符串 (结果包括字符串序号 及子串的偏移位 收稿 日期：2O14—01-04 基金项 目：国家 自然科